commit (DataSourceStreamWriter)

Confirma este microbatch con una lista de mensajes de confirmación.

Este método se invoca en el controlador cuando todas las tareas se ejecutan correctamente. Los mensajes de confirmación se recopilan de la write() llamada al método de cada tarea y se pasan a este método. La implementación debe usar los mensajes de confirmación para confirmar el microbatch en el receptor de streaming.

Sintaxis

commit(messages: List[Optional[WriterCommitMessage]], batchId: int)

Parámetros

Parámetro Tipo Descripción
messages lista de WriterCommitMessage Lista de mensajes de confirmación. Si se produce un error en una tarea de escritura, el mensaje de confirmación será None.
batchId int Entero que identifica de forma única un lote de datos que se escriben. El entero aumenta en 1 con cada microbatch procesado.
  • Last updated on