Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Confirma essa microbatch com uma lista de mensagens de confirmação.
Esse método é invocado no driver quando todas as tarefas são executadas com êxito. As mensagens de confirmação são coletadas da write() chamada de método de cada tarefa e passadas para esse método. A implementação deve usar as mensagens de confirmação para confirmar a microbatch no coletor de streaming.
Sintaxe
commit(messages: List[Optional[WriterCommitMessage]], batchId: int)
Parâmetros
| Parâmetro | Tipo | Descrição |
|---|---|---|
messages |
lista de WriterCommitMessage | Uma lista de mensagens de confirmação. Se uma tarefa de gravação falhar, a mensagem de confirmação será None. |
batchId |
INT | Um inteiro que identifica exclusivamente um lote de dados que está sendo gravado. O inteiro aumenta em 1 com cada microbatch processado. |