Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Valide ce microbatch avec une liste de messages de validation.
Cette méthode est appelée sur le pilote lorsque toutes les tâches s’exécutent correctement. Les messages de validation sont collectés à partir de l’appel write() de méthode à partir de chaque tâche et transmis à cette méthode. L’implémentation doit utiliser les messages de validation pour valider le microbatch dans le récepteur de streaming.
Syntaxe
commit(messages: List[Optional[WriterCommitMessage]], batchId: int)
Paramètres
| Paramètre | Type | Description |
|---|---|---|
messages |
list of WriterCommitMessage | Liste des messages de validation. En cas d’échec d’une tâche d’écriture, le message de validation sera None. |
batchId |
int | Entier qui identifie de façon unique un lot de données en cours d’écriture. L’entier augmente de 1 avec chaque microbatch traité. |