déclencheur (DataStreamWriter)

Définit le déclencheur de la requête de diffusion en continu. Si elle n’est pas définie, la requête s’exécute aussi rapidement que possible, ce qui équivaut à processingTime='0 seconds'. Un seul paramètre de déclencheur peut être défini à la fois.

Pour plus d’informations, consultez Configurer les intervalles de déclencheur Structured Streaming.

Syntaxe

trigger(*, processingTime=None, once=None, continuous=None, availableNow=None, realTime=None)

Paramètres

Paramètre Type Description
processingTime str, facultatif Chaîne d’intervalle de temps de traitement (par exemple, '5 seconds', '1 minute'). Exécute régulièrement une requête de microbatch en fonction du temps de traitement.
once bool, facultatif Si True, traite un seul lot de données, met fin à la requête.
continuous str, facultatif Chaîne d’intervalle de temps (par exemple, '5 seconds'). Exécute une requête continue avec un intervalle de point de contrôle donné.
availableNow bool, facultatif Si True, traite toutes les données disponibles dans plusieurs lots, termine la requête.
realTime str, facultatif Chaîne de durée de lot (par exemple, '5 seconds'). Exécute une requête en mode temps réel avec des lots à la durée spécifiée.

Retours

DataStreamWriter

Exemples

df = spark.readStream.format("rate").load()

Déclenchez l’exécution toutes les 5 secondes :

df.writeStream.trigger(processingTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>

Déclenchez l’exécution continue toutes les 5 secondes :

df.writeStream.trigger(continuous='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>

Traitez toutes les données disponibles dans plusieurs lots :

df.writeStream.trigger(availableNow=True)
# <...streaming.readwriter.DataStreamWriter object ...>

Déclenchez l’exécution en temps réel toutes les 5 secondes :

df.writeStream.trigger(realTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>
  • Last updated on