outputMode (DataStreamWriter)

Spécifie la façon dont les données d’un DataFrame de streaming sont écrites dans un récepteur de diffusion en continu.

Syntaxe

outputMode(outputMode)

Paramètres

Paramètre Type Description
outputMode str Mode de sortie. Les options sont append (seules les nouvelles lignes), complete (toutes les lignes de chaque mise à jour) et update (seules les lignes mises à jour sur chaque mise à jour ; équivalentes si append la requête ne contient aucune agrégation).

Retours

DataStreamWriter

Exemples

df = spark.readStream.format("rate").load()
df.writeStream.outputMode('append')
# <...streaming.readwriter.DataStreamWriter object ...>

Utilisez le complete mode pour imprimer les nombres agrégés :

import time
df = spark.readStream.format("rate").option("rowsPerSecond", 10).load()
df = df.groupby().count()
q = df.writeStream.outputMode("complete").format("console").start()
time.sleep(3)
q.stop()