DataStreamWriter

Interface die wordt gebruikt voor het schrijven van een streaming DataFrame naar externe opslagsystemen (bijvoorbeeld bestandssystemen en sleutel-waardearchieven). Gebruik df.writeStream dit om toegang te krijgen.

Syntaxis

# Access through DataFrame
df.writeStream

Methods

Methode Beschrijving
outputMode(outputMode) Hiermee geeft u op hoe gegevens van een streaming DataFrame naar de sink worden geschreven. Opties zijn append, completeen update.
format(source) Hiermee geeft u de indeling van de uitvoergegevensbron op.
option(key, value) Hiermee voegt u een uitvoeroptie toe voor de onderliggende gegevensbron.
options(**options) Voegt meerdere uitvoeropties toe voor de onderliggende gegevensbron.
partitionBy(*cols) Partitioneert de uitvoer door de opgegeven kolommen in het bestandssysteem.
clusterBy(*cols) Hiermee wordt de uitvoer door de opgegeven kolommen geclusterd.
queryName(queryName) Hiermee geeft u de naam van de streamingquery op.
trigger(**kwargs) Hiermee stelt u de trigger in voor de uitvoering van de streamingquery.
foreach(f) Hiermee stelt u de uitvoer van de streamingquery in die moet worden verwerkt door de opgegeven functie of het opgegeven object.
foreachBatch(func) Hiermee stelt u de uitvoer van elke microbatch in die door de opgegeven functie moet worden verwerkt.
start(path) Start de uitvoering van de streamingquery en retourneert een StreamingQuery object.
table(tableName) Alias voor toTable(). Schrijft gegevens naar de opgegeven tabel en retourneert een StreamingQuery object.
toTable(tableName) Hiermee start u de uitvoering van de streamingquery en voert u voortdurend resultaten uit naar de opgegeven tabel.

Examples

Laad een frequentiestroom, pas een transformatie toe, schrijf naar de console en stop na 3 seconden.

import time
df = spark.readStream.format("rate").load()
df = df.selectExpr("value % 3 as v")
q = df.writeStream.format("console").start()
time.sleep(3)
q.stop()
  • Last updated on