start (DataStreamWriter)

Hiermee wordt de inhoud van het DataFrame naar een gegevensbron gestreamd en wordt een StreamingQuery-object geretourneerd.

Syntaxis

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parameterwaarden

Kenmerk Typ Beschrijving
path str, optioneel Pad in een door Hadoop ondersteund bestandssysteem.
format str, optioneel De indeling die wordt gebruikt om op te slaan.
outputMode str, optioneel Hoe gegevens naar de sink worden geschreven: append, completeof update.
partitionBy str of list, optioneel Namen van partitioneringskolommen.
queryName str, optioneel Unieke naam voor de query.
**options
Alle andere tekenreeksopties. Geef checkpointLocation de meeste streams op; niet vereist voor een memory stream.

Retouren

StreamingQuery

Examples

df = spark.readStream.format("rate").load()

Basisvoorbeeld:

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Met een trigger en aanvullende parameters:

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on