start (DataStreamWriter)

Strömmar innehållet i DataFrame till en datakälla och returnerar ett StreamingQuery-objekt.

Syntax

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parameters

Parameter Type Beskrivning
path str, valfritt Sökväg i ett Hadoop-filsystem som stöds.
format str, valfritt Det format som används för att spara.
outputMode str, valfritt Hur data skrivs till mottagaren: append, completeeller update.
partitionBy str eller lista, valfritt Namn på partitioneringskolumner.
queryName str, valfritt Unikt namn för frågan.
**options
Alla andra strängalternativ. Ange checkpointLocation för de flesta strömmar, vilket inte krävs för en memory ström.

Retur

StreamingQuery

Exempel

df = spark.readStream.format("rate").load()

Grundläggande exempel:

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Med en utlösare och ytterligare parametrar:

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on