start (DataStreamWriter)

Diffuse le contenu du DataFrame vers une source de données et retourne un objet StreamingQuery.

Syntaxe

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Paramètres

Paramètre Type Description
path str, facultatif Chemin d’accès dans un système de fichiers pris en charge par Hadoop.
format str, facultatif Format utilisé pour enregistrer.
outputMode str, facultatif Comment les données sont écrites dans le récepteur : append, completeou update.
partitionBy str ou list, facultatif Noms des colonnes de partitionnement.
queryName str, facultatif Nom unique de la requête.
**options
Toutes les autres options de chaîne. Fournissez la plupart des checkpointLocation flux ; non requis pour un memory flux.

Retours

StreamingQuery

Exemples

df = spark.readStream.format("rate").load()

Exemple de base :

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Avec un déclencheur et des paramètres supplémentaires :

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on