options (DataStreamReader)

Ajoute plusieurs options d’entrée pour la source de données sous-jacente.

Syntaxe

options(**options)

Paramètres

Paramètre Type Description
**options dictionnaire Paires clé-valeur d’options.

Retours

DataStreamReader

Exemples

spark.readStream.options(x="1", y=2)
# <...streaming.readwriter.DataStreamReader object ...>

Spécifiez les options en tant que dictionnaire :

spark.readStream.options(**{"k1": "v1", "k2": "v2"})
# <...streaming.readwriter.DataStreamReader object ...>

Générez 10 lignes par seconde avec 10 partitions à l’aide de la source rate :

import time
q = spark.readStream.format("rate").options(
    rowsPerSecond=10, numPartitions=10
).load().writeStream.format("console").start()
time.sleep(3)
q.stop()