toTable (DataStreamWriter)

Hiermee start u de uitvoering van de streamingquery en voert u voortdurend resultaten uit naar de opgegeven tabel wanneer er nieuwe gegevens binnenkomen. Hiermee wordt een StreamingQuery-object geretourneerd.

Syntaxis

toTable(tableName, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parameterwaarden

Kenmerk Typ Beschrijving
tableName str Naam van de tabel.
format str, optioneel De indeling die wordt gebruikt om op te slaan.
outputMode str, optioneel Hoe gegevens naar de sink worden geschreven: append, completeof update.
partitionBy str of list, optioneel Namen van partitioneringskolommen. Genegeerd voor v2-tabellen die al bestaan.
queryName str, optioneel Unieke naam voor de query.
**options
Alle andere tekenreeksopties. Geef een checkpointLocation voor de meeste streams op.

Retouren

StreamingQuery

Aantekeningen

Voor v1-tabellen partitionBy worden kolommen altijd gerespecteerd. Voor v2-tabellen wordt partitionBy alleen gerespecteerd als de tabel nog niet bestaat.

Examples

Een gegevensstroom opslaan in een tabel:

import tempfile
import time
_ = spark.sql("DROP TABLE IF EXISTS my_table2")
with tempfile.TemporaryDirectory(prefix="toTable") as d:
    q = spark.readStream.format("rate").option(
        "rowsPerSecond", 10).load().writeStream.toTable(
            "my_table2",
            queryName='that_query',
            outputMode="append",
            format='parquet',
            checkpointLocation=d)
    time.sleep(3)
    q.stop()
    spark.read.table("my_table2").show()
    _ = spark.sql("DROP TABLE my_table2")
  • Last updated on