laden (DataStreamReader)

Laadt een gegevensstroom uit een gegevensbron en retourneert deze als een DataFrame.

Syntaxis

load(path=None, format=None, schema=None, **options)

Parameterwaarden

Kenmerk Typ Beschrijving
path str, optioneel Pad naar gegevensbronnen die door het bestandssysteem worden ondersteund.
format str, optioneel Indeling van de gegevensbron. Wordt standaard ingesteld op 'parquet'.
schema StructType of str, optioneel Schema voor de invoergegevens als een StructType- of DDL-opgemaakte tekenreeks (bijvoorbeeld col0 INT, col1 DOUBLE).
**options Alle andere tekenreeksopties.

Retouren

DataFrame

Examples

Een stream laden vanuit een tijdelijk JSON-bestand:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on