CSV (DataStreamReader)

Laadt een CSV-bestandsstroom en retourneert het resultaat als een DataFrame. Als inferSchema deze optie is ingeschakeld, doorloopt de functie eenmaal de invoer om het schema te bepalen. U kunt dit wachtwoord voorkomen door het schema expliciet uit te schakelen inferSchema of op te geven met behulp van schema.

Syntaxis

csv(path, schema=None, **options)

Parameterwaarden

Kenmerk Typ Beschrijving
path str Pad voor de CSV-invoer.
schema StructType of str, optioneel Schema als een StructType- of DDL-opgemaakte tekenreeks (bijvoorbeeld col0 INT, col1 DOUBLE).

Retouren

DataFrame

Examples

Een stream laden vanuit een tijdelijk CSV-bestand:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on