csv (DataStreamReader)

Läser in en CSV-filström och returnerar resultatet som en DataFrame. Om inferSchema är aktiverat går funktionen igenom indata en gång för att fastställa schemat. Om du vill undvika det här passet inaktiverar inferSchema eller anger du schemat explicit med hjälp av schema.

Syntax

csv(path, schema=None, **options)

Parameters

Parameter Type Beskrivning
path str Sökväg för CSV-indata.
schema StructType eller str, valfritt Schema som en StructType- eller DDL-formaterad sträng (till exempel col0 INT, col1 DOUBLE).

Retur

DataFrame

Exempel

Läs in en dataström från en tillfällig CSV-fil:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on