csv (DataFrameReader)

Läser in en CSV-fil och returnerar resultatet som en DataFrame. Om inferSchema är aktiverat läser den här funktionen indata en gång för att fastställa schemat. Om du vill undvika detta inaktiverar inferSchema eller anger du schemat explicit med hjälp av schema.

Syntax

csv(path, schema=None, **options)

Parameters

Parameter Type Beskrivning
path str eller lista En eller flera indatasökvägar eller en RDD med strängar som lagrar CSV-rader.
schema StructType eller str, valfritt Ett valfritt indataschema som ett StructType objekt eller en DDL-formaterad sträng (till exempel 'col0 INT, col1 DOUBLE').

Retur

DataFrame

Exempel

Skriv en DataFrame till en CSV-fil och läs tillbaka den.

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on