csv (DataFrameReader)

Charge un fichier CSV et retourne le résultat sous la forme d’un DataFramefichier . Si inferSchema elle est activée, cette fonction lit l’entrée une fois pour déterminer le schéma. Pour éviter cela, désactivez inferSchema ou spécifiez le schéma explicitement à l’aide schemade .

Syntaxe

csv(path, schema=None, **options)

Paramètres

Paramètre Type Description
path str ou list Un ou plusieurs chemins d’entrée, ou un RDD de chaînes stockant des lignes CSV.
schema StructType ou str, facultatif Schéma d’entrée facultatif en tant qu’objet StructType ou chaîne au format DDL (par exemple). 'col0 INT, col1 DOUBLE'

Retours

DataFrame

Exemples

Écrivez un DataFrame dans un fichier CSV et lisez-le.

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on