csv (DataStreamReader)

Charge un flux de fichiers CSV et retourne le résultat sous forme de DataFrame. Si inferSchema elle est activée, la fonction passe par l’entrée une fois pour déterminer le schéma. Pour éviter ce passage, désactivez inferSchema ou spécifiez le schéma explicitement à l’aide schemade .

Syntaxe

csv(path, schema=None, **options)

Paramètres

Paramètre Type Description
path str Chemin d’accès de l’entrée CSV.
schema StructType ou str, facultatif Schéma sous la forme d’une chaîne au format StructType ou DDL (par exemple). col0 INT, col1 DOUBLE

Retours

DataFrame

Exemples

Chargez un flux à partir d’un fichier CSV temporaire :

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on