load (DataStreamReader)

Charge un flux de données à partir d’une source de données et le retourne en tant que DataFrame.

Syntaxe

load(path=None, format=None, schema=None, **options)

Paramètres

Paramètre Type Description
path str, facultatif Chemin d’accès aux sources de données sauvegardées par le système de fichiers.
format str, facultatif Format de la source de données. La valeur par défaut est 'parquet'.
schema StructType ou str, facultatif Schéma pour les données d’entrée sous forme de chaîne au format StructType ou DDL (par exemple). col0 INT, col1 DOUBLE
**options Toutes les autres options de chaîne.

Retours

DataFrame

Exemples

Chargez un flux à partir d’un fichier JSON temporaire :

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on