json (DataStreamReader)

Charge un flux de fichiers JSON et retourne les résultats sous forme de DataFrame. Les lignes JSON (JSON délimité par une nouvelle ligne) sont prises en charge par défaut. Pour JSON avec un enregistrement par fichier, définissez l’option multiLinetruesur . Si schema ce n’est pas spécifié, le schéma d’entrée est déduit des données.

Syntaxe

json(path, schema=None, **options)

Paramètres

Paramètre Type Description
path str Chemin d’accès au jeu de données JSON.
schema StructType ou str, facultatif Schéma sous la forme d’une chaîne au format StructType ou DDL (par exemple). col0 INT, col1 DOUBLE

Retours

DataFrame

Exemples

Chargez un flux à partir d’un fichier JSON temporaire :

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).json(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on