json (DataStreamReader)

Carga una secuencia de archivos JSON y devuelve los resultados como dataframe. Las líneas JSON (JSON delimitado por nueva línea) se admiten de forma predeterminada. Para JSON con un registro por archivo, establezca la multiLine opción en true. Si schema no se especifica, el esquema de entrada se deduce de los datos.

Sintaxis

json(path, schema=None, **options)

Parámetros

Parámetro Tipo Descripción
path str Ruta de acceso al conjunto de datos JSON.
schema StructType o str, opcional Esquema como una cadena con formato StructType o DDL (por ejemplo, col0 INT, col1 DOUBLE).

Devoluciones

DataFrame

Ejemplos

Cargue una secuencia desde un archivo JSON temporal:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).json(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on