load (DataStreamReader)

Carga un flujo de datos desde un origen de datos y lo devuelve como dataFrame.

Sintaxis

load(path=None, format=None, schema=None, **options)

Parámetros

Parámetro Tipo Descripción
path str, opcional Ruta de acceso para orígenes de datos respaldados por el sistema de archivos.
format str, opcional Formato del origen de datos. Tiene como valor predeterminado 'parquet'.
schema StructType o str, opcional Esquema de los datos de entrada como una cadena con formato StructType o DDL (por ejemplo, col0 INT, col1 DOUBLE).
**options Todas las demás opciones de cadena.

Devoluciones

DataFrame

Ejemplos

Cargue una secuencia desde un archivo JSON temporal:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on