csv (DataStreamReader)

Carga una secuencia de archivos CSV y devuelve el resultado como dataframe. Si inferSchema está habilitada, la función pasa por la entrada una vez para determinar el esquema. Para evitar este paso, deshabilite inferSchema o especifique explícitamente el esquema mediante schema.

Sintaxis

csv(path, schema=None, **options)

Parámetros

Parámetro Tipo Descripción
path str Ruta de acceso de la entrada CSV.
schema StructType o str, opcional Esquema como una cadena con formato StructType o DDL (por ejemplo, col0 INT, col1 DOUBLE).

Devoluciones

DataFrame

Ejemplos

Cargue una secuencia desde un archivo CSV temporal:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on