schema (DataStreamReader)

Especifica el esquema de entrada. Algunos orígenes de datos (por ejemplo, JSON) pueden deducir automáticamente el esquema de entrada de los datos. Especificar el esquema aquí permite al origen de datos omitir la inferencia de esquemas y acelerar la carga de datos.

Sintaxis

schema(schema)

Parámetros

Parámetro Tipo Descripción
schema StructType o str Un objeto StructType o una cadena con formato DDL (por ejemplo, col0 INT, col1 DOUBLE).

Devoluciones

DataStreamReader

Ejemplos

from pyspark.sql.types import StructField, StructType, StringType
spark.readStream.schema(StructType([StructField("data", StringType(), True)]))
# <...streaming.readwriter.DataStreamReader object ...>
spark.readStream.schema("col0 INT, col1 DOUBLE")
# <...streaming.readwriter.DataStreamReader object ...>

Especifique un esquema diferente para un archivo CSV:

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.readStream.schema("col0 INT, col1 STRING").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: string (nullable = true)
  • Last updated on