Compartilhar via

esquema (DataStreamReader)

Especifica o esquema de entrada. Algumas fontes de dados (por exemplo, JSON) podem inferir o esquema de entrada automaticamente dos dados. Especificar o esquema aqui permite que a fonte de dados ignore a inferência de esquema e acelere o carregamento de dados.

Sintaxe

schema(schema)

Parâmetros

Parâmetro Tipo Descrição
schema StructType ou str Um objeto StructType ou uma cadeia de caracteres formatada em DDL (por exemplo, col0 INT, col1 DOUBLE).

Devoluções

DataStreamReader

Exemplos

from pyspark.sql.types import StructField, StructType, StringType
spark.readStream.schema(StructType([StructField("data", StringType(), True)]))
# <...streaming.readwriter.DataStreamReader object ...>
spark.readStream.schema("col0 INT, col1 DOUBLE")
# <...streaming.readwriter.DataStreamReader object ...>

Especifique um esquema diferente para um arquivo CSV:

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.readStream.schema("col0 INT, col1 STRING").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: string (nullable = true)
  • Last updated on