esquema

Especifica o esquema de entrada. Algumas fontes de dados (como JSON) podem inferir o esquema de entrada automaticamente dos dados. Ao especificar o esquema aqui, a fonte de dados subjacente pode ignorar a etapa de inferência do esquema, o que acelera o carregamento de dados.

Sintaxe

schema(schema)

Parâmetros

Devoluções

DataFrameReader

Exemplos

Especifique o esquema ao ler um arquivo CSV.

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)