schéma

Spécifie le schéma d’entrée. Certaines sources de données (telles que JSON) peuvent déduire automatiquement le schéma d’entrée à partir de données. En spécifiant le schéma ici, la source de données sous-jacente peut ignorer l’étape d’inférence du schéma, ce qui accélère le chargement des données.

Syntaxe

schema(schema)

Paramètres

Retours

DataFrameReader

Exemples

Spécifiez le schéma lors de la lecture d’un fichier CSV.

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)