schema

Anger indataschemat. Vissa datakällor (till exempel JSON) kan automatiskt härleda indataschemat från data. Genom att ange schemat här kan den underliggande datakällan hoppa över schemainferenssteget, vilket påskyndar datainläsningen.

Syntax

schema(schema)

Parameters

Parameter Type Beskrivning
schema StructType eller str Ett StructType objekt eller en DDL-formaterad sträng (till exempel 'col0 INT, col1 DOUBLE').

Retur

DataFrameReader

Exempel

Ange schemat när du läser en CSV-fil.

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.read.schema("col0 INT, col1 DOUBLE").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: double (nullable = true)