schema (DataStreamReader)

Hiermee geeft u het invoerschema op. Sommige gegevensbronnen (bijvoorbeeld JSON) kunnen het invoerschema automatisch afleiden uit gegevens. Door het schema hier op te geven, kan de gegevensbron schemadeductie overslaan en het laden van gegevens versnellen.

Syntaxis

schema(schema)

Parameterwaarden

Kenmerk Typ Beschrijving
schema StructType of str Een StructType-object of een tekenreeks met DDL-indeling (bijvoorbeeld col0 INT, col1 DOUBLE).

Retouren

DataStreamReader

Examples

from pyspark.sql.types import StructField, StructType, StringType
spark.readStream.schema(StructType([StructField("data", StringType(), True)]))
# <...streaming.readwriter.DataStreamReader object ...>
spark.readStream.schema("col0 INT, col1 DOUBLE")
# <...streaming.readwriter.DataStreamReader object ...>

Geef een ander schema op voor een CSV-bestand:

import tempfile
with tempfile.TemporaryDirectory(prefix="schema") as d:
    spark.readStream.schema("col0 INT, col1 STRING").format("csv").load(d).printSchema()
    # root
    #  |-- col0: integer (nullable = true)
    #  |-- col1: string (nullable = true)
  • Last updated on