Compartilhar via

carregamento

Carrega dados de uma fonte de dados e retorna-os como um DataFrame.

Sintaxe

load(path=None, format=None, schema=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str ou list, opcional Um ou mais caminhos em uma fonte de dados com suporte do sistema de arquivos.
format str, opcional O formato da fonte de dados. Usa 'parquet' como padrão.
schema StructType ou str, opcional O esquema de entrada como um StructType objeto ou uma cadeia de caracteres formatada em DDL (por exemplo, 'col0 INT, col1 DOUBLE').
**options dicionário Opções de cadeia de caracteres adicionais.

Devoluções

DataFrame

Exemplos

Carregue um arquivo CSV com formato, esquema e opções especificadas.

import tempfile
with tempfile.TemporaryDirectory(prefix="load") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.option("header", True).mode("overwrite").format("csv").save(d)

    df = spark.read.load(
        d, schema=df.schema, format="csv", nullValue="Alice", header=True)
    df.printSchema()
    # root
    #  |-- age: long (nullable = true)
    #  |-- name: string (nullable = true)
    df.show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on