Compartilhar via

csv (DataFrameReader)

Carrega um arquivo CSV e retorna o resultado como um DataFrame. Se inferSchema estiver habilitada, essa função lerá a entrada uma vez para determinar o esquema. Para evitar isso, desabilite inferSchema ou especifique o esquema explicitamente usando schema.

Sintaxe

csv(path, schema=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str ou lista Um ou mais caminhos de entrada ou um RDD de cadeias de caracteres armazenando linhas CSV.
schema StructType ou str, opcional Um esquema de entrada opcional como um StructType objeto ou uma cadeia de caracteres formatada em DDL (por exemplo, 'col0 INT, col1 DOUBLE').

Devoluções

DataFrame

Exemplos

Escreva um DataFrame em um arquivo CSV e leia-o novamente.

import tempfile
with tempfile.TemporaryDirectory(prefix="csv") as d:
    df = spark.createDataFrame([{"age": 100, "name": "Alice"}])
    df.write.mode("overwrite").format("csv").save(d)

    spark.read.csv(d, schema=df.schema, nullValue="Alice").show()
    # +---+----+
    # |age|name|
    # +---+----+
    # |100|NULL|
    # +---+----+
  • Last updated on