Compartilhar via

csv (DataStreamReader)

Carrega um fluxo de arquivos CSV e retorna o resultado como um DataFrame. Se inferSchema estiver habilitada, a função passará pela entrada uma vez para determinar o esquema. Para evitar essa passagem, desabilite inferSchema ou especifique o esquema explicitamente usando schema.

Sintaxe

csv(path, schema=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str Caminho para a entrada CSV.
schema StructType ou str, opcional Esquema como uma cadeia de caracteres formatada em StructType ou DDL (por exemplo, col0 INT, col1 DOUBLE).

Devoluções

DataFrame

Exemplos

Carregue um fluxo de um arquivo CSV temporário:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="csv") as d:
    spark.createDataFrame([(1, "2"),]).write.mode("overwrite").format("csv").save(d)
    q = spark.readStream.schema(
        "col0 INT, col1 STRING"
    ).format("csv").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on