Compartilhar via

load (DataStreamReader)

Carrega um fluxo de dados de uma fonte de dados e retorna-o como um DataFrame.

Sintaxe

load(path=None, format=None, schema=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str, opcional Caminho para fontes de dados com suporte do sistema de arquivos.
format str, opcional Formato da fonte de dados. Usa 'parquet' como padrão.
schema StructType ou str, opcional Esquema para os dados de entrada como uma cadeia de caracteres formatada em StructType ou DDL (por exemplo, col0 INT, col1 DOUBLE).
**options Todas as outras opções de cadeia de caracteres.

Devoluções

DataFrame

Exemplos

Carregue um fluxo de um arquivo JSON temporário:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="load") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).format("json").load(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on