Compartilhar via

json (DataStreamReader)

Carrega um fluxo de arquivos JSON e retorna os resultados como um DataFrame. As linhas JSON (JSON delimitado por nova linha) têm suporte por padrão. Para JSON com um registro por arquivo, defina a opção multiLine como true. Se schema não for especificado, o esquema de entrada será inferido dos dados.

Sintaxe

json(path, schema=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str Caminho para o conjunto de dados JSON.
schema StructType ou str, opcional Esquema como uma cadeia de caracteres formatada em StructType ou DDL (por exemplo, col0 INT, col1 DOUBLE).

Devoluções

DataFrame

Exemplos

Carregue um fluxo de um arquivo JSON temporário:

import tempfile
import time
with tempfile.TemporaryDirectory(prefix="json") as d:
    spark.createDataFrame(
        [(100, "Hyukjin Kwon"),], ["age", "name"]
    ).write.mode("overwrite").format("json").save(d)
    q = spark.readStream.schema(
        "age INT, name STRING"
    ).json(d).writeStream.format("console").start()
    time.sleep(3)
    q.stop()
  • Last updated on