Compartilhar via

StreamingQuery

Um identificador para uma consulta que está sendo executada continuamente em segundo plano à medida que novos dados chegam. Todos os métodos são thread-safe.

Sintaxe

# Returned by DataStreamWriter.start() or DataStreamWriter.toTable()
q = df.writeStream.format("console").start()

Propriedades

Propriedade Descrição
id Retorna a ID exclusiva dessa consulta que persiste entre reinicializações de dados de ponto de verificação.
runId Retorna a ID exclusiva dessa consulta que não persiste entre reinicializações.
name Retorna o nome especificado pelo usuário da consulta ou None , se não for especificado.
isActive Retorna se essa consulta de streaming está ativa no momento.
status Retorna o status atual da consulta como um ditado.
recentProgress Retorna uma matriz das atualizações mais recentes StreamingQueryProgress para essa consulta.
lastProgress Retorna a atualização mais recente StreamingQueryProgress ou None se não houve nenhuma atualização.

Methods

Método Descrição
awaitTermination(timeout) Aguarda o encerramento dessa consulta, por stop() ou por uma exceção.
processAllAvailable() Bloqueia até que todos os dados disponíveis na fonte sejam processados e confirmados no coletor. Indicado para teste.
stop() Interrompe essa consulta de streaming.
explain(extended) Imprime os planos (lógicos e físicos) no console para depuração.
exception() Retorna se StreamingQueryException a consulta foi encerrada com uma exceção ou None.

Exemplos

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.isActive
# True
sq.name
# 'this_query'
sq.awaitTermination(5)
# False
sq.stop()
sq.isActive
# False
  • Last updated on