Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Gerencia todas as instâncias ativas StreamingQuery associadas a um SparkSession. Use spark.streams para acessar isso.
Sintaxe
# Access through SparkSession
spark.streams
Propriedades
| Propriedade | Descrição |
|---|---|
active |
Retorna uma lista de todas as consultas de streaming ativas associadas a isso SparkSession. |
Methods
| Método | Descrição |
|---|---|
get(id) |
Retorna uma consulta ativa por sua ID exclusiva. |
awaitAnyTermination(timeout) |
Aguarda até que qualquer consulta ativa seja encerrada ou até que o tempo limite expire. |
resetTerminated() |
Esquece as consultas encerradas anteriores para que elas awaitAnyTermination() possam ser usadas novamente para aguardar novas terminações. |
addListener(listener) |
Registra um StreamingQueryListener para receber retornos de chamada de evento do ciclo de vida. |
removeListener(listener) |
Desregistros a StreamingQueryListener. |
Exemplos
sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()