Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Administra todas las instancias activas StreamingQuery asociadas a .SparkSession Use spark.streams para acceder a esto.
Sintaxis
# Access through SparkSession
spark.streams
Propiedades
| Propiedad | Descripción |
|---|---|
active |
Devuelve una lista de todas las consultas de streaming activas asociadas a este SparkSession. |
Methods
| Método | Descripción |
|---|---|
get(id) |
Devuelve una consulta activa por su identificador único. |
awaitAnyTermination(timeout) |
Espera hasta que finalice cualquier consulta activa o hasta que expire el tiempo de espera. |
resetTerminated() |
Olvida las consultas terminadas en el pasado para que awaitAnyTermination() se puedan usar de nuevo para esperar nuevas finalizaciones. |
addListener(listener) |
Registra para StreamingQueryListener recibir devoluciones de llamada de eventos de ciclo de vida. |
removeListener(listener) |
Anula el registro de .StreamingQueryListener |
Ejemplos
sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()