StreamingQuery

Identificador de una consulta que se ejecuta continuamente en segundo plano a medida que llegan nuevos datos. Todos los métodos son seguros para subprocesos.

Sintaxis

# Returned by DataStreamWriter.start() or DataStreamWriter.toTable()
q = df.writeStream.format("console").start()

Propiedades

Propiedad Descripción
id Devuelve el identificador único de esta consulta que persiste en los reinicios de los datos de punto de control.
runId Devuelve el identificador único de esta consulta que no persiste en los reinicios.
name Devuelve el nombre especificado por el usuario de la consulta, o None si no se especifica.
isActive Devuelve si esta consulta de streaming está activa actualmente.
status Devuelve el estado actual de la consulta como un dict.
recentProgress Devuelve una matriz de las actualizaciones más recientes StreamingQueryProgress de esta consulta.
lastProgress Devuelve la actualización más reciente StreamingQueryProgress o None si no se han producido actualizaciones.

Methods

Método Descripción
awaitTermination(timeout) Espera la finalización de esta consulta, ya sea por stop() o por una excepción.
processAllAvailable() Bloquea hasta que todos los datos disponibles del origen se hayan procesado y confirmado en el receptor. Está destinado para las pruebas.
stop() Detiene esta consulta de streaming.
explain(extended) Imprime los planes (lógicos y físicos) en la consola para la depuración.
exception() StreamingQueryException Devuelve si la consulta finalizó con una excepción o None.

Ejemplos

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.isActive
# True
sq.name
# 'this_query'
sq.awaitTermination(5)
# False
sq.stop()
sq.isActive
# False
  • Last updated on