StreamingQuery

Een ingang naar een query die continu op de achtergrond wordt uitgevoerd wanneer nieuwe gegevens binnenkomen. Alle methoden zijn thread-safe.

Syntaxis

# Returned by DataStreamWriter.start() or DataStreamWriter.toTable()
q = df.writeStream.format("console").start()

Eigenschappen

Vastgoed Beschrijving
id Retourneert de unieke id van deze query die blijft bestaan tijdens het opnieuw opstarten van controlepuntgegevens.
runId Retourneert de unieke id van deze query die niet behouden blijft tijdens het opnieuw opstarten.
name Retourneert de door de gebruiker opgegeven naam van de query of None als deze niet is opgegeven.
isActive Retourneert of deze streamingquery momenteel actief is.
status Retourneert de huidige status van de query als een dict.
recentProgress Retourneert een matrix met de meest recente StreamingQueryProgress updates voor deze query.
lastProgress Retourneert de meest recente StreamingQueryProgress update of None als er geen updates zijn.

Methods

Methode Beschrijving
awaitTermination(timeout) Wacht op de beëindiging van deze query, hetzij met stop() of met een uitzondering.
processAllAvailable() Blokkeert totdat alle beschikbare gegevens in de bron zijn verwerkt en doorgevoerd in de sink. Bedoeld voor testen.
stop() Stopt deze streamingquery.
explain(extended) Hiermee worden de (logische en fysieke) plannen afgedrukt naar de console voor foutopsporing.
exception() Retourneert de StreamingQueryException als de query is beëindigd met een uitzondering, of None.

Examples

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.isActive
# True
sq.name
# 'this_query'
sq.awaitTermination(5)
# False
sq.stop()
sq.isActive
# False
  • Last updated on