StreamingQuery

Ett handtag till en fråga som körs kontinuerligt i bakgrunden när nya data tas emot. Alla metoder är trådsäkra.

Syntax

# Returned by DataStreamWriter.start() or DataStreamWriter.toTable()
q = df.writeStream.format("console").start()

Egenskaper

Fastighet Beskrivning
id Returnerar det unika ID:t för den här frågan som bevaras mellan omstarter från kontrollpunktsdata.
runId Returnerar det unika ID:t för den här frågan som inte finns kvar i omstarter.
name Returnerar det användardefinierade namnet på frågan, eller None om det inte har angetts.
isActive Returnerar om den här strömmande frågan för närvarande är aktiv.
status Returnerar frågans aktuella status som ett diktat.
recentProgress Returnerar en matris med de senaste StreamingQueryProgress uppdateringarna för den här frågan.
lastProgress Returnerar den senaste StreamingQueryProgress uppdateringen eller None om det inte har gjorts några uppdateringar.

Methods

Metod Beskrivning
awaitTermination(timeout) Väntar på att den här frågan ska avslutas, antingen av stop() eller med ett undantag.
processAllAvailable() Blockerar tills alla tillgängliga data i källan har bearbetats och checkats in till mottagaren. Avsedd för testning.
stop() Stoppar den här direktuppspelningsfrågan.
explain(extended) Skriver ut (logiska och fysiska) planer till konsolen för felsökning.
exception() StreamingQueryException Returnerar om frågan avslutades med ett undantag, eller None.

Exempel

sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sq.isActive
# True
sq.name
# 'this_query'
sq.awaitTermination(5)
# False
sq.stop()
sq.isActive
# False
  • Last updated on