Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Gère toutes les instances actives StreamingQuery associées à un SparkSession. Permet spark.streams d’y accéder.
Syntaxe
# Access through SparkSession
spark.streams
Propriétés
| Propriété | Description |
|---|---|
active |
Retourne une liste de toutes les requêtes de diffusion en continu actives associées à ce SparkSession. |
Méthodes
| Méthode | Description |
|---|---|
get(id) |
Retourne une requête active par son ID unique. |
awaitAnyTermination(timeout) |
Attend que toute requête active se termine ou jusqu’à ce que le délai d’expiration expire. |
resetTerminated() |
Oublie les requêtes terminées par le passé afin qu’elles awaitAnyTermination() puissent être utilisées à nouveau pour attendre de nouveaux arrêts. |
addListener(listener) |
Inscrit un StreamingQueryListener pour recevoir des rappels d’événements de cycle de vie. |
removeListener(listener) |
Désinscrit un StreamingQueryListener. |
Exemples
sdf = spark.readStream.format("rate").load()
sq = sdf.writeStream.format('memory').queryName('this_query').start()
sqm = spark.streams
[q.name for q in sqm.active]
# ['this_query']
sqm.awaitAnyTermination(5)
# True
sq.stop()
sqm.resetTerminated()