DataStreamWriter

Interfaz que se usa para escribir un dataframe de streaming en sistemas de almacenamiento externos (por ejemplo, sistemas de archivos y almacenes de clave-valor). Use df.writeStream para acceder a esto.

Sintaxis

# Access through DataFrame
df.writeStream

Methods

Método Descripción
outputMode(outputMode) Especifica cómo se escriben los datos de un DataFrame de streaming en el receptor. Las opciones son append, complete y update.
format(source) Especifica el formato del origen de datos de salida.
option(key, value) Agrega una opción de salida para el origen de datos subyacente.
options(**options) Agrega varias opciones de salida para el origen de datos subyacente.
partitionBy(*cols) Divide la salida por las columnas especificadas en el sistema de archivos.
clusterBy(*cols) Agrupa la salida de las columnas especificadas.
queryName(queryName) Especifica el nombre de la consulta de streaming.
trigger(**kwargs) Establece el desencadenador para la ejecución de la consulta de streaming.
foreach(f) Establece la salida de la consulta de streaming que va a procesar la función o el objeto especificados.
foreachBatch(func) Establece la salida de cada microbatch que va a procesar la función especificada.
start(path) Inicia la ejecución de la consulta de streaming y devuelve un StreamingQuery objeto .
table(tableName) Alias para toTable(). Escribe datos en la tabla especificada y devuelve un StreamingQuery objeto .
toTable(tableName) Inicia la ejecución de la consulta de streaming y genera continuamente resultados en la tabla especificada.

Ejemplos

Cargue un flujo de velocidad, aplique una transformación, escriba en la consola y detenga después de 3 segundos.

import time
df = spark.readStream.format("rate").load()
df = df.selectExpr("value % 3 as v")
q = df.writeStream.format("console").start()
time.sleep(3)
q.stop()
  • Last updated on