start (DataStreamWriter)

Transmite el contenido del dataFrame a un origen de datos y devuelve un objeto StreamingQuery.

Sintaxis

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parámetros

Parámetro Tipo Descripción
path str, opcional Ruta de acceso en un sistema de archivos compatible con Hadoop.
format str, opcional Formato que se usa para guardar.
outputMode str, opcional Cómo se escriben los datos en el receptor: append, completeo update.
partitionBy str o list, opcional Nombres de columnas de creación de particiones.
queryName str, opcional Nombre único de la consulta.
**options
Todas las demás opciones de cadena. Proporcione checkpointLocation la mayoría de los flujos; no es necesario para una memory secuencia.

Devoluciones

StreamingQuery

Ejemplos

df = spark.readStream.format("rate").load()

Ejemplo básico:

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Con un desencadenador y parámetros adicionales:

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on