Compartilhar via

start (DataStreamWriter)

Transmite o conteúdo do DataFrame para uma fonte de dados e retorna um objeto StreamingQuery.

Sintaxe

start(path=None, format=None, outputMode=None, partitionBy=None, queryName=None, **options)

Parâmetros

Parâmetro Tipo Descrição
path str, opcional Caminho em um sistema de arquivos com suporte do Hadoop.
format str, opcional O formato usado para salvar.
outputMode str, opcional Como os dados são gravados no coletor: append, completeou update.
partitionBy str ou list, opcional Nomes de colunas de particionamento.
queryName str, opcional Nome exclusivo para a consulta.
**options
Todas as outras opções de cadeia de caracteres. Forneça a maioria dos checkpointLocation fluxos; não é necessário para um memory fluxo.

Devoluções

StreamingQuery

Exemplos

df = spark.readStream.format("rate").load()

Exemplo básico:

q = df.writeStream.format('memory').queryName('this_query').start()
q.isActive
# True
q.name
# 'this_query'
q.stop()
q.isActive
# False

Com um gatilho e parâmetros adicionais:

q = df.writeStream.trigger(processingTime='5 seconds').start(
    queryName='that_query', outputMode="append", format='memory')
q.name
# 'that_query'
q.isActive
# True
q.stop()
  • Last updated on