Referência do modo em tempo real

Esta página fornece informações de referência para o modo em tempo real no Streaming Estruturado, incluindo ambientes, idiomas, fontes, coletores e operadores com suporte. Para limitações conhecidas, consulte as limitações do modo em tempo real.

Idiomas com suporte

O modo em tempo real dá suporte a Scala, Java e Python.

Tipos de computação

O modo em tempo real dá suporte aos seguintes tipos de computação:

Modos de execução

O modo em tempo real dá suporte apenas ao modo de atualização:

Fontes e coletores

O modo em tempo real dá suporte às seguintes fontes e coletores:

Operadores

O modo em tempo real dá suporte à maioria dos operadores de Streaming Estruturados:

Operações sem estado

UDFs

Agregação

Windowing

Deduplicação

Transmitir para a junção da tabela

Considerações especiais

Alguns operadores e recursos têm considerações ou diferenças específicas quando usados no modo em tempo real.

transformWithState no modo em tempo real

Para criar aplicativos personalizados com estado, o Databricks oferece suporte a transformWithState, uma API no Streaming Estruturado do Apache Spark. Consulte Criar um aplicativo com estado personalizado para obter mais informações sobre a API e os snippets de código.

No entanto, há algumas diferenças entre como a API se comporta no modo em tempo real e as consultas de streaming tradicionais que aproveitam a arquitetura de microlote.

• O modo em tempo real chama o método handleInputRows(key: String, inputRows: Iterator[T], timerValues: TimerValues) para cada linha.
  • O inputRows iterador retorna um único valor. O modo de micro-lote o chama uma vez para cada chave, e o inputRows iterador retorna todos os valores para uma chave no micro-lote.
  • Conta para essa diferença ao escrever seu código
• Não há suporte para temporizadores de evento no modo em tempo real.
• transformWithStateInPandas não há suporte no modo em tempo real. Em vez disso, use a API baseada transformWithState em linha, que usa Row objetos em vez de DataFrames pandas.
• No modo em tempo real, os temporizadores são atrasados ao disparar dependendo da chegada dos dados:
  • Se um temporizador for agendado para 10:00:00, mas nenhum dado chegar, o temporizador não será acionado imediatamente.
  • Se os dados chegarem às 10:00:10, o temporizador será acionado com um atraso de 10 segundos.
  • Se nenhum dado chegar e o lote de execução longa estiver sendo encerrado, o temporizador será acionado antes que o lote seja encerrado.

Python UDFs no modo em tempo real

O Databricks dá suporte à maioria das UDFs (funções definidas pelo usuário) Python no modo em tempo real:

Sem estado

Agrupamento com estado (UDAF)

Agrupamento sem estado (UDAF)

Funções de tabela

Há vários pontos a serem considerados ao usar Python UDFs no modo em tempo real:

• Para minimizar a latência, configure o tamanho do lote do Arrow (spark.sql.execution.arrow.maxRecordsPerBatch) para 1.
  • Compensação: essa configuração otimiza a latência em detrimento da taxa de transferência. Para a maioria das cargas de trabalho, essa configuração é recomendada.
  • Aumente o tamanho do lote somente se uma taxa de transferência maior for necessária para acomodar o volume de entrada, aceitando o potencial aumento na latência.
• As UDFs e as funções do Pandas não têm um bom desempenho com um tamanho de lote do Arrow de 1.
  • Se você utilizar UDFs ou funções com pandas, ajuste o tamanho de bloco do Arrow para um valor mais elevado (por exemplo, 100 ou mais).
  • Isso implica uma latência maior. O Databricks recomenda o uso de uma UDF ou função de seta, se possível.
• transformWithStateInPandas não há suporte no modo em tempo real. Em vez disso, use a API baseada transformWithState em linha, que usa Row objetos em vez de DataFrames pandas. Consulte transformWithStateInPandas sem suporte e exemplos de modo Real-time para um exemplo de Python de trabalho usando a API baseada em linha.