Processar e encaminhar dados com fluxos de dados

Os fluxos de dados simplificam a configuração de caminhos de dados para mover, transformar e enriquecer dados. Ao utilizar fluxos de dados, pode ligar várias fontes de dados e realizar operações de dados. O componente de fluxo de dados faz parte do Operações IoT do Azure, que implementa como uma extensão do Azure Arc. Configura um fluxo de dados usando a interface web da experiência de operações, o CLI do Azure ou os templates do Azure Resource Manager.

Você pode escrever configurações para vários casos de uso, como:

  • Transforma os dados e envia-os de volta para o MQTT.
  • Transforme os dados e envie-os para a cloud.
  • Envie dados para a cloud ou edge sem transformação.

Os fluxos de dados não estão limitados à região onde implementas a instância de Operações IoT. Você pode usar fluxos de dados para enviar dados para pontos finais na nuvem em várias regiões.

Note

Os fluxos de dados substituem o componente apenas de pré-visualização Data Processor das primeiras versões do Operações IoT do Azure. O --include-dp parâmetro em az iot ops init foi removido e já não é necessário — os componentes dos fluxos de dados são implementados automaticamente.

Funcionalidades principais

Esta secção descreve as principais características dos fluxos de dados.

Processamento e encaminhamento de dados

Os fluxos de dados permitem a ingestão, o processamento e o encaminhamento das mensagens para coletores especificados. Pode especificar:

  • Fontes: De onde ingere mensagens.
  • Destinos: Para onde drena as mensagens, incluindo suporte para encaminhamento dinâmico de tópicos com base no conteúdo das mensagens para endpoints MQTT.
  • Transformações (opcionais): Configuração para operações de processamento de dados.

Capacidades de transformação

Pode aplicar transformações aos dados durante a fase de processamento para realizar várias operações. Estas operações podem incluir:

  • Cálculo de novas propriedades: Com base nas propriedades existentes na mensagem.
  • Renomeação de propriedades: Para padronizar ou clarificar dados.
  • Conversão de unidades: Converter valores para diferentes unidades de medida.
  • Padronizar valores: Escalar valores de propriedades para um intervalo definido pelo utilizador.
  • Contextualizar dados: Adicionar dados de referência às mensagens para enriquecimento e orientação de insights.

Sugestão

Para capacidades de processamento mais avançadas, incluindo encaminhamento condicional, agregação baseada no tempo e pipelines de transformação componível, consulte gráficos de fluxo de dados.

Configuração e implementação

Especifique a configuração usando a interface web da experiência operacional, o CLI do Azure ou os templates do Azure Resource Manager. Com base nessa configuração, o operador de fluxo de dados cria instâncias de fluxo de dados para garantir alta disponibilidade e confiabilidade.

Benefícios

  • Configuração simplificada: Liga facilmente fontes de dados e destinos.
  • Transformações flexíveis: Realize uma vasta gama de operações de dados.
  • Configuração escalável: Use ferramentas Azure para configurações escaláveis e geríveis.
  • Alta disponibilidade: O recurso nativo Kubernetes garante fiabilidade.

Usando fluxos de dados, você pode gerenciar com eficiência seus caminhos de dados. Você pode garantir que os dados sejam enviados, transformados e enriquecidos com precisão para atender às suas necessidades operacionais.

Registro de esquema

O registo de esquemas, uma funcionalidade fornecida pelo Azure Device Registry, é um repositório sincronizado na cloud e na periferia. O registro de esquema armazena as definições de mensagens provenientes de ativos de borda e, em seguida, expõe uma API para acessar esses esquemas na borda. Conectores para sul, como o conector do OPC UA, podem criar esquemas de mensagens e adicioná-los ao registo de esquemas, ou pode carregar esquemas na interface web da experiência de operações.

Os fluxos de dados usam esquemas de mensagem para transformar a mensagem no formato esperado pelo ponto de extremidade de destino.

Para mais informações, consulte Compreender esquemas de mensagens.

Bufferização de dados e persistência do disco

Quando um fluxo de dados envia mensagens para um ponto final de destino, o destino ou a rede podem tornar-se indisponíveis. Se a entrega não for concluída, o fluxo de dados não reconhece a mensagem de origem. O corretor MQTT mantém a mensagem na fila de assinantes e o fluxo de dados reitera a entrega.

** Para informações sobre o comportamento de falhas no destino, filas de subscritores do broker, buffer de mensagens em disco, persistência do broker e fluxo de dadosrequestDiskPersistence, consulte Configurar buffering de dados e persistência de disco para fluxos de dados.

Conteúdos relacionados

  • Last updated on