Processar e rotear dados com os fluxos de dados

Os fluxos de dados simplificam a configuração de caminhos de dados para mover, transformar e enriquecer dados. Usando fluxos de dados, você pode conectar várias fontes de dados e executar operações de dados. O componente de fluxo de dados faz parte do Operações do Azure IoT, que você implanta como uma extensão Azure Arc. Você configura um fluxo de dados usando a interface web de operação, o CLI do Azure ou modelos do Azure Resource Manager.

Você pode escrever configurações para vários casos de uso, como:

• Transforme os dados e envie-os de volta para o MQTT.
• Transforme dados e envie-os para a nuvem.
• Enviar dados para a nuvem ou borda sem transformação.

Os fluxos de dados não estão limitados à região em que você implanta a instância de Operações de IoT. Você pode usar fluxos de dados para enviar dados para pontos de extremidade de nuvem em regiões diferentes.

Principais recursos

Esta seção descreve as principais características de fluxos de dados.

Processamento e roteamento de dados

Os fluxos de dados habilitam a ingestão, o processamento e o roteamento das mensagens para os coletores especificados. É possível especificar:

• Fontes: de onde você ingere mensagens.
• Destinos: para onde você direciona mensagens, incluindo suporte para roteamento dinâmico de tópicos com base no conteúdo da mensagem, especificamente para pontos de extremidade MQTT.
• Transformações (opcional): configuração para operações de processamento de dados.

Funcionalidades de transformação

Você pode aplicar transformações aos dados durante o estágio de processamento para executar várias operações. Essas operações podem incluir:

• Computando novas propriedades: com base nas propriedades existentes na mensagem.
• Renomeando propriedades: para padronizar ou esclarecer dados.
• Convertendo unidades: converta valores em diferentes unidades de medida.
• Valores de padronização: dimensionar valores de propriedade para um intervalo definido pelo usuário.
• Contextualizando dados: adicione dados de referência a mensagens para aprimoramento e geração de insights.

Configuração e implantação

Especifique a configuração usando a interface web da experiência operacional, a CLI do Azure ou os modelos do Azure Resource Manager. Com base nessa configuração, o operador do fluxo de dados cria instâncias de fluxo de dados para garantir alta disponibilidade e confiabilidade.

Benefícios

• Configuração simplificada: conecte facilmente fontes de dados e destinos.
• Transformações flexíveis: execute uma ampla gama de operações de dados.
• Scalable configuration: Utilize ferramentas do Azure para configurações escalonáveis e gerenciáveis.
• Alta disponibilidade: o recurso nativo do Kubernetes garante a confiabilidade.

Usando fluxos de dados, você pode gerenciar com eficiência seus caminhos de dados. Você pode garantir que os dados sejam enviados, transformados e enriquecidos com precisão para atender às suas necessidades operacionais.

Registro de esquema

O registro de esquema, um recurso fornecido pelo Registro de Dispositivos do Azure, é um repositório sincronizado na nuvem e na edge. O registro de esquema armazena as definições de mensagens provenientes de ativos de borda e, em seguida, expõe uma API para acessar esses esquemas na borda. Conectores sul, como o conector para OPC UA, podem criar esquemas de mensagens e adicioná-los ao registro de esquema, ou você pode carregar esquemas na interface web da experiência de operações.

Os fluxos de dados usam esquemas de mensagem para transformar a mensagem no formato esperado pelo ponto de extremidade de destino.

Para obter mais informações, veja Entender esquemas de mensagens.

Buffer de dados e persistência de disco

Quando um fluxo de dados envia mensagens para um ponto de extremidade de destino, o destino ou a rede podem ficar indisponíveis. Se a entrega não puder ser concluída, o fluxo de dados não reconhecerá a mensagem de origem. O broker MQTT mantém a mensagem na fila do assinante e o fluxo de dados tenta a entrega novamente.

Para obter informações sobre o comportamento de interrupção de destino, filas de assinantes do agente, buffer de mensagens com backup de disco, persistência do agente e fluxo requestDiskPersistencede dados, consulte Configurar o buffer de dados e a persistência de disco para fluxos de dados.

Conteúdo relacionado

• Fluxos de dados versus grafos de fluxo de dados
• Visão geral dos grafos de fluxo de dados
• Criar um fluxo de dados
• Configurar uma fonte de fluxo de dados
• Criar um ponto de extremidade de fluxo de dados
• Tutorial: Enviar mensagens de ativos para a nuvem usando um fluxo de dados