Guia de suporte virtual e local do conector de streaming Eventstream (pré-visualização)

A rede virtual do conector de streaming e o suporte on-premises oferecem uma forma segura e gerida para o Eventstream aceder a fontes de streaming que se encontram em redes privadas. Este guia mostra-lhe como usar esta funcionalidade para ligar as suas fontes de rede privada ao Eventstream. Aprende a conceder as permissões necessárias, configurar uma rede virtual, ligar a sua rede de origem, criar um gateway de dados para a rede virtual em streaming e adicionar a fonte de dados da sua rede privada ao Eventstream.

Fluxo de trabalho de ponta a ponta

Ao seguir este guia, irá:

1. Registe o fornecedor de recursos do Microsoft.MessagingConnectors na subscrição do Azure que possui.
2. Crie uma rede virtual Azure com uma sub-rede e delegue uma sub-rede a Microsoft.MessagingConnectors.
3. Ligue a sua rede privada de fonte de streaming à rede virtual Azure usando um dos métodos suportados:
   1. Ligação VPN ou ligação Azure ExpressRoute (Para redes virtuais de cloud de terceiros ou fontes locais)
   2. Ponto final privado
   3. Rede selecionada (Endpoint de Serviço)
   4. Emparelhamento de rede virtual do Azure
4. Ativa a identidade do espaço de trabalho para o teu espaço de trabalho onde o teu Eventstream está localizado.
5. Conceda o cargo de Contribuidor da Rede à identidade do seu espaço de trabalho.
6. Crie um gateway virtual de dados de rede em streaming no portal Fabric.
7. Crie uma ligação com um gateway de dados de rede virtual em streaming.
8. Adicione a sua fonte de dados de rede privada ao fluxo de eventos e publique.

Para saber mais sobre a arquitetura e o conceito da solução, visite a rede virtual (rede virtual) do Eventstream Streaming Connector e a Visão Geral do Suporte local

Origens suportadas

Esta funcionalidade aplica-se a fontes Eventstream que utilizam conectores de streaming para recuperar dados de fontes externas, ou seja, os pedidos de saída são feitos para esses sistemas externos. Suporta as seguintes funcionalidades:

• Captura de Dados de Alteração do Banco de Dados SQL do Azure (CDC)
• Instância Gerida do Azure SQL CDC
• Azure Service Bus
• Azure Cosmos DB CDC
• Azure Data Explorer (ADX)
• Hubs de Eventos do Azure (Modo de funcionalidades estendidas)
• Amazon Managed Streaming para o Apache Kafka
• Apache Kafka
• Amazon Kinesis Data Streams (fluxos de dados do Amazon Kinesis)
• Confluent Cloud para Apache Kafka
• PostgreSQL CDC
• MongoDB CDC
• Google Cloud Pub/Sub
• Transporte de Telemetria em Fila de Mensagens (MQTT)
• HTTP
• Solace PubSub+
• SQL Server em máquina virtual (VM) CDC
• Banco de dados MySQL CDC

Pré-requisito 1: Registrar o fornecedor de recursos do conector

O Eventstream Streaming Connector vNet/On-premises exige que o fornecedor 'Microsoft.MessagingConnectors' esteja registado na subscrição que aloja a rede virtual.

1. Vá ao seu recurso de subscrição no portal Azure, selecione a subscrição que será usada para a criação da sua rede virtual.

2. Selecione Fornecedores de recursos e pesquise Microsoft.MessagingConnectors.

3. Verifica se o Microsoft.MessagingConnectors está registado. Se não, selecione-o e selecione o botão Registar para o registar.

   

Pré-requisito 2: Configurar uma rede virtual Azure

Esta secção mostra como preparar a rede virtual Azure com uma sub-rede configurada.

1. Crie uma rede virtual Azure no portal Azure. Certifica-te de que a região que selecionas corresponde à região do teu evento stream.

   

   Pode reutilizar a rede virtual Azure existente nesta região. Mas certifique-se de que a rede virtual tem um intervalo de endereços IP que não se sobrepõe aos seguintes intervalos: 10.240.0.0/16 e 10.224.0.0/12.

2. Navegue até ao separador Sub-redes no seu recurso de rede virtual para preparar a sub-rede.

3. Pode selecionar uma sub-rede existente para editar ou criar uma nova.

   Observação

   É fortemente recomendado, de modo a evitar potenciais conflitos, criar uma nova sub-rede para a injeção de vNet do conector. Se optar por usar uma sub-rede existente, certifique-se de que não contém Endpoints Privados, Balanceadores de Carga, Gateways de Aplicação, máquinas virtuais (VMs), conjuntos de escala de máquinas virtuais (VMSS) ou interfaces de rede (NICs).

   

4. Ao configurar a sua subrede, certifique-se de usar um intervalo de endereços IP que não coincida com 10.240.0.0/16 ou 10.224.0.0/12 e pelo menos 16 (15+1) IPs estão disponíveis (por exemplo, ao criar a sub-rede no Azure, certifique-se de definir xx.xx.xx.xx /27 pelo menos). e selecione Delegação de Sub-rede para delegar sub-rede ao serviço: Conectores de Mensagens.

   Observação

   Ao planear a contagem de IPs disponível para uma subrede, considere o número de conectores que irão correr na sub-rede e o potencial de auto-escalabilidade dos recursos dos conectores. Note que Azure reserva 15 endereços IP por subrede.

   • Cada conector utiliza um endereço IP. Quando ocorre auto-escalonamento de recursos do conector, o número máximo de endereços IP que um conector pode usar é igual ao número de partições da fonte (se a fonte tiver partições).
   • Exemplo: Se tiver dois conectores Apache Kafka adicionados a fluxos de eventos com uma vNet numa nova subrede, e cada fonte Kafka tiver 10 partições, o número máximo de IPs necessário é 35 (15 IPs reservados Azure + 10 IPs × 2 conectores).

   

Pré-requisito 3: Ligue a rede da sua fonte de streaming à rede virtual Azure

Quando a fonte está numa rede privada, é obrigatório que a sua rede virtual Azure tenha sido criada na etapa anterior para estar ligada à rede privada da sua fonte, ou seja, o cliente nesta rede virtual Azure deve conseguir ligar-se a essa fonte. Pode criar uma máquina virtual noutra sub-rede dentro da rede virtual Azure e usá-la para verificar a conectividade à rede privada onde a sua fonte está localizada.

Fontes não-Azure e fontes on-premises

Para cenários de fonte não-Azure ou on-premises, precisa de usar uma ligação VPN ou Azure ExpressRoute para ligar a sua fonte a esta rede virtual Azure. Consulte Ligar uma rede local ao Azure. Se tiver tais fontes numa rede privada, certifique-se de que uma máquina virtual nesta rede virtual Azure pode ligar-se à sua fonte antes de usar esta rede virtual Azure para configurar o seu event stream.

Existem vários documentos públicos que fornecem instruções detalhadas para tais ligações, incluindo:

• Para a Amazon Web Services (AWS) Virtual Private Cloud (VPC): Como configurar facilmente uma VPN entre Azure e AWS usando serviços geridos
• Para AWS VPC: Desenhar conectividade de rede privada entre AWS e Microsoft Azure
• Para o Google Cloud VPC: Criar ligações HA VPN entre o Google Cloud e o Azure

Códigos-fonte do Azure

Para fontes de streaming no Azure, como Azure SQL Server Database CDC, Azure Cosmos DB CDC, Azure Service Bus, etc., pode usar 'endpoint privado' ou 'adicionar rede virtual na rede selecionada' ou 'emparelhamento de rede virtual' para permitir que uma rede virtual aceda à fonte nesta rede privada.

Este guia utiliza a fonte de streaming Azure com os métodos de 'endpoint privado' ou 'adicionar rede virtual na rede selecionada' e 'peering de rede virtual' para conectar-se à rede virtual criada nas etapas anteriores.

Método 1: Endpoint privado

Esta abordagem é aplicável às seguintes fontes de streaming Azure, tais como:

• Base de Dados Azure SQL Server
• Azure SQL Managed Instance
• Camada Premium do Azure Service Bus
• Azure Cosmos DB
• Azure Data Explorer
• Base de Dados do Azure para PostgreSQL
• Base de Dados do Azure para MySQL

Ou outras fontes que estejam na rede virtual Azure, por exemplo, Confluent Cloud para Apache Kafka (no Azure).

O exemplo demonstra o uso da fonte Azure SQL Server.

1. Vá à sua fonte (por exemplo, Azure SQL Server), selecione Networking > Acesso Privado > Criar endpoint privado para criar o endpoint privado.

   

2. Use o assistente para criar o endpoint privado, selecionando a rede virtual Azure criada no Pré-requisito #1 durante a etapa 'Rede Virtual'. Para a seleção da subrede, escolha uma sub-rede diferente daquela delegada a 'MessagingConnector' no Pré-requisito #1.

   

3. Depois de o ponto privado ser criado com sucesso, pode encontrar o endpoint privado em Definir > endpoints privados no recurso de rede virtual Azure.

   

   E uma zona DNS privada correspondente deve estar ligada a esta rede virtual Azure. Podes verificar isso em Definir > DNS. Se não conseguires encontrar a zona DNS privada correspondente, deves apagar este endpoint privado e recriá-lo novamente.

   

Método 2: Adicionar rede virtual numa rede selecionada

Esta abordagem é aplicável às seguintes fontes de streaming Azure, tais como:

• Base de Dados Azure SQL Server
• Camada Premium do Azure Service Bus
• Azure Cosmos DB

O exemplo mostrado é usar o Azure Service Bus com o nível premium (esta abordagem não está disponível no Service Bus Basic ou no Standard tier).

Vá à sua fonte (por exemplo, Azure Service Bus), selecione >, selecione a rede virtual que criou no Pré-requisito n.º 1.

Método 3: Emparelhamento de rede virtual

Esta abordagem é aplicável às fontes de streaming Azure, tais como:

• SQL Server em VM (Azure)
• Azure SQL Managed Instance

Ou outras fontes que estejam na rede virtual Azure. O exemplo é usar o SQL Server no código-fonte da VM Azure.

1. Vá ao seu SQL Server de origem no Azure VM no portal Azure e selecione Definições de Rede da VM >SQL Rede virtual / sub-rede para abrir a rede virtual da VM SQL.

2. Na página de rede virtual de VM SQL, selecione Peerings > Adicionar para fazer peering com a rede virtual Azure que criou no Pré-requisito#1.

   

Pré-requisito 4: Ativar a identidade do workspace e adicionar atribuição de funções à identidade do workspace

A identidade do espaço de trabalho necessita do papel Network Contributor na rede virtual Azure que criou, para que possa ser utilizada na injeção de rede virtual do conector de streaming.

1. Verifique se o seu espaço de trabalho onde o seu eventstream está localizado tem a identidade do espaço de trabalho ativada. Se não, vá às definições do espaço de trabalho > Identidade do espaço de trabalho e ative a identidade do espaço de trabalho.

   

2. Copie o ID do espaço de trabalho das configurações do espaço de trabalho → identidade do espaço de trabalho.

   

3. Depois volta à tua rede virtual Azure e abre o controlo de acesso (IAM). Selecione Adicionar atribuição de função.

   

4. Procure e selecione a função de Contribuidor de Rede , depois selecione Próximo. Em Atribuir acesso a, escolha Utilizador, grupo ou principal de serviço. Selecione Membros e introduza o nome do seu espaço de trabalho ou cole o ID que copiou para o localizar.

   

Adicione a fonte de dados na rede privada no seu fluxo de eventos no Fabric

Depois de todos os pré-requisitos estarem definidos, pode agora adicionar a fonte de dados que está na rede privada ao seu event stream no Fabric.

Vá ao portal Fabric, selecione Ligar fontes de dados no seu fluxo de eventos ou fontes de dados no Real-Time Hub, e selecione uma fonte. Este guia toma o Azure Service Bus como exemplo.

Criar um gateway de dados em rede virtual para streaming

Selecione uma fonte, ou seja, Azure Service Bus, e o assistente Get events será aberto. Selecione Configurar para abrir a página Gerir ligações e gateways e pode criar os seus gateways virtuais de Streaming.

1. Navegue até Gateways de dados virtuais de rede para streaming, depois selecione Novo.
2. Selecione a subscrição Azure onde criou a rede virtual nos passos anteriores, juntamente com o grupo de recursos, a rede virtual e a sub-rede.
3. Especifique um nome e selecione Guardar para completar a criação.

Para saber mais sobre como gerir os gateways de dados de rede virtual em streaming, visite Criar e gerir gateways de dados de rede virtual em streaming.

Criar a Ligação

Depois de criar o gateway de dados de rede virtual de streaming, volte à página do assistente de obter eventos e selecione Nova ligação no assistente para criar uma ligação ao selecionar o gateway de dados que criou.

1. Selecionar Nova ligação

   

2. Assegure a seleção do gateway virtual de dados de rede em streaming em Data gateway. Tem o prefixo [Streaming vNet]. Pode selecionar o ícone de atualizar para ver o gateway recém-criado listado.

   

   Observação

   Se for selecionado um gateway de dados, ignore a etapa de teste da ligação neste assistente de criação de ligação.

3. Selecione a Ligação que criou com o gateway de dados da rede virtual de streaming incluído. Tem um prefixo: [vNet].

   

Em alternativa, pode criar uma ligação com a porta de dados em fluxo contínuo na página Gerir ligações e gateways, e depois selecioná-la na opção Conexão no assistente de Obter eventos.

1. Na página Gerir ligações e gateways, selecione o separador Ligações e selecione o botão + Novo. Ao criar uma nova ligação, selecione Rede virtual em streaming.

   

2. Escolha o nome do gateway de streaming de dados que criou na etapa anterior e depois forneça as informações necessárias dos recursos.

3. Usando o Azure Service Bus como exemplo, introduza o nome da Ligação, Tipo de Ligação (Selecione Azure Service Bus), Nome do Anfitrião, Nome da chave de acesso partilhada e Chave de acesso partilhada, e depois selecione Criar.

   

Certifique-se de que o tipo de Ligação correto é selecionado para a sua fonte.

Termina a configuração e publica o fluxo de eventos

Os passos restantes seguem o processo padrão de configuração da fonte Eventstream. Termina todas as outras configurações de código-fonte e depois cria ou publica este fluxo de eventos.

Na visualização ao vivo, a fonte do bus de serviço Azure está Ativa, e os dados devem fluir para o Eventstream. Pode consultar a Visão Geral de Dados ou a Pré-visualização de Dados do nó do meio para confirmar.

Conteúdo relacionado

• Visão geral do suporte de rede privada do Eventstream Streaming Connector
• Criar e gerir um gateway virtual de dados de rede de streaming
• Escolha a funcionalidade de segurança de rede certa para o Eventstream