Adicionar origem do Amazon MSK Kafka a um Eventstream

Este artigo mostra como adicionar uma fonte do Amazon MSK Kafka a um fluxo de eventos. 

O Amazon MSK Kafka é um serviço Kafka totalmente gerenciado que simplifica a instalação, o dimensionamento e o gerenciamento. Ao integrar o Amazon MSK Kafka como uma fonte no eventstream, você pode facilmente trazer os eventos em tempo real do MSK Kafka e processá-los antes de roteá-los para vários destinos dentro do Fabric. 

Pré-requisitos

• Acesso a um espaço de trabalho no modo de licença de capacidade do Fabric ou no modo de licença de avaliação com permissões de colaborador ou superior.

• Um cluster MSK (Amazon Managed Streaming para Kafka) em operação ativa.

• O cluster do Amazon MSK Kafka deve ser acessível publicamente e não estar por trás de um firewall ou protegido em uma rede virtual. Se ele residir em uma rede protegida, conecte-se a ela usando a injeção de rede virtual do conector Eventstream.

• Se você planeja usar as configurações do TLS/mTLS, verifique se os certificados necessários estão disponíveis em um Azure Key Vault:

  • Importe os certificados necessários para o Azure Key Vault no formato .pem .
  • O usuário que configura os dados de origem e visualizações deve ter permissão para acessar os certificados no Key Vault (por exemplo, Usuário do Certificado do Key Vault ou Administrador do Key Vault).
  • Se o usuário atual não tiver as permissões necessárias, os dados não poderão ser visualizados dessa fonte no Eventstream.

Adicionar o Amazon MSK Kafka como origem

1. Na Inteligência em Tempo Real do Fabric, selecione Eventstream para criar um eventstream.

2. Na próxima tela, selecione Conectar fontes de dados, ou selecione Adicionar fonte ->Conectar fontes de dados.

3. Na página Selecionar uma fonte de dados , selecione Exibir todas as fontes.

4. Pesquise Amazon MSK Kafka e, em seguida, selecione Conectar no tile.

   

Configurar e conectar-se ao Amazon MSK Kafka

1. Na página Conectar, selecione Nova conexão.

   

2. Na seção Configurações de conexão, para Servidor Bootstrap, insira um ou mais endpoints de servidores de Bootstrap Kafka públicos. Use vírgulas (,) para separar vários servidores.

   Para obter o ponto de extremidade público:

   

3. Na seção Credenciais de conexão, se você tiver uma conexão existente com o cluster Kafka do Amazon MSK, selecione-a na lista suspensa de Conexão. Caso contrário, siga estas etapas:

   1. Em Nome da conexão, insira um nome para a conexão.
   2. Em Tipo de autenticação, confirme se a Chave de API está selecionada.
   3. Digite a chave API e o segredo da chave para o cluster Amazon MSK Kafka em Chave e Segredo.

      Observação

      Se você usar apenas o mTLS para fazer a autenticação, poderá adicionar qualquer cadeia de caracteres na seção Chave durante a criação da conexão.

4. Selecione Conectar. 

5. Agora, na página Conectar, siga estas etapas.

   1. Em Tópico, insira o tópico Kafka.

   2. Em Grupo de consumidores, insira o grupo de consumidores do cluster do Kafka. Esse campo fornece um grupo de consumidores dedicado para receber eventos.

   3. Selecione Redefinir deslocamento automático para especificar onde começar a ler os deslocamentos, se não houver confirmação.

   4. Para o protocolo de segurança, selecione uma das seguintes opções:

      • SASL_SSL: Use essa opção quando o cluster Kafka usará a autenticação baseada em SASL. Por padrão, o certificado de servidor do agente Kafka deve ser assinado por uma AC (Autoridade de Certificação) incluída na lista de CAs confiáveis. Se o cluster Kafka usar uma AC personalizada, você poderá configurá-la usando as configurações do TLS/mTLS.
      • SSL (mTLS): use essa opção quando o cluster Kafka exigir autenticação mTLS e você deve configurar um certificado de AC do servidor personalizado e um certificado de cliente nas configurações do TLS/mTLS.

   5. O mecanismo SASL padrão é SCRAM-SHA-512 e não pode ser alterado.

   6. Se o cluster Kafka usar uma AC personalizada ou exigir mTLS, expanda as configurações do TLS/mTLS e defina as seguintes opções conforme necessário:

      • Certificado CA Confiável: habilitar a configuração de Certificado CA Confiável. Selecione sua assinatura, grupo de recursos, cofre de chaves e depois forneça o nome da autoridade certificadora do servidor.

      • Certificado e chave do cliente: habilitar o certificado do cliente e a configuração de chave. Selecione sua assinatura, grupo de recursos e cofre de chaves e forneça o nome do certificado do cliente.

        Se você não usar mTLS, mas ainda usar SASL_SSL com o certificado de AC personalizado, ignore essa configuração de certificado do cliente.

      Observação

      As configurações do TLS/mTLS nesta seção estão atualmente em versão prévia.

      Para fontes em uma rede privada, verifique se o Azure Key Vault que contém seus certificados está conectado à rede virtual do Azure usada pelo gateway de dados de rede virtual de streaming para injeção de rede virtual do conector Eventstream (por exemplo, por meio de um ponto de extremidade privado).

   

Detalhes do fluxo ou da origem

1. Na página Conectar , siga uma destas etapas com base em se você está usando o Eventstream ou Real-Time hub.

   • Fluxo de eventos:

     No painel Detalhes da origem à direita, siga estas etapas:

     1. Para Fonte, selecione o botão Lápis para alterar o nome.

     2. Observe que o nome do fluxo de eventos e o nome do fluxo são somente leitura.

   • Real-Time hub:

     Na seção Detalhes de streaming à direita, siga estas etapas:

     1. Selecione o workspace do Fabric no qual você deseja criar o fluxo de eventos.

     2. Para nome do Eventstream, selecione o botão Lápis e insira um nome para o Eventstream.

     3. O valor do nome do Stream é gerado automaticamente para você acrescentando -stream ao nome do fluxo de eventos. Esse fluxo aparece na página Todos os fluxos de dados do hub em tempo real quando a execução do assistente é finalizada.

2. Selecione Avançar na parte inferior da página Configurar .

Examinar e conectar

Na tela Examinar + conectar, examine o resumo e selecione Adicionar (Eventstream) ou Conectar (Real-Time Hub).

Exibir o Eventstream atualizado

Você pode ver a origem do Amazon MSK Kafka adicionada ao fluxo de eventos no modo Editar. 

Depois de concluir essas etapas, a origem do Amazon MSK Kafka estará disponível para visualização no Modo de exibição ao vivo.

Conteúdo relacionado

Outros conectores:

• Fluxos de dados do Amazon Kinesis
• Azure Cosmos DB
• Hubs de eventos do Azure
• Hub IoT do Azure
• Captura de dados de alterações (CDA) com o Banco de Dados SQL do Azure
• Ponto de extremidade personalizado
• Pub/Sub do Google Cloud
• CDC do Banco de Dados MySQL
• CDA do Banco de dados PostgreSQL
• Dados de amostra
• Eventos do Azure Blob Storage
• Evento de ambiente de trabalho do Fabric