Adicionar fonte Apache Kafka a um eventstream do Fabric (pré-visualização)

Este artigo mostra-lhe como adicionar a fonte Apache Kafka a um evento stream do Fabric.

O Apache Kafka é uma plataforma distribuída de código aberto para a construção de sistemas de dados escaláveis e em tempo real. Ao integrar o Apache Kafka como fonte dentro do seu fluxo de eventos, pode trazer eventos em tempo real do seu Apache Kafka de forma fluida e processá-los antes de os encaminhar para múltiplos destinos dentro do Fabric.

Pré-requisitos

  • Acesso ao espaço de trabalho Fabric com permissões Contribuidor ou superiores.

  • Um cluster Apache Kafka em execução.

  • Seu Apache Kafka deve ser acessível publicamente e não estar protegido por um firewall ou protegido em uma rede virtual. Se residir numa rede protegida, conecte-se a ela usando a injeção virtual de rede do conector Eventstream.

  • Se planeia usar as definições TLS/mTLS, certifique-se de que os certificados necessários estão disponíveis num Azure Key Vault:

    • Importa os certificados necessários para Azure Key Vault no formato .pem.
    • O utilizador que configura a fonte e pré-visualiza os dados deve ter permissão para aceder aos certificados no Key Vault (por exemplo, Key Vault Utilizador do Certificado ou Key Vault Administrador).
    • Se o utilizador atual não tiver as permissões necessárias, os dados não podem ser pré-visualizados a partir desta fonte no Eventstream.

Adicionar Apache Kafka como fonte

Se ainda não adicionaste nenhuma fonte ao teu event stream, seleciona o mosaico Connect data sources . Também pode selecionar Adicionar fonte>Conectar fontes de dados na fita.

Captura de ecrã que mostra a seleção do tile para usar uma fonte externa.

Se estiveres a adicionar a fonte a um fluxo de eventos já publicado, muda para o modo Editar. Na fita, selecione Adicionar fonte>Ligar fontes de dados.

Captura de ecrã que mostra seleções para adicionar fontes externas.

Na página Selecione uma fonte de dados ou na página Fontes de dados, selecione Apache Kafka.

Captura de tela que mostra a seleção do Apache Kafka como o tipo de origem no assistente Obter eventos.

Configurar e conectar-se ao Apache Kafka

  1. Na página Conectar, selecione Nova conexão.

    Captura de tela que mostra a seleção do link Nova conexão na página Conectar do assistente Obter eventos.

  2. Na secção Definições de Ligação, em Bootstrap Server, introduza um ou mais endereços de servidores de bootstrap Kafka. Separe múltiplos endereços com vírgulas (,).

    Captura de tela que mostra a seleção do campo Servidor Apache Kafka Bootstrap na página de Conexão do assistente Obter eventos.

  3. Na seção Credenciais de conexão , Se você tiver uma conexão existente com o cluster Apache Kafka, selecione-a na lista suspensa para Conexão. Caso contrário, siga estes passos:

    1. Em Nome da conexão, insira um nome para a conexão.
    2. Para Tipo de autenticação, confirme se a opção Chave de API está selecionada.
    3. Em Chave e Segredo, insira Chave da API e Segredo da chave.

      Observação

      Se só usares mTLS para fazer a autenticação, podes adicionar qualquer string na secção de Chaves durante a criação da ligação.

  4. Selecione Conectar. 

  5. Agora, na página Conectar, siga estas etapas.

    1. Em Tópico, insira o tópico Kafka.

    2. Em Grupo de consumidores, insira o grupo de consumidores do seu cluster Apache Kafka. Este campo fornece-lhe um grupo de consumidores dedicado para receber eventos.

    3. Selecione Redefinir deslocamento automático para especificar por onde começar a ler deslocamentos se não houver confirmação.

    4. Para protocolo de segurança, selecione uma das seguintes opções:

      • SASL_SSL: Use esta opção quando o seu cluster Kafka usar autenticação baseada em SASL. Por defeito, o certificado do servidor do corretor Kafka deve ser assinado por uma Autoridade Certificadora (CA) incluída na lista de CA de confiança. Se o teu cluster Kafka usar uma CA personalizada, podes configurá-la usando definições TLS/mTLS.
      • SSL (mTLS): Use esta opção quando o seu cluster Kafka necessitar de autenticação mTLS, e deve configurar tanto um certificado CA de servidor personalizado como um certificado de cliente nas definições TLS/mTLS.

    5. O mecanismo SASL padrão é normalmente PLAIN, a menos que configurado de outra forma. Você pode selecionar o mecanismo SCRAM-SHA-256 ou SCRAM-SHA-512 que atenda aos seus requisitos de segurança.

    6. Se o seu cluster Kafka usa uma CA personalizada ou requer mTLS, expanda as definições de TLS/mTLS e configure as seguintes opções conforme necessário:

      • Certificado Trust CA: Ativar a configuração do Certificado Trust CA. Selecione a sua subscrição, grupo de recursos e cofre de chaves, e depois forneça o nome da CA do servidor.

      • Certificado e chave do cliente: Ativar a configuração do certificado e chave do cliente. Selecione a sua subscrição, grupo de recursos e cofre de chaves, e depois forneça o nome do certificado do cliente.

        Se não usares mTLS mas ainda usares SASL_SSL com o teu certificado CA personalizado, podes saltar esta configuração de certificado de cliente.

      Observação

      As definições de TLS/mTLS nesta secção estão atualmente em pré-visualização.

      Para fontes numa rede privada, certifique-se de que o Azure Key Vault que contém os seus certificados está ligado à rede virtual Azure usada pelo gateway de dados da rede virtual de streaming para a injeção virtual de rede do conector Eventstream (por exemplo, através de um endpoint privado).

    Captura de tela que mostra a primeira página das configurações de conexão do Apache Kafka.

Detalhes do fluxo ou da fonte

  1. Na página de Conectar , siga um destes passos consoante se está a usar o Eventstream ou Real-Time hub.

    • Eventstream:

      No painel de detalhes de origem à direita, siga estes passos:

      1. Para Nome da Fonte, selecione o botão Lápis para alterar o nome.

      2. Note que o nome do Eventstream e o nome do Stream são apenas de leitura.

    • Real-Time hub:

      Na seção Detalhes do fluxo à direita, siga estas etapas:

      1. Selecione o espaço de trabalho Fabric onde quer criar o fluxo de eventos.

      2. Para o nome do eventstream, selecione o botão Lápis e insira um nome para o eventstream.

      3. O valor nome do Stream é gerado automaticamente ao adicionar -stream ao nome do eventstream. Este fluxo aparece na página Todos os fluxos de dados do hub em tempo real quando o assistente termina.

  2. Selecione Seguinte no final da página de Configurar .

Revise e conecte-se

No ecrã Revisão + ligar , reveja o resumo e selecione Adicionar (Eventostream) ou Conectar (Real-Time hub).

Ver fluxo de eventos atualizado

Você pode ver a fonte Apache Kafka adicionada ao seu fluxo de eventos no modo de edição. 

Captura de tela que mostra a fonte Apache Kafka no modo de exibição Editar.

Depois de concluir essas etapas, a fonte Apache Kafka estará disponível para visualização na Visualização dinâmica.

Captura de tela que mostra a fonte do Apache Kafka na Visualização dinâmica.

Observação

Para visualizar eventos dessa fonte do Apache Kafka, verifique se a chave usada para criar a conexão na nuvem tem permissão de leitura para grupos de consumidores prefixados com "preview-".

Para a fonte Apache Kafka, apenas mensagens no formato JSON podem ser visualizadas.

Captura de tela que mostra a visualização de dados de origem do Apache Kafka.

Conteúdo relacionado

Outros conectores:

  • Last updated on