Ajouter une source CDC MongoDB à un flux d’événements (aperçu)

Cet article vous montre comment ajouter une source de capture de données modifiées MongoDB à un flux d’événements.

Le connecteur CDC MongoDB pour Eventstream vous permet de diffuser en continu des événements de capture de données modifiées (CDC) de MongoDB dans Fabric Eventstream. Il prend en charge plusieurs types de déploiement MongoDB, notamment sur site, en nuage et MongoDB Atlas, ce qui permet une large gamme de scénarios de Change Data Capture (CDC). Avec ce connecteur, vous pouvez capturer les modifications de base de données en temps réel et les diffuser directement dans Eventstream pour le traitement immédiat et l’analytique.

Prerequisites

  • Espace de travail en mode capacité Fabric ou licence d’évaluation, avec des autorisations Contributor ou supérieures.
  • Un cluster MongoDB accessible publiquement à partir de votre adresse IP cliente. S’il réside dans un réseau protégé, connectez-vous à celui-ci à l’aide de l’injection de réseau virtuel du connecteur Eventstream.
  • Capture de données modifiées (CDC) activée pour les collections que vous souhaitez capturer.
  • Flux d’événements dans Fabric. Si vous n’en avez pas, créez un flux d’événements.

Configurer une instance MongoDB

Cet exemple utilise MongoDB Atlas, le service MongoDB managé sur MongoDB Cloud.

Pour capturer les modifications, vous devez activer la capture de données modifiées (CDC) pour les collections cibles.

Entrez la commande suivante dans l’interpréteur MongoDB pour activer la fonction CDC (capture de données modifiées) pour une collection :

db.runCommand({
  collMod: "<collectionName>",
  changeStreamPreAndPostImages: { enabled: true }
});

Note

Vous avez besoin d’un utilisateur avec le atlasAdmin rôle, qui inclut l’action collMod, pour exécuter cette commande. Si vous ne disposez pas de ces autorisations, demandez à un collègue avec le atlasAdmin rôle d’activer la capture de données modifiées (CDC) pour les collections cibles avant de capturer les modifications dans votre flux d’événements.

Vous devez également créer ou utiliser un utilisateur MongoDB existant avec le read rôle (ou une version ultérieure) sur la base de données cible. Dans MongoDB Atlas sur MongoDB Cloud, accédez à Database Access pour vérifier le rôle de l’utilisateur.

Capture d’écran montrant comment modifier le rôle pour la base de données MongoDB.

Dans MongoDB Atlas sur MongoDB Cloud, accédez à Network Access et ajoutez votre adresse IP cliente à la liste d’accès IP.

Capture d’écran montrant comment ajouter une liste d’adresses IP.

Ajouter MongoDB (CDC) en tant que source

Si vous n’avez pas encore ajouté de source à votre flux d’événements, sélectionnez la vignette Connecter des sources de données . Vous pouvez également sélectionner Ajouter une source>Connecter des sources de données dans le ruban.

Capture d’écran montrant la sélection de la vignette pour l’utilisation d’une source externe.

Si vous ajoutez la source à un flux d’événements déjà publié, basculez vers le mode Édition. Sur le ruban, sélectionnez Ajouter une source>Connecter des sources de données.

Capture d’écran montrant les sélections pour l’ajout de sources externes.

Dans la page Sélectionner une source de données, recherchez et sélectionnez Se connecter dans la vignette MongoDB (CDC).

Capture d’écran qui montre la sélection de MongoDB (CDC) comme type de source dans l’Assistant de récupération des événements.

Configurer et se connecter à MongoDB (CDC)

  1. Sélectionnez le type d’instance MongoDB : MongoDB Atlas ou MongoDB (auto-géré).

  2. Connexion :

    1. Si vous choisissez MongoDB Atlas :

      1. Dans l’écran Connecter, sous Connexion, sélectionnez Nouvelle connexion.

        Capture d’écran montrant la page Se connecter.

      2. Entrez les paramètres de connexion suivants et les informations d’identification de connexion :

      • Server : connection string pour votre cluster Atlas, par exemple cluster0.example.mongodb.net.

      • Cluster : ce champ est facultatif. Le nom du cluster fait déjà partie du serveur. Vous pouvez donc laisser ce nom vide.

      • Nom de la connexion : généré automatiquement, ou vous pouvez entrer un nouveau nom pour cette connexion.

      • Nom d’utilisateur et mot de passe : informations d’identification d’un utilisateur ayant au moins le read rôle. Vérifiez que l’utilisateur a accès à la base de données et aux collections cibles.

        Capture d’écran des paramètres de connexion pour MongoDB Atlas.

    2. Si vous choisissez MongoDB (auto-géré) :

      1. Dans l’écran Connexion , sous Connexion, sélectionnez Nouvelle connexion pour créer une connexion cloud.

        Capture d’écran montrant la page Se connecter.

      2. Entrez les paramètres de connexion suivants et les informations d’identification de connexion :

      • Server : connection string pour votre serveur MongoDB auto-géré, par exemple mongodb0.example.com:27017.

      • Nom de la connexion : généré automatiquement, ou vous pouvez entrer un nouveau nom pour cette connexion.

      • Nom d’utilisateur et mot de passe : spécifiez un utilisateur disposant d’autorisations de lecture ou supérieures pour la base de données et les collections cibles.

        Capture d’écran des paramètres de connexion pour MongoDB (auto-géré).

  3. Entrez les informations suivantes pour configurer la source de données CDC MongoDB, puis sélectionnez Suivant.

    • Bases de données : choisissez tout (par défaut) ou entrez le ou les noms de base de données. Si vous choisissez ce dernier, fournissez une liste facultative séparée par des virgules d’expressions régulières qui correspondent aux noms de base de données à surveiller.
    • Collections : sélectionnez Tout (par défaut) ou Entrez le ou les noms de collection. Si vous choisissez ce dernier, fournissez une liste séparée par des virgules d’expressions régulières qui correspondent à des espaces de noms complets (par exemple dbName.collectionName) des collections MongoDB à surveiller.

  4. Vous pouvez développer les paramètres avancés pour accéder à d’autres options de configuration pour la source CDC MongoDB :

    • Mode instantané : les options sont les suivantes :
      • initial (valeur par défaut) : spécifie que le connecteur lit un instantané lorsqu’aucun décalage n’est trouvé ou si le flux oplog/change ne contient plus le décalage précédent.
      • initial_only : le connecteur effectue un instantané de la base de données. Une fois l’instantané terminé, le connecteur s’arrête et ne diffuse pas d’enregistrements d’événements pour les modifications de base de données suivantes.
      • no_data : le connecteur capture la structure de toutes les tables pertinentes, mais il ne crée pas d’événements READ pour représenter le jeu de données au point de démarrage du connecteur.

    Vous pouvez également modifier le nom de la source en sélectionnant le bouton Crayon pour le nom de la source dans la section Détails du flux à droite.

    Capture d’écran de la sélection de tables, d’ID de serveur et de port pour la connexion MongoDB (CDC).

Flux ou détails de la source

  1. Dans la page Se connecter , suivez l’une de ces étapes en fonction de l’utilisation d’Eventstream ou de Real-Time hub.

    • Flux d’événements :

      Dans le volet Détails de la source à droite, procédez comme suit :

      1. Pour le nom de la source, sélectionnez l'icône du crayon pour modifier le nom.

      2. Notez que le nom eventstream et le nom stream sont en lecture seule.

    • Hub en temps réel :

      Dans la section Détails du flux à droite, procédez comme suit :

      1. Sélectionnez l’espace de travail Fabric où vous souhaitez créer le flux d’événements.

      2. Pour le flux d'événements, sélectionnez le bouton Crayon et entrez un nom pour le flux d'événements.

      3. La valeur du nom du flux est générée automatiquement pour vous en ajoutant -stream au nom de l’événementstream. Ce flux s’affiche sur la page Tous les flux de données du hub en temps réel une fois que l’Assistant est terminé.

  2. Sélectionnez Suivant en bas de la page Configurer .

Vérifier et se connecter

Dans l’écran Vérifier + se connecter , passez en revue le résumé, puis sélectionnez Ajouter (Eventstream) ou Se connecter (Real-Time hub).

Afficher le flux d’événements mis à jour

Vous voyez la source MongoDB (CDC) ajoutée à votre flux d’événements en mode Édition.

Capture d’écran de la source CDC MongoDB ajoutée en mode Édition avec le bouton Publier mis en surbrillance.

Vous voyez le flux d’événements en mode Live. Sélectionnez Modifier dans le ruban pour revenir au mode Édition pour mettre à jour le flux d’événements.

Capture d’écran de la source CDC MongoDB ajoutée en mode live.

Limitation

  • La source CDC MongoDB ne prend actuellement pas en charge les fonctionnalités CI/CD, notamment l’intégration Git et le pipeline de déploiement. Toute tentative d’exportation ou d’importation d’un élément Eventstream avec cette source dans un référentiel Git peut entraîner des erreurs.

Contenu connexe

Autres connecteurs :

  • Last updated on