Concepts du connecteur Microsoft SQL Server

Cette page décrit le fonctionnement du connecteur SQL Server, y compris ses concepts de base.

Comment Azure Databricks se connecte-t-il à SQL Server ?

Azure Databricks se connecte à SQL Server à l’aide du protocole TLS (Transport Layer Security) et d’une connexion JDBC. Les pipelines nouvellement créés valident également le certificat TLS du serveur pour vérifier l’identité du serveur. Pour plus d’informations et des options de configuration, consultez validation du certificat de serveur TLS. Les informations d’identification sont stockées en toute sécurité dans le catalogue Unity et ne peuvent être récupérées que si l’utilisateur exécutant le flux d’ingestion dispose des autorisations appropriées. Databricks recommande de créer un utilisateur SQL Server distinct pour l’ingestion de données. S’il existe des bases de données ou des tables que vous ne souhaitez pas exposer à cet utilisateur, vous pouvez utiliser des autorisations SQL Server intégrées.

Comment le connecteur extrait-t-il de façon incrémentielle des données ?

Le connecteur utilise Microsoft Change Tracking et Microsoft Change Data Capture (CDC). Si une table a une clé primaire, Databricks recommande d’utiliser le suivi des modifications pour optimiser les performances. Si une table n’a pas de clé primaire, Databricks recommande d’utiliser CDC. Si le suivi des modifications et la capture des changements de données sont tous les deux activés, le connecteur utilise le suivi des modifications.

Variations de base de données

Le connecteur prend en charge les bases de données SQL Azure SQL et AWS RDS SQL. Cela inclut SQL Server s’exécutant sur des machines virtuelles Azure et Amazon EC2. Le connecteur prend également en charge SQL Server localement à l’aide d’Azure ExpressRoute, AWS Direct Connect et VPN si une bande passante suffisante est disponible.

Méthodes d’authentification

  • Le connecteur prend en charge les méthodes d’authentification suivantes :
    • OAuth utilisateur-vers-machine (U2M) avec Microsoft Entra ID
    • Machine à machine (M2M) OAuth avec Microsoft Entra ID
    • Nom d'utilisateur et mot de passe

Ingestion SQL Server et fédération de requêtes

En plus du connecteur d’ingestion SQL Server dans Lakeflow Connect, Databricks offre un connecteur de copie zéro dans Lakehouse Federation. Le connecteur de copie zéro vous permet d’interroger des données dans SQL Server sans le déplacer.