Conceitos de conectores Microsoft SQL Server

Esta página descreve como funciona o conector SQL Server, incluindo os seus conceitos centrais.

Como é que o Azure Databricks se liga ao SQL Server?

O Azure Databricks liga-se ao SQL Server usando Transport Layer Security (TLS) e uma ligação JDBC. As credenciais são armazenadas com segurança no Unity Catalog e só podem ser recuperadas se o usuário que executa o fluxo de ingestão tiver as permissões apropriadas. A Databricks recomenda criar um utilizador SQL Server separado para a ingestão de dados. Se houver bancos de dados ou tabelas que você não deseja expor a esse usuário, você pode usar permissões internas do SQL Server.

Como o conector extrai dados incrementalmente?

O conector utiliza o Microsoft Change Tracking e o Microsoft Change Data Capture (CDC). Se uma tabela tiver uma chave primária, o Databricks recomenda o uso do controle de alterações para obter um desempenho ideal. Se uma tabela não tiver uma chave primária, o Databricks recomenda o uso do CDC. Se o controle de alterações e o CDC estiverem habilitados, o conector usará o controle de alterações.

Variações da base de dados

O conector suporta bancos de dados SQL do Azure e AWS RDS SQL. Isso inclui o SQL Server em execução em máquinas virtuais (VMs) do Azure e o Amazon EC2. O conector também oferece suporte ao SQL Server local usando o Azure ExpressRoute, o AWS Direct Connect e a VPN, se houver largura de banda suficiente disponível.

Métodos de autenticação

• O conector suporta os seguintes métodos de autenticação:
  • User-to-machine (U2M) OAuth com Microsoft Entra ID
  • Machine-to-machine (M2M) OAuth com Microsoft Entra ID
  • Nome de utilizador e palavra-passe

Ingestão em SQL Server vs. federação de consultas

Além do conector de ingestão SQL Server no Lakeflow Connect, o Databricks oferece um conector Zero Copy no Lakehouse Federation. O conector zero-copy permite-lhe consultar dados no SQL Server sem os mover.