Toegang tot Databricks-gegevens met behulp van externe systemen

Deze pagina biedt een overzicht van de functionaliteit en aanbevelingen voor het beschikbaar maken van gegevens die door Azure Databricks worden beheerd en gereguleerd, voor externe systemen.

Deze patronen zijn gericht op scenario's waarin uw organisatie vertrouwde hulpprogramma's of systemen moet integreren in Azure Databricks gegevens. Zie Gegevens en AI-assets veilig delen als u hulp nodig hebt bij het delen van gegevens buiten uw organisatie.

Welke externe toegang biedt Azure Databricks ondersteuning?

Azure Databricks raadt het gebruik van Unity Catalog aan om al uw gegevensassets te beheren. Unity Catalog biedt integraties voor Delta Lake-clients met behulp van de Unity REST API en Apache Iceberg-clients met behulp van de Iceberg REST-catalogus. Zie Unity Catalog-integraties voor een volledige lijst met ondersteunde integraties.

De volgende tabel bevat een overzicht van ondersteuningsindelingen en toegangspatronen voor Unity Catalog-objecten.

* Alleen buitenlandse tabellen die zijn gefedereerd met catalogusfederatie worden ondersteund. Om verse lezingen van externe engines op vreemde tabellen te garanderen, kunnen klanten regelmatig Lakeflow-taken gebruiken om metagegevens te vernieuwen.

Zie het volgende voor meer informatie over deze Unity Catalog-objecten:

• Unity Catalog beheerde tabellen in Azure Databricks voor Delta Lake en Apache Iceberg
• Werken met externe tabellen
• Wat zijn Unity Catalog-volumes?

Uitgifte van inloggegevens voor Unity Catalog

Met Unity Catalog-aanmeldverstrekkers kunnen gebruikers externe clients zo configureren dat ze rechten verkrijgen op gegevens beheerd door Azure Databricks. Zowel Iceberg- als Delta-clients kunnen referentieverkoop ondersteunen. Zie Unity Catalog-referentieverkoop voor toegang tot externe systemen.

Toegang tot tabellen met Delta-clients

Gebruik de Unity REST API voor het lezen, schrijven naar en maken van beheerde en externe tabellen van Unity Catalog die worden ondersteund door Delta Lake van ondersteunde Delta-clients. Zie Access Databricks-tabellen van Delta-clients.

Voor externe tabellen beheert Unity Catalog geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd op cloudobjectopslag van externe systemen. U moet dus aanvullende beleidsregels en referenties in uw cloudaccount configureren om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.

Toegang tot tabellen met Iceberg-clients

Azure Databricks biedt Iceberg-clients ondersteuning voor lezen, schrijven en maken van tabellen die zijn geregistreerd bij Unity Catalog. Ondersteunde clients zijn Apache Spark, Apache Flink, Trino en Snowflake. Zie Access Azure Databricks tabellen van Apache Iceberg-clients.

Tabellen met het kenmerk Alleen-lezen delen tussen domeinen

U kunt Delta Sharing gebruiken om alleen-lezentoegang te verlenen tot beheerde of externe Delta-tabellen in domeinen en ondersteunde systemen. Softwaresystemen die zero-copy-leesbewerkingen van Delta Sharing-tabellen ondersteunen, zijn SAP, Amperity en Oracle. Zie Gegevens en AI-assets veilig delen.

Toegang tot niet-Delta Lake-tabelgegevens met externe tabellen

Externe tabellen van Unity Catalog ondersteunen veel andere indelingen dan Delta Lake, waaronder Parquet, ORC, CSV en JSON. Met externe tabellen worden alle gegevensbestanden in mappen opgeslagen in een opslaglocatie voor cloudobjecten die is opgegeven door een cloud-URI die is opgegeven tijdens het maken van de tabel. Andere systemen hebben rechtstreeks toegang tot deze gegevensbestanden vanuit de opslag van cloudobjecten.

Unity Catalog regelt geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd voor cloudobjectopslag van externe systemen. U moet daarom aanvullende beleidsregels en referenties in uw cloudaccount configureren om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.

Lezen en schrijven naar externe tabellen vanuit meerdere systemen kan leiden tot consistentieproblemen en beschadiging van gegevens, omdat er geen transactionele garanties worden geboden voor andere indelingen dan Delta Lake.

Unity Catalog haalt mogelijk geen nieuwe partities op die zijn geschreven naar externe tabellen, ondersteund door andere indelingen dan Delta Lake. Databricks raadt aan regelmatig MSCK REPAIR TABLE table_name uit te voeren om ervoor te zorgen dat Unity Catalog alle gegevens heeft geregistreerd die zijn geschreven door externe systemen.

Toegang tot niet-tabellaire gegevens met externe volumes

Databricks raadt aan externe volumes te gebruiken om niet-tabellaire gegevensbestanden op te slaan die naast Azure Databricks worden gelezen of geschreven door externe systemen. Zie Wat zijn Unity Catalog-volumes?

Unity Catalog regelt geen lees- en schrijfbewerkingen die rechtstreeks worden uitgevoerd voor cloudobjectopslag van externe systemen. U moet daarom aanvullende beleidsregels en referenties in uw cloudaccount configureren om ervoor te zorgen dat het beleid voor gegevensbeheer buiten Azure Databricks wordt gerespecteerd.

Volumes bieden API's, SDK's en andere hulpprogramma's voor het ophalen van bestanden uit en het plaatsen van bestanden in volumes. Zie Werken met bestanden in Unity Catalog-volumes.