Uitgifte van Unity Catalog-referenties voor toegang tot externe systemen.

Op deze pagina wordt beschreven hoe de functionaliteit voor referentieverkoop van Unity Catalog toegang biedt tot gegevens in Azure Databricks van externe verwerkingsengines.

Referentieverkoop ondersteunt externe systemen die verbinding maken met Unity Catalog met behulp van de Unity REST API en Apache Iceberg REST-catalogus. Zie Access Databricks-tabellen van Delta-clients en Access Databricks-gegevens met behulp van externe systemen.

Wat is referentieverkoop voor Unity Catalog?

referentieverkoop verleent kortstondige referenties met behulp van de Unity Catalog REST API. De verleende referenties nemen de bevoegdheden over van de Azure Databricks-principal die wordt gebruikt om de integratie te configureren. Er zijn twee soorten referentieverkoop:

• Verkoop van tabelreferenties biedt toegang tot gegevens die zijn geregistreerd in uw Unity Catalog-metastore.
• Padreferentieverkoop biedt toegang tot externe locaties in uw Unity Catalog-metastore.

Eisen

• Externe toegang moet worden geconfigureerd op de metastore met EXTERNAL USE SCHEMA verleend aan de verzoekende principal. Zie Externe gegevenstoegang inschakelen in de metastore.
• De URL van de werkruimte moet toegankelijk zijn voor de aanvraagengine, inclusief engines achter IP-toegangslijsten of Azure Private Link.
• URL's voor cloudopslag moeten toegankelijk zijn via firewall- en netwerkbesturingselementen.

Verkoopautomaat voor tabelreferenties

Tabelreferenties bevatten een tokentekenreeks met korte levensduur en url voor cloudopslaglocatie die de externe engine kan gebruiken voor toegang tot tabelgegevens en metagegevens van de cloudopslaglocatie.

Ondersteunde toegangstypen

Tabelreferentieverkoop ondersteunt de volgende tabeltypen en -bewerkingen:

* Het maken en schrijven naar beheerde tabellen van Unity Catalog van Delta-clients bevindt zich in de bètaversie.

Nadat u extern vanuit een Delta-client naar een UniForm-tabel hebt geschreven, voert u MSCK REPAIR TABLE uit om Iceberg-metagegevens te genereren.

Een tijdelijke tabelreferentie aanvragen voor externe gegevenstoegang

Ondersteuning voor de uitgifte van inloggegevens verschilt per externe klant. Indien ondersteund, moet de client automatisch gebruikmaken van uitgegeven referenties wanneer een verbinding is geconfigureerd.

In deze sectie vindt u een voorbeeld van het expliciet aanroepen van het eindpunt van de referentieverkoop-API. Voor sommige externe clients moet u mogelijk expliciet configuraties instellen voor toegang tot gegevens en metagegevens in de opslag van cloudobjecten die back-ups maken van uw Unity Catalog-tabellen. Met de waarden die worden geretourneerd bij het uitgeven van referenties, kunt u de toegang configureren.

In het volgende curl voorbeeld wordt expliciet een tijdelijke referentie voor externe gegevenstoegang aangevraagd. Deze aanvraag moet worden voltooid door een werkruimte-principal met voldoende bevoegdheden.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-table-credentials \
-d '{"table_id": "<string>", "operation": "<READ|READ_WRITE>"}'

Zie POST /api/2.1/unity-catalog/temporary-table-credentials in de naslaginformatie Azure Databricks REST API voor meer informatie.

Beperkingen

De volgende beperkingen bestaan:

• Niet alle externe clients ondersteunen de verstrekking van inloggegevens, en de ondersteuning kan variëren, afhankelijk van de onderliggende cloud-objectopslag.
• Alleen beheerde tabellen van Unity Catalog en externe Unity Catalog-tabellen worden ondersteund.
  • Tabellen die zijn ingeschakeld voor Iceberg-lezen, delen deze vereiste. Zie Delta-tabellen lezen met Iceberg-clients.
  • Delta Lake-lezerclients kunnen alleen tabellen lezen die worden ondersteund door Delta Lake en moeten ondersteuning bieden voor alle ingeschakelde lezer- of schrijfprotocollen die zijn ingeschakeld voor de tabel. Bekijk de compatibiliteit en protocollen van Delta Lake-functies.
  • Externe tabellen die geen gebruikmaken van Delta Lake bieden geen transactionele garanties.
• De volgende tabeltypen of tabellen waarvoor functies zijn ingeschakeld, worden niet ondersteund:
  • Tabellen met rijfilters of kolommaskers.
  • Tabellen die worden gedeeld met Delta Sharing.
  • Federatieve tabellen van Lakehouse (externe tabellen).
  • Weergaven.
  • Gematerialiseerde weergaven.
  • Declaratieve pijplijnen voor Lakeflow Spark-streamingtabellen.
  • Onlinetabellen.
  • Vector Search-indexen.
• Vernieuwen van referenties wordt niet ondersteund op Iceberg 1.9.0. Gebruik de nieuwste Iceberg-release voor het vernieuwen van referenties.

Pad referentie verkooppunt

Verstrekte referenties geven directe toegang tot de cloud-opslag, toegewezen aan het relevante pad. Ze zijn gedurende een beperkte tijd geldig en verlenen geen bredere toegang buiten de gedefinieerde locatie of tabel.

Een tijdelijke padreferentie aanvragen voor toegang tot externe gegevens

Ondersteuning voor de uitgifte van inloggegevens verschilt per externe klant. Indien ondersteund, moet de client automatisch gebruikmaken van uitgegeven referenties wanneer een verbinding is geconfigureerd.

In deze sectie vindt u een voorbeeld van het expliciet aanroepen van het eindpunt van de referentieverkoop-API. Voor sommige externe clients moet u mogelijk expliciet configuraties instellen voor toegang tot gegevens en metagegevens in de opslag van cloudobjecten die back-ups maken van uw Unity Catalog-tabellen. Met de waarden die worden geretourneerd bij het uitgeven van referenties, kunt u de toegang configureren.

In het volgende curl voorbeeld wordt expliciet een tijdelijke referentie voor externe gegevenstoegang aangevraagd. Deze aanvraag moet worden voltooid door een werkruimte-principal met voldoende bevoegdheden.

curl -X POST -H "Authorization: Bearer $OAUTH_TOKEN" \
https://<workspace-instance>/api/2.1/unity-catalog/temporary-path-credentials \
-d '{"url": "<string>", "operation": <PATH_READ|PATH_READ_WRITE|PATH_CREATE_TABLE>"}'

Zie voor meer informatie Generate a temporary path credential in the Azure Databricks REST API reference.