Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Belangrijk
Automatische functie-inschakeling voor bestaande schema's bevindt zich in openbare preview. Als u zich wilt inschrijven, vult u dit formulier in met uw account-id. Er zijn geen codewijzigingen of extra configuraties vereist na de inschrijving.
Automatische functie-inschakeling voor nieuwe schema's is algemeen beschikbaar.
Automatische functie-inschakeling (AFE) werkt automatisch beheerde tabellen van Unity Catalog bij om algemeen beschikbare aanbevolen functies te gebruiken zonder dat er codewijzigingen of handmatige ALTER TABLE instructies nodig zijn. AFE controleert ook of clients compatibel zijn voordat nieuwe functies worden ingeschakeld.
AFE biedt de volgende voordelen:
- Verminder de administratieve inspanning die nodig is om afzonderlijke compatibiliteitsvereisten voor elke tabel en functiecombinatie in uw werkruimten te valideren, met name als u catalogi met duizenden tabellen hebt.
- Krijg automatisch de nieuwste prestatie- en betrouwbaarheidsverbeteringen in uw beheerde tabellen.
- Implementeer veilig upgrades. MET AFE worden functies alleen ingeschakeld nadat de compatibiliteit van workloads is geverifieerd.
Hoe AFE werkt
AFE bewaakt Unity Catalog-toegangspatronen op zowel de tabel- als schemaniveaus en gebruikt een observatievenster om te controleren of toegangspatronen compatibel zijn voordat u een functie inschakelt. Het observatievenster is 50 dagen voor functies in Public Preview en 100 dagen voor functies in algemene beschikbaarheid.
AFE maakt gebruik van serverloze berekeningen om tabellen op de achtergrond te upgraden.
Schema's en tabellen
AFE-gedrag is afhankelijk van of het schema en de tabellen bestonden voordat AFE werd ingeschakeld. Deze tabel bevat meer details:
| Schema | Tabel | AFE-gedrag |
|---|---|---|
| Nieuw | Nieuw | AFE stelt standaardwaarden op schemaniveau in tijdens het maken, zodat tabellen onmiddellijk alle ondersteunde functies overnemen zonder observatieperiode. |
| Bestaand | Nieuw | AFE schakelt een functie in als alleen geverifieerde workloads toegang hebben tot alle tabellen in het schema in het observatievenster. Anders schakelt AFE geen functies in voor nieuwe tabellen in het schema als één niet-geverifieerde workload toegang heeft tot een tabel in het schema. Zie geverifieerde werkbelastingen. |
| Bestaand | Bestaand | De AFE schakelt een functie in wanneer aan alle volgende voorwaarden wordt voldaan:
|
Gecontroleerde workloads
Een workload wordt beschouwd als geverifieerd voor een specifieke functie als deze toegang heeft tot de tabel vanuit een Databricks-cluster met een Databricks Runtime-versie op of boven de minimaal vereiste versie van de functie.
De volgende werkbelastingen worden beschouwd als niet-geverifieerd:
- Externe klanten en diensten van derden, zoals Flink of Presto. Zie Unity Catalog-integraties.
- Azure Databricks-services met directe of kernelniveau toegang tot tabellen, zoals Zerobus, die de standaard toegangspatronen van Databricks Runtime omzeilen. Zie het overzicht van de Zerobus Ingest-connector.
Als een tabel in een schema is geopend in het observatievenster door een Databricks Runtime-versie onder de minimaal vereiste versie van de functie of door een externe client, schakelt AFE de bijbehorende functie niet in voor een tabel in dat schema.
Ondersteunde functies
AFE kan automatisch de volgende functies inschakelen:
| Feature | Wat het doet | Minimaal compatibele Databricks Runtime-versie |
|---|---|---|
| Rijvolgen | Houdt verborgen rij-id's bij voor incrementele verwerking met wijzigingengegevensfeed. | 14.1 |
| Kolomtoewijzing | Hiermee kunt u kolommen een andere naam geven en verwijderen zonder gegevens te herschrijven. | 15.3 |
| Controlepunt V2 | Biedt Delta Lake ondersteuning voor meer gelijktijdige schrijvers en vermindert schrijfconflicten op grote of regelmatig bijgewerkte tabellen. | 13.3 |
| Door catalogus beheerde doorvoeringen | Centraliseert commits in Unity Catalog om transacties over meerdere tabellen mogelijk te maken, verbetert de interoperabiliteit voor externe schrijfbewerkingen en maakt governancebeleid mogelijk voor verschillende engines. | 16.4 |
Beschikbaarheid van functies kan per regio verschillen.
Requirements
- Serverloze berekeningen moeten beschikbaar zijn in uw regio.
- Tabellen moeten in Unity Catalog beheerde tabellen zijn in de Delta Lake- of Apache Iceberg-formaten.
Ingeschakelde functies observeren
Als u wilt controleren of AFE een functie in een tabel heeft ingeschakeld, zoekt u naar een SET TBLPROPERTIES bewerking op het tabblad Geschiedenis in Catalog Explorer of gebruikt u DESCRIBE HISTORY <table_name>. Als AFE de bewerking heeft uitgevoerd, wordt in het veld gebruikersnaam een hashwaarde weergegeven in plaats van een gebruikersnaam, zoals 4d137f29-62. Zie Wat is Catalog Explorer? en Tabelgeschiedenis weergeven.
Nadat AFE functies voor tabellen in een nieuw schema heeft ingeschakeld, bekijkt u de standaardinstellingen van het schema op het tabblad Eigenschappen in Catalog Explorer. Een schema waarin rijtracering is ingeschakeld, toont bijvoorbeeld een eigenschap zoals catalog.schema.enableRowTracking: "true". Bestaande schema's hebben geen AFE-waarneembaarheidseigenschappen.
Aanbevolen AFE-functies beheren
Beheerders kunnen AFE-gedrag en -bewerkingen beheren met verschillende besturingselementen.
Wijzigingen terugzetten
Gebruik RESTORE deze optie om de gegevens en metagegevens voor een tabel terug te zetten naar een versie voordat de functie werd ingeschakeld:
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Zie Een tabel herstellen naar een eerdere status voor meer informatie over tabelgeschiedenis en herstel.
Functies voor tabellen uitschakelen
Een functie in een afzonderlijke tabel uitschakelen:
ALTER TABLE <table_name> DROP FEATURE <feature_name>
AFE schakelt een functie niet opnieuw in nadat u deze handmatig hebt uitgeschakeld.
Beperkingen
- Tabellen die door Delta Lake Sharing worden gedeeld, zijn uitgesloten van AFE, zowel voor Databricks-to-Open als Databricks-to-Databricks. Zie Wat is Delta Sharing?.
- AFE heeft geen batch-terugdraaimechanisme om een functie uit te schakelen voor alle tabellen in een account. Zie Aanbevolen AFE-functies beheren.
- Gerealiseerde weergaven en streamingtabellen worden niet ondersteund.
- Workloads die Unity Catalog omzeilen en tabellen rechtstreeks per bestandspad openen, worden niet bijgehouden door AFE. Als uw workloads pad-gebaseerde toegang gebruiken, neem contact op met uw accountteam om de compatibiliteit te bespreken.
- Externe tabellen worden doorgaans geopend via het bestandspad, waarbij Unity Catalog wordt omzeild, en met niet-geverifieerde workloads van externe clients. Unity Catalog kan deze toegangspatronen niet betrouwbaar bijhouden, dus externe tabellen worden uitgesloten van AFE. Zie Werken met externe tabellen.