Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
L’activation automatique des fonctionnalités pour les schémas existants est disponible en préversion publique. Pour vous inscrire, remplissez ce formulaire avec votre ID de compte. Aucune modification du code ou configuration supplémentaire n’est requise après l’inscription.
L’activation automatique des fonctionnalités pour les nouveaux schémas est généralement disponible.
L’activation automatique des fonctionnalités (AFE) met automatiquement à niveau les tables gérées du catalogue Unity pour utiliser les fonctionnalités recommandées en disponibilité générale sans nécessiter de modifications de code ou d’instructions manuelles ALTER TABLE . AFE vérifie également que les clients sont compatibles avant d’activer de nouvelles fonctionnalités.
AFE offre les avantages suivants :
- Réduisez les efforts d’administration nécessaires pour valider les exigences de compatibilité individuelles pour chaque combinaison de tables et de fonctionnalités dans vos espaces de travail, en particulier si vous avez des catalogues avec des milliers de tables.
- Bénéficiez automatiquement des dernières améliorations des performances et de la fiabilité sur vos tables managées.
- Implémentez des mises à niveau en toute sécurité. AFE active uniquement les fonctionnalités après avoir vérifié la compatibilité de la charge de travail.
Fonctionnement d’AFE
AFE surveille les modèles d’accès du catalogue Unity aux niveaux de la table et du schéma et utilise une fenêtre d’observation pour vérifier que les modèles d’accès sont compatibles avant d’activer n’importe quelle fonctionnalité. La fenêtre d’observation est de 50 jours pour les fonctionnalités en préversion publique et 100 jours pour les fonctionnalités en disponibilité générale.
AFE utilise le calcul serverless pour mettre à niveau les tables en arrière-plan.
Schémas et tables
Le comportement AFE dépend du fait que le schéma et les tables existaient avant l’activation d’AFE. Ce tableau présente plus de détails :
| Schema | Table | Comportement AFE |
|---|---|---|
| Nouveau | Nouveau | AFE définit les valeurs par défaut au niveau du schéma au moment de la création afin que les tables héritent immédiatement de toutes les fonctionnalités prises en charge sans période d’observation. |
| Actuel | Nouveau | AFE active une fonctionnalité si seules les charges de travail vérifiées ont accédé à toutes les tables du schéma dans la fenêtre d’observation. Sinon, AFE n’active pas les fonctionnalités des nouvelles tables du schéma si une seule charge de travail non vérifiée a accédé à une table du schéma. Consultez les charges de travail vérifiées. |
| Actuel | Actuel | AFE active une fonctionnalité lorsque toutes les valeurs suivantes sont vraies :
|
Charges de travail vérifiées
Une charge de travail est considérée comme vérifiée pour une fonctionnalité spécifique si elle a accédé à la table à partir d’un cluster Databricks avec une version Databricks Runtime à ou au-dessus de la version minimale requise de la fonctionnalité.
Les charges de travail suivantes sont considérées comme non vérifiées :
- Clients externes et services tiers tels que Flink ou Presto. Consultez les intégrations du catalogue Unity.
- Azure Databricks services disposant d’un accès direct ou au niveau du noyau, tel que Zerobus, qui contournent les modèles d’accès Standard Databricks Runtime. Consultez la vue d’ensemble du connecteur d’ingestion Zerobus.
Si une table d’un schéma a été accessible dans la fenêtre d’observation par une version Databricks Runtime inférieure à la version minimale requise de la fonctionnalité ou par un client externe, AFE n’active pas la fonctionnalité correspondante sur une table de ce schéma.
Fonctionnalités prises en charge
AFE peut activer automatiquement les fonctionnalités suivantes :
| Fonctionnalité | Qu’est-ce que cela fait ? | Version minimale de Databricks Runtime compatible |
|---|---|---|
| Suivi des lignes | Gère les ID de ligne masqués pour le traitement incrémentiel avec le flux de données de modification. | 14,1 |
| Mappage de colonnes | Vous permet de renommer et de supprimer des colonnes sans réécriture de données. | 15,3 |
| Point de contrôle V2 | Permet à Delta Lake de prendre en charge un plus grand nombre d'auteurs simultanés et réduit les conflits d'écriture sur des tables volumineuses ou qui sont fréquemment mises à jour. | 13.3 |
| Commits gérés par le catalogue | Centralise les validations dans le catalogue Unity afin d’activer les transactions à plusieurs tables, améliore l’interopérabilité des écritures externes et active les stratégies de gouvernance entre les moteurs. | 16.4 |
La disponibilité des fonctionnalités peut différer selon la région.
Exigences
- Le calcul serverless doit être disponible dans votre région.
- Les tables doivent être des tables gérées par le catalogue Unity dans les formats Delta Lake ou Apache Iceberg.
Observer les fonctionnalités activées
Pour vérifier si AFE a activé une fonctionnalité sur une table, recherchez une SET TBLPROPERTIES opération dans l’onglet Historique de l’Explorateur de catalogues ou utilisez DESCRIBE HISTORY <table_name>. Si AFE a effectué l’opération, le champ nom d’utilisateur affiche une valeur de hachage au lieu d’un nom d’utilisateur, tel que 4d137f29-62. Voir Qu’est-ce que l’Explorateur de catalogues ? et afficher l’historique des tables.
Une fois que L’AFE active les fonctionnalités sur les tables d’un nouveau schéma, affichez les valeurs par défaut du schéma sous l’onglet Propriétés de l’Explorateur de catalogues. Par exemple, un schéma avec suivi des lignes activé affiche une propriété telle que catalog.schema.enableRowTracking: "true". Les schémas existants n’ont pas de propriétés d’observabilité AFE.
Gérer les fonctionnalités recommandées par AFE
Les administrateurs peuvent gérer le comportement et les opérations AFE avec différents contrôles.
Annuler les changements
Permet RESTORE de rétablir les données et les métadonnées d’une table vers une version avant que la fonctionnalité n’ait été activée :
RESTORE TABLE <table_name> TO VERSION AS OF <version>;
RESTORE TABLE <table_name> TO TIMESTAMP AS OF <timestamp>;
Pour plus d’informations sur l’historique des tables et la restauration, consultez Restaurer une table à un état antérieur .
Désactiver les fonctionnalités des tables
Pour désactiver une fonctionnalité sur une table individuelle :
ALTER TABLE <table_name> DROP FEATURE <feature_name>
AFE n’active plus une fonctionnalité une fois que vous l’avez désactivée manuellement.
Limites
- Les tables partagées par Delta Lake Sharing, à la fois Databricks-to-Open et Databricks-to-Databricks, sont exclues de L’AFE. Consultez Qu’est-ce que le Delta Sharing ?.
- AFE n’a pas de mécanisme de retour en arrière par lots pour désactiver une fonctionnalité sur toutes les tables d’un compte. Consultez Gérer les fonctionnalités recommandées par AFE.
- Les vues matérialisées et les tables en flux continu ne sont pas prises en charge.
- Les charges de travail qui contournent le catalogue Unity et accèdent directement aux tables par chemin d’accès au fichier ne sont pas suivies par AFE. Si vos charges de travail utilisent l’accès par chemin, contactez votre équipe de compte pour discuter de la compatibilité.
- Les tables externes sont généralement accessibles par chemin de fichier, en contournant Unity Catalog, avec des charges de travail sans validation de la part de clients externes. Le catalogue Unity ne peut pas suivre de manière fiable ces modèles d’accès, de sorte que les tables externes sont exclues de L’AFE. Consultez Utiliser des tables externes.