Qu’est-ce que l’API Livy pour l’ingénierie des données ?

S'applique à :✅ Fabric Data Engineering and Data Science

API Livy de Microsoft Fabric permet aux utilisateurs d’envoyer et d’exécuter du code Spark dans le moteur de calcul Spark associé à un Fabric Lakehouse, ce qui élimine la nécessité de créer des artefacts de notebook et de Spark Job Definition. Cette intégration au lakehouse garantit un accès simple aux données stockées sur OneLake.

Fonctionnalités

L’API Fabric Livy prend en charge les types de travaux suivants :

• Travaux de session : un travail de session Livy établit une session Spark qui reste active tout au long de l’interaction avec l’API Livy. Les sessions sont utiles pour les charges de travail interactives. Une session démarre lorsqu’un travail est envoyé et dure jusqu’à ce que l’utilisateur le termine ou que le système l’arrête après 20 minutes d’inactivité. Plusieurs travaux peuvent s’exécuter dans une session, partager l’état et les données mises en cache entre les exécutions.
• Tâches batch : une tâche de lot Livy soumet une application Spark pour une seule exécution de tâche. Contrairement à un travail de session, une tâche de traitement par lots ne maintient pas une session Spark en cours. Chaque travail lance une nouvelle session Spark qui se termine une fois le travail terminé, ce qui fonctionne correctement pour les tâches qui ne reposent pas sur les calculs précédents ou nécessitent une maintenance de l’état.
• Sessions de concurrence élevée : une session de haute concurrence (HC) permet l’exécution simultanée de Spark en permettant aux clients d’acquérir plusieurs contextes d’exécution indépendants. Chaque session HC est mappée à un REPL Spark (boucle Lire-Évaluer-Imprimer) au sein d’une session Livy sous-jacente partagée, prenant en charge l’exécution parallèle, l’utilisation prévisible des ressources et l’isolation entre les requêtes simultanées. Pour plus d’informations, consultez Prise en charge de la haute concurrence dans l’API Fabric Livy.

Bien démarrer avec l’API Livy

• Découvrez comment Creater et exécuter des travaux Spark à l’aide de l’API Livy dans Fabric :
• Envoyer des travaux de session Spark à l’aide de l’API Livy
• Envoyez des travaux par lots Spark à l’aide de l’API Livy.
• Prise en charge d'une haute concurrence dans l'API Fabric Livy.

Contenu connexe

• Documentation de l’API REST Apache Livy
• calcul Spark pour Fabric
• paramètres d’administration de l’espace de travail Apache Spark dans Microsoft Fabric
• Create et exécutez des travaux Spark à l’aide de l’API Livy dans Fabric