Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Se aplica a:✅ Fabric Data Engineering and Data Science
Microsoft Fabric Livy API permite a los usuarios enviar y ejecutar código Spark en el proceso de Spark asociado a un Fabric Lakehouse, lo que elimina la necesidad de crear cuadernos o artefactos de definición de trabajos de Spark. Esta integración con Lakehouse garantiza un acceso sencillo a los datos almacenados en OneLake.
Características
La API de Fabric Livy admite los siguientes tipos de trabajo:
- Trabajos de sesión : un trabajo de sesión de Livy establece una sesión de Spark que permanece activa durante la interacción con livy API. Las sesiones son útiles para cargas de trabajo interactivas. Una sesión se inicia cuando se envía un trabajo y dura hasta que el usuario finaliza o el sistema lo finaliza después de 20 minutos de inactividad. Varios trabajos se pueden ejecutar dentro de una sesión, compartir el estado y almacenar en caché los datos entre ejecuciones.
- Trabajos por lotes — Un trabajo por lotes de Livy envía una aplicación de Spark para la ejecución de un solo trabajo. A diferencia de un trabajo de sesión, un trabajo por lotes no mantiene una sesión de Spark en curso. Cada trabajo inicia una nueva sesión de Spark que finaliza cuando finaliza el trabajo, lo que funciona bien para las tareas que no se basan en cálculos anteriores o requieren mantener el estado.
- Sesiones de alta simultaneidad : una sesión de alta simultaneidad (HC) permite la ejecución simultánea de Spark al permitir a los clientes adquirir varios contextos de ejecución independientes. Cada sesión de HC se asigna a un REPL de Spark (bucle Leer-Evaluar-Imprimir) dentro de una sesión compartida subyacente de Livy, lo que admite la ejecución en paralelo, el uso predecible de recursos y el aislamiento entre solicitudes concurrentes. Para obtener más información, consulte Soporte para alta concurrencia en la API de Fabric Livy.
Nota:
La compatibilidad con alta concurrencia es aditiva y no cambia los contratos existentes de Livy API. Las cargas de trabajo existentes por sesión y por lotes de Livy continúan funcionando sin modificaciones.
Introducción a Livy API
- Aprenda a Crear y ejecutar trabajos de Spark mediante livy API en Fabric:
- Envío de trabajos de sesión de Spark mediante livy API
- Envíe trabajos por lotes de Spark mediante livy API.
- Compatibilidad con alta concurrencia en la API de Fabric Livy.