Partilhar via

O que é a API Livy para Engenharia de Dados?

Aplica-se a: ✅ Fabric Engenharia de Dados e Ciência de Dados

A API Microsoft Fabric Livy permite aos utilizadores submeter e executar código Spark dentro do computo Spark associado a um Fabric Lakehouse, eliminando a necessidade de criar quaisquer artefactos de Definição de Trabalhos Notebook ou Spark. Essa integração com o Lakehouse garante acesso direto aos dados armazenados no OneLake.

Funcionalidades

A API do Fabric Livy suporta os seguintes tipos de tarefas:

  • Trabalhos de sessão — Um trabalho de sessão Livy estabelece uma sessão Spark que permanece ativa durante toda a interação com a API Livy. As sessões são úteis para cargas de trabalho interativas. Uma sessão começa quando um trabalho é submetido e dura até o utilizador o terminar ou o sistema terminá-lo após 20 minutos de inatividade. Vários trabalhos podem ser executados numa sessão, partilhando estados e dados em cache entre execuções.
  • Trabalhos em lote — Um trabalho em lote do Livy submete uma aplicação Spark para uma única execução de tarefa. Ao contrário de um trabalho de sessão, um trabalho em lote não sustenta uma sessão contínua no Spark. Cada tarefa inicia uma nova sessão Spark que termina quando a tarefa termina, o que funciona bem para tarefas que não dependem de cálculos anteriores ou que não exigem manutenção de estado.
  • Sessões de alta concorrência — Uma sessão de alta concorrência (HC) permite a execução concorrente do Spark ao permitir que os clientes adquiram múltiplos contextos de execução independentes. Cada sessão HC mapeia para um Spark REPL (Read-Eval-Print Loop) dentro de uma sessão Livy subjacente partilhada, suportando execução paralela, uso previsível de recursos e isolamento entre requisições simultâneas. Para mais informações, consulte o suporte Alta concorrência na API Fabric Livy.

Observação

O suporte de alta concorrência é aditivo e não altera os contratos existentes da API do Livy. As cargas de trabalho existentes em sessões e lotes do Livy continuam a funcionar sem modificações.

Introdução à API Livy

Conteúdos relacionados

  • Last updated on