Compartilhar via

O que é a API do Livy para Engenharia de Dados?

Aplica-se a:✅ Fabric Data Engineering and Data Science

API Microsoft Fabric Livy permite que os usuários enviem e executem código Spark na computação do Spark associada a um Fabric Lakehouse, eliminando a necessidade de criar artefatos de Notebook ou Definição de Trabalho do Spark. Essa integração com o Lakehouse garante acesso direto aos dados armazenados no OneLake.

Recursos

A API do Fabric Livy dá suporte aos seguintes tipos de trabalho:

  • Trabalhos de sessão — Um trabalho de sessão do Livy estabelece uma sessão do Spark que permanece ativa durante toda a interação com a API Livy. As sessões são úteis para cargas de trabalho interativas. Uma sessão começa quando um trabalho é enviado e dura até que o usuário o encerre ou o sistema o encerre após 20 minutos de inatividade. Vários trabalhos podem ser executados em uma sessão, compartilhando o estado e dados armazenados em cache entre execuções.
  • Trabalhos em lote – Um trabalho em lote Livy submete uma aplicação Spark para a execução única de um trabalho. Ao contrário de um trabalho de sessão, um trabalho em lote não sustenta uma sessão do Spark em andamento. Cada trabalho inicia uma nova sessão do Spark que termina quando o trabalho é concluído, o que funciona bem para tarefas que não dependem de cálculos anteriores ou exigem manter o estado.
  • Sessões de alta simultaneidade – uma sessão HC (alta simultaneidade) permite a execução simultânea do Spark, permitindo que os clientes adquiram vários contextos de execução independentes. Cada sessão de HC é mapeada para um REPL do Spark (Loop de leitura-avaliação-impressão) em uma sessão Livy compartilhada subjacente, com suporte à execução paralela, ao uso previsível de recursos e ao isolamento entre solicitações simultâneas. Para obter mais informações, consulte Suporte de alta concorrência no Fabric Livy API.

Observação

O suporte de alta simultaneidade é aditivo e não altera os contratos de API livy existentes. As cargas de trabalho existentes de sessões e lotes do Livy continuam funcionando sem modificações.

Introdução à API do Livy

Conteúdo relacionado

  • Last updated on