Logs de diagnóstico do Apache Spark no Azure Synapse Analytics

Para solucionar problemas relacionados a pools do Apache Spark no workspace do Azure Synapse Analytics, o Suporte da Microsoft e a equipe de engenharia do Azure Synapse Analytics podem exibir e baixar logs de diagnóstico associados aos pools do Apache Spark. A Microsoft pode acessar ou fazer cópias temporárias dos dados de log para ajudar a resolver seu incidente de suporte.

Logs coletados para solução de problemas

As tabelas a seguir listam os dados de log que serão coletados para solucionar problemas de incidente de suporte. Além disso, você pode ser solicitado a fornecer os mesmos tipos de dados dos pools do Apache Spark usando o Synapse Studio.

Tipo Descrição
Registros do Apache Spark Driver O programa de driver do Spark é um processo crítico usado para negociar recursos com o gerenciador de cluster e agendar a execução do trabalho. Os logs de driver contêm detalhes sobre como o trabalho foi executado e os recursos que foram usados. Essas informações são essenciais para a solução de problemas do aplicativo Spark.
Registros do Executor do Apache Spark Os executores do Spark são processos relacionados a nós de trabalho responsáveis pela execução de tarefas individuais em um determinado trabalho do Spark. Eles são iniciados no início de um aplicativo Spark e normalmente são executados durante todo o tempo de vida de um aplicativo. Depois que os executores do Spark executam a tarefa, eles enviam os resultados para o aplicativo de driver. Os logs do executor contêm detalhes sobre como as tarefas individuais do seu aplicativo foram executadas e se alguma delas falhou.
Logs de eventos do Apache Spark Os logs de eventos do Spark contêm métricas relacionadas à execução e ao desempenho de todos os executores. Eles também contêm a lista de estágios e tarefas do planejador e as informações do ambiente de execução.
  • Last updated on