Visão geral do Emissor de Diagnóstico Fabric Apache Spark

O Emissor de Diagnóstico Spark do Fabrico Apache está geralmente disponível no Microsoft Fabric. Fornece uma forma unificada de recolher diagnósticos do Apache Spark e encaminhá-los para destinos Azure para monitorização, resolução de problemas e análise a longo prazo.

O que o emissor de diagnóstico recolhe

O emissor suporta quatro fluxos de diagnóstico:

  • Registos de eventos Spark: Eventos estruturados do motor Spark para o ciclo de vida de trabalhos, etapas e tarefas.
  • Registos do driver Spark: Saída do log do processo do driver Spark.
  • Registos executores Spark: Saída de registos dos processos executores para diagnósticos ao nível da tarefa.
  • Métricas Spark: métricas de desempenho ao nível da JVM, executor e tarefa.

Também pode escrever logs de aplicação personalizados usando o Apache Log4j no Scala e PySpark. Estes registos são emitidos juntamente com o diagnóstico do sistema quando o encaminhamento é configurado.

Onde podem ser enviados diagnósticos

O emissor suporta os seguintes destinos:

Todos os destinos utilizam o mesmo spark.synapse.diagnostic.emitter padrão de configuração, com valores específicos de destino.

Pode configurar um destino ou vários destinos, dependendo das suas necessidades operacionais.

API de Ingestão de Logs comparada com API Data Collector

Para Azure Log Analytics, a API de Ingestão de Logs é o modelo recomendado. Comparado com a API HTTP Data Collector, fornece:

  • Mapeamento explícito de esquemas através de Regras de Recolha de Dados (DCRs).
  • Controlo do encaminhamento e dos endpoints utilizando Data Collection Endpoints (DCEs).
  • Autenticação com segredo do cliente principal de serviço ou certificado.

Se está atualmente a usar a API HTTP Data Collector, migre para a API de Ingestão de Logs para uma observabilidade Spark à prova de futuro.

Para referência legada, consulte Monitorizar aplicações Apache Spark com Azure Log Analytics.

Conteúdo relacionado

  • Last updated on