Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Emissor de Diagnóstico do Fabric Apache Spark está geralmente disponível no Microsoft Fabric. Ele fornece uma maneira unificada de coletar diagnósticos do Apache Spark e roteá-los para destinos do Azure para monitoramento, solução de problemas e análise de longo prazo.
O que o emissor de diagnóstico coleta
O emissor dá suporte a quatro fluxos de diagnóstico:
- Logs de eventos do Spark: eventos estruturados do mecanismo Spark para o ciclo de vida de trabalho, estágio e tarefa.
- Logs de driver do Spark: registrar a saída do processo de driver do Spark.
- Logs do executor do Spark: registrar a saída dos processos do executor para diagnóstico no nível da tarefa.
- Métricas do Spark: JVM, executor e métricas de desempenho no nível da tarefa.
Você também pode escrever logs de aplicativos personalizados usando o Apache Log4j no Scala e no PySpark. Esses logs são emitidos junto com o diagnóstico do sistema quando o roteamento é configurado.
Onde os diagnósticos podem ser enviados
O emissor dá suporte aos seguintes destinos:
- Azure Log Analytics: coletar logs e métricas com o Azure Log Analytics
- Hubs de Eventos do Azure: Coletar logs e métricas de aplicativos Apache Spark usando os Hubs de Eventos do Azure
- Armazenamento de Blobs do Azure: Colete os logs e métricas dos seus aplicativos Apache Spark usando sua conta de armazenamento no Azure
Todos os destinos usam o mesmo spark.synapse.diagnostic.emitter padrão de configuração, com valores específicos de destino.
Você pode configurar um destino ou vários destinos, dependendo de suas necessidades operacionais.
API de Ingestão de Log em comparação com a API do Coletor de Dados
Para o Azure Log Analytics, a API de Ingestão de Logs é o modelo recomendado. Em comparação com a API do Coletor de Dados HTTP, ela fornece:
- Mapeamento de esquema explícito por meio de DCRs (Regras de Coleta de Dados).
- Controles de roteamento e ponto de extremidade por meio de DCEs (Pontos de Extremidade de Coleta de Dados).
- Autenticação com o segredo ou certificado do cliente da entidade de serviço.
Se você estiver usando a API do Coletor de Dados HTTP no momento, migre para a API de Ingestão de Logs para garantir a observabilidade futura do Spark.
Somente para referência herdada, consulte Monitorar aplicativos Apache Spark com o Azure Log Analytics.