Ingerir dados OpenTelemetry com Zerobus Ingest

Importante

Este recurso está em versão Beta.

O Zerobus Ingest OTLP é um endpoint nativo do Protocolo OpenTelemetry (OTLP) integrado no serviço Zerobus Ingest . Permite-lhe enviar traces, logs e métricas diretamente para as tabelas Delta do Unity Catalog usando SDKs e colecionadores padrão do OpenTelemetry, sem necessidade de bibliotecas personalizadas.

Para configurar o seu cliente OTLP para enviar dados para o Zerobus Ingest, consulte Configurar clientes OpenTelemetry (OTLP) para enviar dados para o Catálogo Unity.

Conceitos

Os seguintes conceitos são úteis para compreender como funciona o OTLP do Zerobus Ingest.

Compatibilidade OTLP

O Zerobus Ingest OTLP implementa os serviços padrão OTLP gRPC Collector conforme definido pela especificação OpenTelemetry. Qualquer exportador compatível com OTLP (como SDKs OpenTelemetry, o OpenTelemetry Collector ou outras bibliotecas de instrumentação) pode enviar dados para este endpoint.

Sinais suportados

O Zerobus Ingest OTLP expõe três serviços OTLP/gRPC , um por cada tipo de sinal de telemetria:

Sinal Caminho de serviço gRPC
Traces: Segmentos de traços distribuídos com suporte total para eventos, links e estado. /opentelemetry.proto.collector.trace.v1.TraceService/Export
Registos: Registos com gravidade, conteúdo e correlação com rastreios via trace_id e span_id. /opentelemetry.proto.collector.logs.v1.LogsService/Export
Métricas: Todos os cinco tipos de métricas OTLP: Gauge, Sum, Histogram, ExponentialHistogram e Summary. /opentelemetry.proto.collector.metrics.v1.MetricsService/Export

Sucesso parcial

O Zerobus Ingest OTLP suporta sucesso parcial conforme definido pela especificação OTLP. Se um pedido contiver uma mistura de registos válidos e inválidos, os registos válidos são ingeridos e os registos inválidos são rejeitados. A resposta inclui a contagem de registos rejeitados (rejected_spans, rejected_log_records, ou rejected_data_points) e uma descrição error_message do motivo.

Compressão

A compressão Gzip é suportada nos três serviços OTLP. Defina o grpc-encoding cabeçalho para gzip, ou configure o seu exportador OTLP para usar compressão gzip.

Limitações

  • Apenas o transporte OTLP/gRPC (Protobuf) é suportado. HTTP (Protobuf) ainda não é suportado.
  • Cada pedido tem como alvo uma tabela, especificada usando o x-databricks-zerobus-table-name cabeçalho. Para ingerir traços, registos e métricas, configure exportadores separados apontando para tabelas diferentes.
  • As tabelas devem ser criadas antecipadamente com o esquema correto. O Zerobus Ingest não cria nem modifica tabelas.
  • A quota padrão é de 10.000 pedidos por segundo. Se precisar de uma quota mais elevada, contacte o seu representante Databricks.
  • Para ver uma lista completa das limitações do Zerobus Ingest, consulte limitações do conector Zerobus Ingest.

Passos seguintes