Zerobus Ingest を使用して OpenTelemetry データを取り込む

Important

この機能は ベータ版です。

Zerobus Ingest OTLP は、ネイティブのOpenTelemetry Protocol (OTLP) エンドポイントが組み込まれているZerobus Ingestサービスです。 カスタム ライブラリを必要とせずに、標準の OpenTelemetry SDK とコレクターを使用して、トレース、ログ、メトリックを Unity カタログ デルタ テーブルに直接プッシュできます。

データを Zerobus Ingest に送信するように OTLP クライアントを構成するには、「 OpenTelemetry (OTLP) クライアントを構成して Unity カタログにデータを送信する」を参照してください。

概念

次の概念は、Zerobus Ingest OTLP のしくみを理解するのに役立ちます。

OTLP の互換性

Zerobus Ingest OTLP は、 OpenTelemetry 仕様で定義されている標準の OTLP gRPC コレクター サービスを実装します。 OTLP 互換エクスポーター (OpenTelemetry SDK、OpenTelemetry コレクター、その他のインストルメンテーション ライブラリなど) は、このエンドポイントにデータを送信できます。

サポートされるシグナル

Zerobus Ingest OTLP は、テレメトリ信号の種類ごとに 1 つずつ、3 つの OTLP/gRPC サービスを公開します。

信号 gRPC サービス パス
トレース: 分散トレースのスパンは、イベント、リンク、およびステータスを完全にサポートします。 /opentelemetry.proto.collector.trace.v1.TraceService/Export
ログ: trace_id と span_idを介して、重大度、本文、およびトレースとの相関関係を持つレコードをログに記録します。 /opentelemetry.proto.collector.logs.v1.LogsService/Export
メトリック: 5 つの OTLP メトリックの種類 (ゲージ、合計、ヒストグラム、ExponentialHistogram、Summary) すべて。 /opentelemetry.proto.collector.metrics.v1.MetricsService/Export

部分的な成功

Zerobus Ingest OTLP では、OTLP 仕様で定義されている部分的な成功がサポートされます。 要求に有効なレコードと無効なレコードが混在している場合、有効なレコードが取り込まれると、無効なレコードが拒否されます。 応答には、拒否されたレコードの数 (rejected_spans、 rejected_log_records、または rejected_data_points) と、その理由を説明する error_message が含まれます。

Compression

Gzip 圧縮は、3 つの OTLP サービスすべてでサポートされています。 grpc-encodingヘッダーをgzipに設定するか、gzip 圧縮を使用するように OTLP エクスポーターを構成します。

制限事項

  • OTLP/gRPC (Protobuf) トランスポートのみがサポートされています。 HTTP (Protobuf) はまだサポートされていません。
  • 各要求は、 x-databricks-zerobus-table-name ヘッダーを使用して指定された 1 つのテーブルを対象とします。 トレース、ログ、メトリックを取り込むには、異なるテーブルを指す個別のエクスポーターを構成します。
  • テーブルは、正しいスキーマを使用して事前に作成する必要があります。 ゼロバス取り込みでは、テーブルは作成または変更されません。
  • 既定のクォータは、1 秒あたり 10,000 要求です。 より高いクォータが必要な場合は、Databricks の担当者にお問い合わせください。
  • Zerobus Ingest の制限事項の完全な一覧については、「Zerobus Ingest コネクタの制限事項」を参照してください。

次のステップ

  • Last updated on