Azure Databricksでは、さまざまなデータ管理ニーズを満たすために、複数のテーブルの種類とストレージ形式がサポートされています。 テーブルの種類、ストレージ形式、Unity カタログの統合の概要については、Azure Databricks テーブルの概念を参照してください。
テーブルの種類
さまざまなデータ管理シナリオのさまざまなテーブルの種類とその機能について説明します。
| テーブルの種類 | Description |
|---|---|
| Azure DatabricksのUnityカタログ管理テーブル（Delta LakeとApache Iceberg向け） | Azure Databricksは、最適化されたパフォーマンスを必要とする新しいテーブルのメタデータとデータ ファイルを管理します。 |
| 一時テーブル | 中間データ用のセッション スコープの Unity カタログ マネージド テーブル。 SQL ウェアハウスのみ。 |
| 外部テーブルの扱い | 外部システムに格納されているデータ。 Unity カタログはメタデータのみを管理します。 |
| 外部テーブルの操作 | Lakehouse フェデレーションを介して接続された外部システムのデータへの読み取り専用アクセス。 |
ストレージ形式
高度なデータ管理機能をサポートするオープン テーブル形式を操作します。
| Format | Description |
|---|---|
| Delta Lake | マネージド テーブルと外部テーブルに対する ACID トランザクション、タイム トラベル、スキーマの適用を含む既定のストレージ形式。 |
| Apache Iceberg | 高度なメタデータ管理をサポートする Iceberg エコシステムと統合するためのオープン テーブル形式。 |
テーブル管理
テーブルの動作、構造、およびパフォーマンスを構成して最適化します。
| 特徴 | Description |
|---|---|
| テーブル制約 | null 制約ではなく CHECK 制約を使用して、データ品質規則を定義して適用します。 |
| スキーマの適用 | 書き込み中Azure Databricksスキーマの変更とデータ型の適用を処理する方法を制御します。 |
| テーブルのパーティション分割 | パーティション キーでデータを整理して、クエリのパフォーマンスとデータ管理を向上させます。 |
| テーブル サイズの監視 | テーブル ストレージの使用状況と増加パターンを監視および分析します。 |
| 外部からマネージドへの変換 | パフォーマンスと管理を向上させるために、外部テーブルをマネージド テーブルに移行します。 |
| 外部パーティションの検出 | クラウド ストレージに格納されている外部テーブルのパーティションを自動的に検出して登録します。 |