Data Factory の制限事項の概要

Microsoft Fabric機能では、現在の Data Factory には特定の制限があります。 サポート リクエストを送信する前に、このセクションの一覧を確認して、既知の制限が発生しているかどうかを確認してください。

サービス レベルの停止または低下の通知については、Microsoft Fabric サポートを確認してください。

Microsoft Fabricでのパイプラインの制限事項

次の一覧では、Microsoft Fabricの Data Factory におけるパイプラインの現在の制限について説明します。

  • Azure Data Factory コピーとオーケストレーションパターンのほとんどは Fabric パイプラインに適用できますが、タンブリング ウィンドウはまだ使用できません。
  • コネクタは OAuth と Azure キー コンテナー (AKV) をサポートしていません。
  • マネージド システム ID (MSI) は、Azure Blob Storageでのみ使用できます。 他のソースは近日中にサポートされるようになります。
  • GetMetaData アクティビティには、Fabric KQL データベースからのソースを含めることはできません。
  • Script アクティビティには、Fabric KQL データベースからのソースを含めることはできません。
  • 検証アクティビティ、マッピング Data Flow アクティビティ、および SSIS 統合ランタイムは使用できません。
  • Web アクティビティでは、サービス プリンシパル ベースの認証はサポートされていません。
  • パイプラインでは、認証のバックグラウンド同期は行われません。 パイプラインの更新など、細かい情報を記述して、それ保存しておくことをお勧めします。 そうすることで、新しいトークンが取得されてキャッシュされ、entra id の更新されたパスワードを使用してパイプラインを再度実行できるようになります。

パイプライン リソースの制限

次の表では、Microsoft Fabricの Data Factory のパイプラインのリソース制限について説明します。

パイプライン リソース 既定の制限 上限
ワークスペース内のパイプラインの合計数 5,000 5,000
ワークスペース内のすべてのパイプライン間で共有されるワークスペースごとの同時実行パイプライン実行 一万 一万
ワークスペースごとのストアド プロシージャ、Web、Web フックなどの同時外部アクティビティ 100 100
ワークスペースごとのルックアップ、GetMetadata、および Delete に対する同時実行パイプライン アクティビティの実行 100 100
テスト接続、フォルダー一覧とテーブル一覧の参照、ワークスペースごとのデータのプレビューなど、同時作成操作 50 50
パイプラインあたりの最大アクティビティ数 (コンテナーの内部アクティビティを含む) 120 120
パイプラインあたりの最大パラメーター数 50 50
パイプラインあたりの最大スケジュール数 20 20
ForEach アイテム 100,000 100,000
ForEach 並列処理 20 50
検索アクティビティのアイテム数 5,000 5,000
パイプラインあたりのキューに入れられた実行の最大数 100 100
式ごとの文字数 8,192 8,192
パイプラインのアクティビティ実行の最大タイムアウト 24 時間 24 時間
パイプライン オブジェクトのオブジェクトあたりのバイト数 200 KB 200 KB
各アクティビティの実行のペイロードあたりのバイト数 896 KB 896 KB
コピーアクティビティ実施ごとのインテリジェントなスループット最適化 256
ワークスペースあたりの同時インテリジェント スループットの最適化 (スループットはコピー ジョブと共有されます) 400 400
ファクトリでのメタデータ エンティティのサイズ制限 2 GB 2 GB

ジョブ リソースの制限をコピーする

次の表では、Microsoft Fabricの Data Factory のコピー ジョブの制限事項について説明します。

ジョブ リソースをコピーする 既定の制限 上限
テーブル/オブジェクトごとのインテリジェントなスループットの最適化 256
ワークスペースあたりの同時インテリジェント スループットの最適化 (スループットはパイプラインと共有されます) 400 400

Data Factory Dataflow Gen2 の制限事項

次の一覧では、Microsoft Fabricの Data Factory での Dataflow Gen2 の制限事項について説明します。

  • ステージングと宛先のクエリ制限: 1 つの Dataflow Gen2 でサポートされるクエリは、次のいずれか 50 個までです。

    • ステージングが有効になっているか、または
    • データ保存先 (Warehouse、Lakehouse、その他の Fabric の宛先など) を設定します。

    データを 書き込まないクエリ ( 関数ヘルパー クエリ、ステージングされておらず、データ変換先がない 中間変換クエリ など) は、この制限にカウントされません

  • レイクハウスへのデータ変換先:
    • 列またはテーブル名では、スペースまたは特殊文字はサポートされていません。
    • Dataflow Gen2 データフローを作成する際、期間列とバイナリ列はサポートされていません。
  • Dataflow Gen2 で使用するには、現在サポートされているゲートウェイがインストールされている必要があります。 少なくとも、データフロー Gen2 では、最新の 6 つのリリース済みゲートウェイ バージョンがサポートされています。
  • OAuth2 資格情報を使用する場合、ゲートウェイでは現在、1 時間を超える更新はサポートされていません。 これらの更新は失敗します。アクセス トークンの有効期限が切れると、ゲートウェイでトークンの更新を自動的にサポートできないためです。これは、更新が開始されてから 1 時間後に発生します。 資格情報が最近更新されたにもかかわらず、OAuth2 資格情報を使用してクラウド データ ソースにアクセスするときに "InvalidConnectionCredentials" または "AccessUnauthorized" というエラーが発生した場合は、このエラーが発生している可能性があります。 実行時間の長い更新に対するこの制限は、VNET ゲートウェイだけでなく、オンプレミス データ ゲートウェイにも存在します。
  • Delta Lake 仕様では、列名の大文字と小文字は区別されません。そのため、MyColumnmycolumn はマッシュアップではサポートされますが、Delta Lake 仕様では "列の重複" エラーとなります。
  • 現在、列の NULL 値の許容は既定で、変換先のすべての列で Null を許可しています。
  • データフロー gen2 を保存/発行した後、クエリごとに 10 分以内に検証/発行プロセスを完了する必要があります。 この 10 分の制限を超えた場合は、クエリを簡略化するか、データフロー gen2 でクエリを分割してみてください。
  • Azure Storage アカウントに既に 1 つ以上のプライベート エンドポイントが作成されている場合、Power Query Online または Dataflow Gen2 (ゲートウェイなし) を使用して、Azure Storage アカウントのパブリック エンドポイントに接続することはできません。 このようなストレージ アカウントに接続するには、VNet データ ゲートウェイ、またはプライベート エンドポイントを使って接続できるオンプレミス データ ゲートウェイを使用する必要があります。
  • Dataflow Gen2 では、テナント内のゲスト ユーザーが、ユーザーがゲストであるテナント内のデータ ソースと宛先に接続することはサポートされていません。 テナントのネイティブ ユーザーを使用して、データ ソースと宛先に接続します。
  • データフロー コネクタでデータフロー gen2 からデータを使用するには、管理者、メンバー、または共同作成者のアクセス許可が必要です。 ビューアーのアクセス許可では不十分であり、データフローからのデータの使用はサポートされていません。
  • データフローを使用してステージング項目に 90 日以上アクセスしない場合は、データフローがステージング項目にアクセスできるように再認証する必要があります。 これを行うには、同じワークスペース内に新しいデータフロー gen2 を作成します。
  • セマンティック モデルや他のデータフローなどのダウンストリーム項目が Dataflows コネクタを使用して Dataflow Gen2 のデータを使用する場合、データは内部 API を介して取得されます。 この API では、断続的なタイムアウトが発生する可能性があり、消費する項目の更新エラーが発生する可能性があります。 このような場合に表示されるエラー メッセージは、"キーがテーブル内のどの行とも一致しませんでした" など、誤解を招く可能性があります。このエラーは、データに問題があることを示すわけではありません。これは、バックエンド サービスがデータフローの結果を一時的に返すことができなかったことを意味します。 この問題を軽減するには、ソース データフローごとに データ変換先 (Lakehouse や Warehouse など) を構成し、データフロー コネクタではなく Lakehouse または Warehouse コネクタを使用して、その宛先から読み取るようにダウンストリーム項目を更新します。 この方法では、内部 API が完全にバイパスされ、通常、全体的な更新の信頼性とパフォーマンスが向上します。
  • サポートされているゲートウェイが必要: Dataflow Gen2 には、現在サポートされているデータ ゲートウェイが必要です。 少なくとも、最後の 6 つのリリース済みゲートウェイ バージョンがサポートされています。

  • Delta Lake の大文字と小文字の区別の制限: Delta Lake では、大文字と小文字が区別される列名はサポートされていません。 MyColumnmycolumnなどの列では、マッシュアップで許可されている場合でも、重複する列エラーが発生します。

  • 列の null 許容の既定の動作: すべての対象列は、既定で null 値を許可します。

  • 発行と検証の時間制限: 各クエリは検証を完了し、10 分以内に発行する必要があります。 この制限を超えるクエリは、簡略化するか、複数のデータフローに分割する必要があります。

  • ゲスト ユーザー アクセスはサポートされていません。ゲスト ユーザーは、アクセスしているテナントのデータ ソースまたは宛先に接続できません。 代わりに、テナントでネイティブ ユーザー アカウントを使用してください。

  • データフローを使用するために必要なアクセス許可: Dataflow Gen2 からデータを使用するには、管理者、メンバー、または共同作成者のアクセス許可が必要です。 ビューアーのアクセス許可はサポートされていません。

  • ステージング認証の有効期限: ステージング項目に 90 日を超えるアクセスがない場合は、再認証が必要です。 これを行うには、同じワークスペースに新しい Dataflow Gen2 を作成します。