次の方法で共有

Azure Data Factoryを使用して、データ レイクまたはデータ ウェアハウスからAzureにデータを移行する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

Data Factory in Microsoft Fabric は、よりシンプルなアーキテクチャ、組み込みの AI、および新機能を備えた次世代のAzure Data Factoryです。 データ統合を初めて使用する場合は、Fabric Data Factory から始めます。 既存の ADF ワークロードをFabricにアップグレードして、データ サイエンス、リアルタイム分析、レポートの新機能にアクセスできます。

Data Lake またはエンタープライズ データ ウェアハウス (EDW) をMicrosoft Azureに移行する場合は、Azure Data Factoryの使用を検討してください。 Azure Data Factoryは、次のシナリオに適しています。

  • Amazon Simple Storage Service (Amazon S3) またはオンプレミス Hadoop 分散ファイル システム (HDFS) から Azure へのビッグ データ ワークロードの移行
  • Oracle Exadata、Netezza、Teradata、または Amazon Redshift から Azure への EDW 移行

Azure Data Factoryは、データ レイク移行用にペタバイト (PB) のデータを移動し、データ ウェアハウスの移行用に数十テラバイト (TB) のデータを移動できます。

データ移行Azure Data Factory使用できる理由

  • Azure Data Factoryは、高パフォーマンス、回復性、スケーラビリティを備えたサーバーレス方式でデータを移動する処理能力の量を簡単にスケールアップできます。 また、使用した分にのみ料金がかかります。 また、以下の点にも注意してください。
    • Azure Data Factoryには、データ ボリュームまたはファイルの数に制限はありません。
    • Azure Data Factoryは、ネットワークとストレージの帯域幅を完全に使用して、環境内で最高の量のデータ移動スループットを実現できます。
    • Azure Data Factoryは従量課金制の方法を使用するため、実際にAzureへのデータ移行の実行に使用した時間に対してのみ支払います。
  • Azure Data Factoryは、1 回限りの履歴読み込みとスケジュールされた増分読み込みの両方を実行できます。
  • Azure Data Factoryでは、Azure統合ランタイム (IR) を使用して、パブリックにアクセス可能な Data Lake エンドポイントとウェアハウス エンドポイント間でデータを移動します。 また、セルフホステッド IR を使用して、Azure Virtual Network (VNet) 内またはファイアウォールの内側にあるデータ レイクおよびウェアハウス エンドポイントのデータを移動することもできます。
  • Azure Data Factoryにはエンタープライズ レベルのセキュリティがあります。セキュリティで保護されたサービス間統合には Windows Installer (MSI) またはサービス ID を使用するか、資格情報管理にAzure Key Vaultを使用できます。
  • Azure Data Factoryは、コード不要の作成エクスペリエンスと、豊富な組み込みの監視ダッシュボードを提供します。 

オンラインとオフラインのデータ移行

Azure Data Factoryは、ネットワーク (インターネット、ER、または VPN) 経由でデータを転送するための標準的なオンライン データ移行ツールです。 オフライン データ移行では、ユーザーは組織から Azure データ センターに物理的にデータ転送デバイスを発送します。

オンラインとオフラインの移行方法のいずれかを選択する際には、次の 3 つの重要な考慮事項があります。

  • 移行するデータのサイズ
  • ネットワークの帯域幅
  • 移行ウィンドウ

たとえば、Azure Data Factoryを使用して、2 週間以内にデータ移行を完了することを計画しているとします (migration ウィンドウ)。 次の表のピンク色と青色の分かれ目に注目してください。 各列の一番下にあるピンク色のセルは、移行期間が 2 週間に最も近く、2 週間未満であるデータ サイズ/ネットワーク帯域幅のペアを示します (青色のセルのサイズ/帯域幅のペアは、2 週間を超えるオンライン移行期間を示します)。

online vs. offline この表は>データのサイズと使用可能なネットワーク帯域幅に基づいて、オンライン移行 (Azure Data Factory) を通じて目的の移行期間を満たすことができるかどうかを判断するのに役立ちます。 オンライン移行期間が 2 週間を超える場合は、オフライン移行を使用することをお勧めします。

注意

オンライン移行を使用すると、1 つのツールで履歴データの読み込みと増分フィードの両方をエンドツーエンドで実現できます。 この方法では、移行期間中に、既存のストアと新しいストアの間でデータの同期を維持することができます。 つまり、新しいストア上に更新されたデータを使用して ETL ロジックを再構築できます。

関連するコンテンツ

  • Last updated on