マッピング データ フローのビデオ チュートリアル

適用対象: Azure Data Factory Azure Synapse Analytics

Azure Data Factory チームによって作成されたマッピング データ フローのチュートリアル ビデオの一覧を次に示します。

製品に対する更新が常に行われると、一部の機能は現在のAzure Data Factoryユーザー エクスペリエンスで追加または異なる機能を持っています。

はじめに

Azure Data Factory でのデータ フロー マッピングの開始

マッピング データ フローのデバッグと開発

Debugging and testing mapping data flows (マッピング データ フローのデバッグとテスト)

データの探索

Data preview quick actions (データ プレビューのクイック アクション)

Monitor and manage mapping data flow performance (マッピング データ フローのパフォーマンスの監視と管理)

ベンチマークのタイミング

データ フローのワークフローのデバッグ

更新された監視ビュー

変換の概要

Aggregate transformation (集計変換)

Alter row transformation 行の変更変換

Derived Column transformation (派生列変換)

Join transformation (結合変換)

自己結合パターン

参照変換

参照変換の更新情報とヒント

Pivot transformation (ピボット変換)

Pivot transformation: mapping drifted columns (ピボット変換: 誤差のある列のマッピング)

Select transformation (選択変換)

Select transformation:Rule-based mapping (選択変換: ルールベースのマッピング)

変換を選択: 大規模なデータセット

Surrogate key transformation (代理キー変換)

和集合変換

ピボット解除変換

Window Transformation (ウィンドウ変換)

Filter Transformation (フィルター変換)

条件分割変換

Exists Transformation (存在変換)

動的な結合と動的ルックアップ

フラット化変換

Flowlets

変換を文字列化する

外部呼び出し変換

階層データの変換

ランク変換

キャッシュされた検索

ウィンドウ変換による行コンテキスト

解析変換

複合データ型を変換する

次のアクティビティに出力

変換を文字列化する

外部呼び出し変換

アサート変換

アサートエラーの行をログに記録する

あいまい結合

ソースとシンク

Reading and writing JSONs (JSON の読み取りと書き込み)

Parquet and delimited text files (Parquet および区切り形式のテキスト ファイル)

CosmosDB connector (CosmosDB コネクタ)

Infer data types in delimited text files (区切り形式のテキスト ファイルでのデータ型の推論)

Reading and writing partitioned files (パーティション分割されたファイルの読み取りと書き込み)

Transform and create multiple SQL tables (複数の SQL テーブルの変換と作成)

Partition your files in the data lake (データ レイクでのファイルのパーティション分割)

Data warehouse loading pattern (データ ウェアハウスの読み込みパターン)

Data Lake ファイル出力オプション

マッピング データ フローの最適化

データリネージ

Iterate files with parameters (パラメーターを使用したファイルの反復処理)

Decrease start-up times (起動時間の短縮)

SQL DB performance (SQL DB のパフォーマンス)

ログ記録と監査

実行時にデータ フロー クラスター サイズを動的に最適化する

データ フローの起動時間の最適化

Azure データ フローの統合ランタイム

Azure IRによるクラスターの迅速な起動時間

データ フロー マッピング シナリオ

あいまい参照

Staging data pattern (データのステージングのパターン)

アドレスクリーンパターン

Deduplication (重複除去)

ファイルを結合

Slowly changing dimensions type 1: overwrite (緩やかに変化するディメンションのタイプ 1: 上書き)

Slowly changing dimensions type 2: history (緩やかに変化するディメンションのタイプ 2: 履歴)

Fact table loading (ファクト テーブルの読み込み)

差分データ読み込みパターンを使用してオンプレミスのSQL Serverを変換する

[パラメーター化]

Distinct row & row counts (個別の行と行数)

切り捨てエラーの処理

Intelligent data routing (インテリジェントなデータ ルーティング)

Data masking for sensitive data (機密データのデータ マスキング)

Logical Models vs. Physical Models (論理モデルと物理モデル)

Detect source data changes (ソース データの変更の検出)

ジェネリック型 2 緩やかに変化するディメンション

ソースに存在しない場合にターゲット内の行を削除する

データの増分読み込みをAzure Data FactoryとAzure SQL DBを使用して行う

Parse と Flatten を使用して Event Hubs から Avro データを変換する

データフローの式

日付と時刻の式

配列の分割とケース文

文字列補間とパラメーターを楽しむ

Data Flow スクリプトの概要: コピー、貼り付け、スニペット

データ品質の式

集約関数を集める

パラメーターとしての動的な式

ユーザー定義関数

メタデータ

メタデータ検証規則