Windows ML では、ONNX ランタイムとハードウェアチューニング実行プロバイダー (EP) をペアリングすることで、NPU、GPU、および CPU 全体の推論が高速化されます。 実行プロバイダーの詳細については、 ONNX ランタイムのドキュメントを参照してください。
Note
異なるハードウェア用にモデルを最適化する責任は引き続きあります。 Windows ML は、モデルの最適化ではなく、実行プロバイダーの分散を処理します。 最適化の詳細については、 AI ツールキット と ONNX ランタイム チュートリアル を参照してください。
実行プロバイダーとは
実行プロバイダー (EP) は、機械学習 (ML) 操作のハードウェア固有の最適化を可能にするコンポーネントです。 実行プロバイダーは、さまざまなコンピューティング バックエンド (NPU、GPU、CPU) を抽象化し、グラフのパーティション分割、カーネル登録、および演算子の実行のための統合インターフェイスを提供します。 詳細については、 ONNX ランタイムのドキュメントを参照してください。
EP を取得する 2 つの方法
Windows ML の IP:ExecutionProviderCatalog API を使用して、厳密な認定と回帰テストプロセスを経て自動的に更新される Windows 認定の IP を取得します。 詳細については、Windows ML の EP を参照してください。
持ち込み: EP バイナリを自分で取得して参照し、オフライン環境、マネージド デバイス、または厳密なバージョン固定要件のサポートを有効にします。 詳細については、「独自の EPs を導入する 」を参照してください。
トレードオフについては、Windows ML の EP と独自の実装を参照してください。
シリコンからEPへのマッピング
| シリコン | 実行プロバイダー | 一般的なユース ケース |
|---|---|---|
| NPU | OpenVINO (Intel) QNN (Qualcomm) VitisAI (AMD) |
Copilot+ PC でのバッテリー効率に優れた継続的なデバイス内推論 |
| GPU | MIGraphX (AMD) NvTensorRtRtx (NVIDIA) OpenVINO (Intel) QNN (Qualcomm) DirectML (付属 - レガシー) |
高スループットの画像/ビデオ/GenAI ワークロード |
| CPU | OpenVINO (Intel) ORT CPU EP (付属) |
ユニバーサル フォールバック。小さなモデルの待機時間が短い |
こちらも参照ください
- Windows ML 実行プロバイダー — Windows ML で利用可能な EP
- Windows ML EPs と Bring Your Own - 適切な EP ソーシング戦略を選択する
- Windows ML EP のインストール
- Windows ML の EP を登録する
- 実行プロバイダーの選択