責任ある AI ダッシュボードを使用してモデルを評価する

ノートブックでモデルをトレーニングした後、精度だけでなく、公平性、透明性、信頼性についても評価する必要があります。 Azure Machine Learning の 責任ある AI ダッシュボード では、これらの評価が 1 つの対話型ビューにまとめられます。

責任ある AI が重要な理由

モデルは、多くの場合、派生的な決定を行うときに使用されます。 モデルが予測するものに関係なく、Microsoft の 6 つの 責任ある AI 原則を考慮する必要があります。

• 公平性: グループ間で有害なバイアスをテストして軽減することで、モデルが公平な結果を提供することを確認します。
• 信頼性と安全性: モデルを構築、テスト、監視して、一貫したパフォーマンスを実現し、安全でない動作を防ぎます。
• プライバシーとセキュリティ: 最小限の収集と責任あるデータ処理プラクティスによってユーザー データを保護します。
• 包括性: 多様な能力と背景を持つ人々が効果的にシステムを使用できるように、システムを設計および評価します。
• 透明性: モデルの動作と出力の解釈方法を明確に伝えます。
• アカウンタビリティ: 人間の監視を割り当てて、AI の影響を受ける意思決定が追跡可能で管理されたままになります。

責任ある AI ダッシュボードの作成

責任ある AI (RAI) ダッシュボードを生成するには、Azure Machine Learning の組み込みの RAI コンポーネントを使用して パイプライン を作成します。 パイプラインでは、次の手順を実行する必要があります。

1. RAI Insights dashboard constructorから始めます。
2. 必要な分析情報を得るための 1 つ以上の RAI ツール コンポーネント を含めます。
3. 1 つのダッシュボードにすべてを収集する Gather RAI Insights dashboard で終了します。

使用可能な RAI ツール コンポーネントは次のとおりです。

• Add Explanation to RAI Insights dashboard: 各特徴がモデルの予測に与える影響を示します。
• Add Error Analysis to RAI Insights dashboard: モデルがより多くのエラーを発生させるデータのサブグループを識別します。
• Add Counterfactuals to RAI Insights dashboard: 入力の変更によってモデルの出力がどのように変わるかを調べる。
• Add Causal to RAI Insights dashboard: 履歴データを使用して、結果に対する特徴の因果関係を推定します。

このパイプラインは、Python SDK、CLI、または Azure Machine Learning Studio のコードなしのエクスペリエンスを使用して構築できます。

ダッシュボードを探索する

パイプラインが完了したら、パイプラインの概要から、またはスタジオの登録済みモデルの [責任ある AI] タブから、[責任ある AI ダッシュボード] を開くことができます。

または、登録済みモデルの [責任ある AI ] タブでダッシュボードを見つけます。