モデルの評価と比較

自動機械学習 (AutoML) の実験が完了したら、トレーニング済みのモデルを確認し、最適に実行したモデルを決定します。

Azure Machine Learning Studio では、AutoML 実験を選択してその詳細を調べることができます。

AutoML 実験の実行の 概要 ページで、入力データ資産と最適なモデルの概要を確認できます。 トレーニングされたすべてのモデルを調べるには、[モデル] タブを選択します。

前処理手順を調べる

AutoML 実験の特徴量化を有効にすると、データ ガードレールも自動的に適用されます。 分類モデルでサポートされている 3 つのデータ ガードレールは次のとおりです。

• クラス均衡の検出。
• 欠損特徴量値の補完。
• 高カーディナリティの特徴量の検出。

これらの各データ ガードレールには、次の 3 つの状態のいずれかが表示されます。

• 合格: 問題は検出されておらず、アクションは必要ありません。
• 完了: 変更がデータに適用されました。 AutoML がデータに加えた変更を確認する必要があります。
• アラート: 問題が検出されましたが、修正できませんでした。 問題を解決するには、データを確認する必要があります。

AutoML では、データ ガードレールの横で、トレーニングされた各モデルにスケーリングと正規化の手法を適用できます。 モデルの一覧で適用される手法は、アルゴリズム名で確認できます。

たとえば、一覧表示されているモデルのアルゴリズム名は、MaxAbsScaler, LightGBM可能性があります。 MaxAbsScaler は、各特徴が最大絶対値でスケーリングされるスケーリング手法を指します。 LightGBM は、モデルのトレーニングに使用される分類アルゴリズムを指します。

最適な実行とそのモデルを取得する

AutoML でモデルを確認するときは、指定したプライマリ メトリックに基づいて最適な実行を簡単に識別できます。 Azure Machine Learning Studio では、モデルが自動的に並べ替えられて、最もパフォーマンスの高いモデルが上部に表示されます。

AutoML 実験の モデル タブにて、同じタブ内で他のメトリックを表示したい場合は、列 を編集 できます。 さまざまなメトリックを含むより包括的な概要を作成することで、モデルを比較する方が簡単な場合があります。

モデルをさらに詳しく調べるには、トレーニングされた各モデルの説明を生成できます。 AutoML 実験を構成するときに、最適なパフォーマンスを発揮するモデルのために説明を生成するように指定できます。 ただし、他のモデルの解釈可能性に関心がある場合は、概要でモデルを選択し、Explain modelを選択できます。