モデルの評価と比較

自動機械学習 (AutoML) の実験が完了したら、トレーニングされたモデルを確認し、最適に実行されたモデルを決定します。

Azure Machine Learning Studio では、AutoML 実験を選択してその詳細を調べることができます。

AutoML 実験の実行の [概要 ] ページでは、入力データ資産と最適なモデルの概要を確認できます。 トレーニングされたすべてのモデルを調べるには、[ モデル ] タブを選択します。

前処理手順を調べる

AutoML 実験の特徴量化を有効にすると、データ ガードレールも自動的に適用されます。 分類モデルでサポートされている 3 つのデータ ガードレールは次のとおりです。

• クラス均衡の検出。
• 欠損特徴量値の補完。
• カーディナリティの高い特徴検出。

これらのデータ ガードレールには、次の 3 つの状態のいずれかが表示されます。

• 成功: 問題は検出されませんでした。アクションは必要ありません。
• 完了: 変更がデータに適用されました。 AutoML がデータに加えた変更を確認する必要があります。
• アラート: 問題が検出されましたが、修正できませんでした。 問題を解決するには、データを確認する必要があります。

AutoML では、データ ガードレールの横で、トレーニングされた各モデルにスケーリングと正規化の手法を適用できます。 アルゴリズム名の下にあるモデルの一覧で適用される手法を確認できます。

たとえば、一覧表示されているモデルのアルゴリズム名を MaxAbsScaler, LightGBMできます。 MaxAbsScaler は、各特徴が最大絶対値でスケーリングされるスケーリング手法を指します。 LightGBM は、モデルのトレーニングに使用される分類アルゴリズムを指します。

最適な実行とそのモデルを取得する

AutoML でモデルを確認するときは、指定したプライマリ メトリックに基づいて最適な実行を簡単に識別できます。 Azure Machine Learning Studio では、モデルが自動的に並べ替えられて、最もパフォーマンスの高いモデルが上部に表示されます。

AutoML 実験の [ モデル ] タブで、同じ概要に他のメトリックを表示する場合は 、列を編集 できます。 さまざまなメトリックを含むより包括的な概要を作成することで、モデルを簡単に比較できます。

モデルをさらに詳しく調べるには、トレーニングされた各モデルの説明を生成できます。 AutoML 実験を構成するときに、最適なパフォーマンスを発揮するモデルのために説明を生成するように指定できます。 ただし、別のモデルの解釈可能性に関心がある場合は、概要でモデルを選択し、[Explain model]\ (モデルの説明\) を選択できます。

AutoML は強力な開始点を提供します。広範に検索され、データに最適なアルゴリズムと前処理の組み合わせを表示します。 ただし、ハイパーパラメーターの調整、カスタム機能のエンジニアリング、AutoML でカバーされないアプローチのテストなど、さらに進めたい場合もあります。 ここでノートブックが入ってくるのです。