Microsoft Foundry ポータル (プレビュー) (クラシック) 内のモデルランキング

現在表示中:Foundry (クラシック) ポータルのバージョン - 新しい Foundry ポータルのバージョンに切り替える

Microsoft Foundry ポータルのモデル ランキング (プレビュー) は、業界標準のベンチマークを使用して Foundry model カタログのモデルを比較するのに役立ちます。 モデル カタログの [モデル ランキング] セクションから、 ランキングを参照 して、使用可能なモデルを次の方法で比較できます。

• 品質、安全性、コスト、パフォーマンスのランキング を使用して、1 つのメトリック (品質、安全性、コスト、またはスループット) で主要なモデルを識別します。
• 品質とコストなど、2 つのメトリック間のパフォーマンスを比較するトレードオフのグラフ
• 特定のユース ケースに合わせて配置されたモデルを検索するシナリオ別のランキング

適切なモデルが見つかると、その 詳細ベンチマーク結果を モデル カタログで開くことができます。 そこから、モデルをデプロイしたり、プレイグラウンドで試したり、独自のデータで評価することができます。 ランキングでは、テキスト言語モデル (大きな言語モデル (LLM) と小さな言語モデル (SLB) を含む) と埋め込みモデルのベンチマークがサポートされています。

モデル ベンチマークでは、品質、安全性、コスト、スループットにわたって LLM と SLB を評価します。 埋め込みモデルは、標準の品質ベンチマークを使用して評価されます。 ランキングは、新しいモデルとベンチマーク データセットが使用可能になると更新されます。

ベンチマークモデルの範囲

モデル ランキングには、Foundry モデル カタログから選択されたテキスト ベースの言語モデルが用意されています。 モデルは、次の条件に基づいて含まれます。

• Azureダイレクト モデルの優先順位付け: Azureダイレクト モデルは、一般的な生成 AI シナリオとの関連性のために選択されます。
• コア ベンチマークの適用性: モデルは、推論、知識、質問の回答、数学的推論、コーディングなどの汎用言語タスクをサポートする必要があります。 特殊なモデル (タンパク質フォールディングやドメイン固有の QA など) やその他のモダリティはサポートされていません。

このスコープにより、ランキングには、コア AI シナリオに関連する最新の高品質モデルが確実に反映されます。

ランキングの結果を解釈する

ランキングを使用すると、複数のディメンション間でモデルを比較できるため、ユース ケースに適したモデルを選択できます。 結果を解釈するためのガイドラインを次に示します。

• 品質インデックス: 品質インデックスが高いほど、推論、コーディング、数学、知識の各タスクで全体的なパフォーマンスが高いことを示します。 モデル間で品質インデックスを比較し、汎用言語タスクのトップ パフォーマーを特定します。
• 安全性スコア: 攻撃の成功率が低いほど、より堅牢なモデルが示されます。 特に有害な出力が重大な懸念事項である顧客向けアプリケーションでは、品質スコアと共に安全スコアを考慮してください。
• パフォーマンスのトレードオフ: 待機時間とスループットのメトリックを使用して、モデルの実際の応答性を理解します。 高品質で待ち時間の長いモデルは、リアルタイム アプリケーションには適していない可能性があります。
• コストに関する考慮事項: 推定コスト メトリックでは、3 対 1 の入力対出力トークン比率が使用されます。 実際のワークロードの入力と出力の比率に基づいて期待値を調整します。
• シナリオ ランキング: ユース ケースが特定のシナリオ (コーディングや数学など) にマップされている場合は、シナリオ ランキングから始めて、全体的な品質インデックスのみに依存するのではなく、そのタスク用に最適化されたモデルを見つけます。

言語モデルの品質ベンチマーク

Foundry は、推論、知識、質問の回答、数学、コーディングの機能を測定する標準ベンチマーク データセットの精度スコアを使用して、LLM と SLB の品質を評価します。

品質インデックス値の範囲は 0 から 1 で、値が大きいほどパフォーマンスが向上します。 品質インデックスに含まれるデータセットは次のとおりです。

精度スコアの詳細を参照してください。

精度スコアの範囲は 0 から 1 で、値の方が高い方が適しています。

言語モデルの安全性ベンチマーク

安全性ベンチマークは、関連性と厳格性の両方を確保するように設計された構造化されたフィルター処理と検証プロセスを通じて選択されます。 ベンチマークは、優先度の高いリスクに対処する場合、オンボードの対象となります。 安全ランキングには、安全性に関連する関心のあるトピックに関する意味のあるシグナルを提供するのに十分な信頼性の高いベンチマークが含まれます。 ランキングではHarmBenchを使用してモデルの安全性を評価し、シナリオのランキングは次のように整理されます。

有害な動作の検出

HarmBench ベンチマークは、安全でない応答を引き出すために設計されたプロンプトを使用して有害な動作を測定します。 これには、次の 7 つのセマンティック カテゴリが含まれます。

• サイバー犯罪と不正侵入
• 化学および生物兵器または薬物
• 著作権違反
• 誤った情報と情報漏えい
• 嫌がらせといじめ
• 違法なアクティビティ
• 一般的な損害

これらのカテゴリは、次の 3 つの機能領域にグループ化されます。

• 標準的な有害な動作
• コンテキストに依存する有害な動作
• 著作権違反

各機能カテゴリは、個別のシナリオ ランキングで紹介されています。 評価では、HarmBench (攻撃なし) と HarmBench エバリュエーターからの直接プロンプトを使用して、攻撃成功率 (ASR) を計算します。 ASR 値が小さいほど、モデルの安全性が高くなります。 評価に攻撃戦略は使用されません。Foundry Guardrails (以前のコンテンツ フィルター) がオフになっている状態でモデル ベンチマークが実行されます。

有毒なコンテンツの検出

Toxigen は、敵対的で暗黙的なヘイトスピーチを検出するための大規模なデータセットです。 これには、13 の少数派グループを参照する暗黙的に有毒で無害な文が含まれます。 Foundry では、注釈付きの Toxigen サンプルを使用し、F1 スコアを計算して分類のパフォーマンスを測定します。 スコアが高いほど、有毒なコンテンツの検出が優れていることを示します。 ベンチマークは、Foundry Guardrails (以前のコンテンツ フィルター) がオフになっている状態で実行されます。

機密性の高いドメインの知識

大量破壊兵器プロキシ (WMDP) ベンチマークは、バイオセキュリティ、サイバーセキュリティ、化学セキュリティなどの機密性の高い領域のモデル知識を測定します。 ランキングでは、サイバーセキュリティ、バイオセキュリティ、化学セキュリティ全体の平均精度スコアが使用されます。 WMDP 精度スコアが高いほど、危険な機能に関するより多くの知識が示されます (安全性の観点から悪い動作)。 モデル ベンチマークは、既定の Foundry Guardrails (以前のコンテンツ フィルター) を使用して実行されます。 これらのガードレールは、暴力、自傷行為、性的、嫌悪、不公平に関するコンテンツの損害を検出してブロックしますが、サイバーセキュリティ、バイオセキュリティ、化学セキュリティのカテゴリは対象としません。

安全ベンチマークの制限事項

安全性は、複数のディメンションを持つ複雑なトピックです。 すべてのシナリオでシステムの完全な安全性をテストまたは表すことができるオープン ソース ベンチマークは 1 つもありません。 さらに、多くのベンチマークは、ベンチマーク設計とリスク定義の間の飽和またはミスアラインメントに苦しんでいます。 また、一部のベンチマークでは、ターゲット のリスクがどのように概念化され運用化されているかに関する明確なドキュメントがないため、結果が実際のリスクの微妙な部分を正確に把握しているかどうかを評価することが困難になります。 これらの制限により、実際の安全シナリオでモデルのパフォーマンスを過大評価または過小評価する可能性があります。

言語モデルのパフォーマンス ベンチマーク

パフォーマンス メトリックは、1 日あたり 24 回の試用版を使用して 14 日間にわたって集計され、試用版ごとに 2 つの要求が 1 時間間隔で送信されます。 特に明記されていない限り、次の既定のパラメーターは、サーバーレス API デプロイと Azure OpenAI の両方に適用されます。

LLM と SLB のパフォーマンスは、次のメトリックで評価されます。

Foundry は、次を使用してパフォーマンスを要約します。

待機時間やスループットなどのパフォーマンス メトリックでは、最初のトークンまでの時間と 1 秒あたりの生成されたトークンによって、モデルの一般的なパフォーマンスと動作をより全体的に把握できます。 パフォーマンス番号は、最新のデプロイ構成を反映するように定期的に更新されます。

言語モデルのコスト ベンチマーク

コスト ベンチマークは、トークンの価格に基づく推定コストではなく、 品質ベンチマーク データセットで各モデルを実行するための実際のコストを測定します。

ベンチマーク コストは、次を使用して計算されます。

• ベンチマークの実行中に使用された入力、推論、および出力トークンの実際の数。
• 評価に使用されるモデル固有の推論作業構成 (通常は high または xhigh)。
• トークンの使用とランタイムに影響を与えるデータセットの特性と複雑さ。

固定トークン比率に基づく見積もりとは異なり、このアプローチはベンチマーク ワークロードを実行する場合の真のエンドツーエンドのコストを反映しています。

コストの結果を解釈する方法

• 標準品質データセット全体で 、ベンチマーク実行ごとにコストが米国ドル で報告されます。
• 値は実際の実行コストを表し、モデル間の直接比較を可能にします。
• 値を小さくすると、ベンチマーク スイートのパフォーマンスがコスト効率が高くなります。

シナリオ ランキング ベンチマーク

シナリオ ランキングは、一般的な実際の評価目標によってベンチマーク データセットをグループ化します。 ユース ケースによって、モデルの長所と短所をすばやく特定できます。 各シナリオでは、1 つ以上のパブリック ベンチマーク データセットが集計されます。

次の表を使用して、[ シナリオ ] 列でユース ケースを見つけ、関連するベンチマーク データセットと結果が示す内容を確認します。 次の表は、使用可能なシナリオ のランキングとそれに関連するデータセットと説明をまとめたものです。

埋め込みモデルの品質ベンチマーク

埋め込みモデルの品質インデックスは、情報取得、ドキュメント クラスタリング、および要約タスクを対象とする、サーバーレス API ベンチマーク データセットの包括的なセットの平均精度スコアとして定義されます。

スコアの計算

個々のスコア

ベンチマークの結果は、言語モデルの評価に一般的に使用されるパブリック データセットに由来します。 ほとんどの場合、データは、データの作成者または学芸員によって管理されるGitHubリポジトリでホストされます。 Foundry 評価パイプラインは、元のソースからデータをダウンロードし、各行からプロンプトを抽出し、モデルの応答を生成してから、関連する精度メトリックを計算します。

プロンプト構築は、データセットと業界標準を紹介する論文で規定されているように、各データセットのベスト プラクティスに従います。 ほとんどの場合、各プロンプトには複数の ショットが含まれています。つまり、タスクのモデルを準備するための完全な質問と回答の例がいくつかあります。 ショットの数はデータセットによって異なり、各データセットの元のパブリケーションで指定された手法に従います。 評価パイプラインは、評価から除外されたデータの一部から質問と回答をサンプリングしてショットを作成します。

ベンチマークの制限事項

すべてのベンチマークには、結果を解釈するときに考慮する必要がある固有の制限があります。

• 品質ベンチマーク: ベンチマーク データセットは、モデルが同様のデータに対してトレーニングまたはチューニングされるため、時間の経過と同時に飽和状態になる可能性があります。 評価結果は、プロンプトの構築と使用される少数の例の数によっても異なる場合があります。
• パフォーマンス ベンチマーク: メトリックは、入力と出力のトークンの比率と単一リージョンのデプロイを固定した合成ワークロードを使用して収集されます。 実際のパフォーマンスは、ワークロード パターン、コンカレンシー、リージョン、デプロイの構成によって異なる場合があります。
• コスト ベンチマーク: コストの見積もりは、測定時の 3 対 1 の入力対出力トークンの比率と現在の価格に基づいています。 実際のコストはワークロードによって異なります。価格の変更の対象となります。

関連コンテンツ

• Foundry ポータルでモデル ランキングを使用してモデルを比較および選択する
• Foundryポータルのモデルカタログとコレクション
• 生成 AI アプリを評価する
• サーバーレス API を使用してモデルをデプロイする