Foundry のテキスト分析について

Microsoft Foundry は、Azureで AI アプリとエージェントを構築するためのプラットフォームです。 Foundry ポータルには、テキスト分析に対する 2 つのアプローチが用意されています。自然言語プロンプトを使用して幅広いタスクを処理する汎用 AI モデルと、特定のタスクの構造化された確定的な結果を返す専用の言語ツールです。

新しい Foundry ポータルでテキスト分析を開始するには、Foundry リソースと Foundry プロジェクトを作成する必要があります。

Foundry リソース は、AI サービスとデプロイされたモデルへのアクセスを提供するAzure リソースです。 Foundry プロジェクトは、作業の整理、モデルのデプロイ、チャットプレイグラウンドや AI サービスなどのツールへのアクセスを行う、そのリソース内のワークスペースです。

テキスト分析に汎用 AI モデルを使用する

Foundry ポータルのプロジェクトから、汎用 AI モデルをデプロイできます。 汎用 AI モデルは、膨大な量のテキスト データに基づいてトレーニングされた言語モデルであり、言語の広範な理解と、さまざまなタスクを処理する機能を提供します。 汎用モデルでは、自然言語の指示に従って、センチメントの分析、エンティティの抽出、テキストの要約、コンテンツの翻訳、質問への回答などを行うことができます。構成やトレーニングはすべて必要ありません。

汎用 AI モデルを使用して、次のようなテキスト分析タスクを処理できます。

• キー フレーズ抽出 では、非構造化テキストの主な概念が一覧表示されます。
• エンティティ リンク は、既知のエンティティと Wikipedia へのリンクを識別します。
• 感情分析とオピニオン マイニング は、テキストが肯定的か否定的かを識別します。
• 要約では 、最も重要な情報を識別してテキストを要約します。

Foundry ポータルのチャットプレイグラウンドで、AI モデルのテキスト分析機能を調べることができます。 モデルをデプロイすると、プレイグラウンドによってチャット インターフェイスが提供され、そこでプロンプトを入力し、モデルが応答します。 モデルはコンテキストを理解するため、追加の質問をフォローアップしたり、同じ会話で分析を調整したりすることもできます。 これにより、完全なアプリケーションをビルドする前に何が可能かを調べるのに便利な方法が遊び場になります。

テキスト分析タスクが与えられたときに汎用 AI モデルが提供できる応答の一部を詳しく見てみましょう。

キー フレーズ抽出

言語モデルを使用して、一部のテキストで使用されるキーワードとフレーズを抽出できます。これは、インデックス作成や関連ドキュメントの検索などのプロセスで役立ちます。 キー フレーズ抽出 は、テキストからの主要なポイントを識別します。

たとえば、次のようなレビューを受け取ることがあります。

土曜日にシアトルのダイナーで素晴らしい食事をしました。マッシュルームリゾットは完璧に準備され、本当においしかったです。私たちのウェイター、ピートはフレンドリーで効率的で、デザート（ストロベリーチーズケーキ）の素晴らしい推薦をしてくれました。カジュアルなディナーにはこの場所をぜひお勧めします。

キー フレーズ抽出では、次のフレーズを抽出することで、このレビューにコンテキストを提供できます。

• カジュアル ディナー
• デザート
• 素晴らしい食事
• ダイナー
• 優れた推奨事項
• きのこリゾット
• ピート
• 場所
• 土曜日
• Seattle
• ストロベリーチーズケーキ
• ウェイター

エンティティの認識

名前付きエンティティ認識を使用して、テキストに記載されている人、場所、日付、およびその他の特定のエンティティを検索することもできます。

非構造化テキストを使用して言語モデルを提供し、認識されるテキスト内の エンティティ の一覧を取得できます。 エンティティは、特定の型またはカテゴリの項目です。場合によってはサブタイプです。

次の短いテキストを考えてみましょう。

「2017年5月2日、ジョン・スミスはニューヨークを訪れ、Microsoftが主催する会議に出席しました。イベントは午前 8 時に開始され、3 時間続いた。40名の参加者のうち25% 以上が10マイルを超える旅をして参加しました

検出されたエンティティは次のとおりです。

感情分析とオピニオン マイニング

センチメント分析を使用して、ドキュメントを肯定的、否定的、または中立として分類することもできます。 これは、ソーシャル メディア、顧客レビュー、ディスカッション フォーラムなどのセンチメントを検出するのに役立ちます。

次のレストランのレビューを検討してください。

「金曜日の夜、ポートランドの居心地の良いビストロで素晴らしいディナーをしました。焼きサーモンは完璧に調理され、風味豊かで、季節の野菜は素晴らしい補完物でした。私たちのサーバー、マリアは注意深く、人物的で、彼女はデザートのためのレモンタルトを提案しました- それは素晴らしいものでした。また泊まりたいと思います。

レストランのレビューを分析すると、次の結果が返される場合があります。

• 文ごとのセンチメント分析:

  「私は金曜日の夜にポートランドの居心地の良いビストロで素晴らしいディナーをしました。センチメント: 肯定的な説明: 「素晴らしい夕食」と「居心地の良いビストロ」という言葉は、非常に肯定的な経験を伝えます。

  「焼きサーモンは完璧に調理され、風味豊かで、季節の野菜は素晴らしい補完物でした。センチメント:肯定的な説明:"完全に調理された"、"味がいっぱい"、そして「素晴らしい補完」はすべて、食べ物に対する強い満足度を示しています。

  「私たちのサーバー、マリアは気配りがあり、人が親切で、デザートにレモンタルトを提案しました。センチメント: 肯定的な説明: サーバーの品質とデザートの肯定的な説明 ("気配り"、"ペルソナ可能"、"優れた") は、非常に幸せな顧客を反映しています。

  「また泊まりたいと思います。センチメント: 肯定的な説明: "絶対"、"リラックス"、"楽しい" という単語を含む明確な推奨事項は、強い肯定的なセンチメントを示します。

• 全体的なドキュメントセンチメント: 強く肯定的です。 レビューは、食事、雰囲気、サービス、全体的な体験について称賛の言葉で溢れています。 中立的または否定的な記述はありません。

テキスト分析に汎用 AI モデルを使用する場合

キー フレーズ抽出、エンティティ認識、感情分析に加えて、汎用 AI モデルでは、長いドキュメントを簡潔な段落に 要約 したり、言語間でテキスト を翻訳 したり、定義したカテゴリにコンテンツを 分類 したり、一節に関する 質問に回答 したりすることもできます。 これらの機能はすべて自然言語プロンプトによって駆動されるため、長いレビューを翻訳するようにモデルに依頼し、1 回の会話で要約するなど、自由に組み合わせることができます。

Foundry ツールでのAzure言語の使用

一般的な生成型 AI ワークロード用にトレーニングされた大規模な言語モデルは、多くの場合、テキスト分析の優れた仕事をすることができますが、より特殊なツールがより予測可能な結果を得る場合があります。

Azure Foundry ツールの言語 は、特定のテキスト分析タスク用の専用アナライザーを備えた自然言語処理サービスです。 これらのアナライザーは、統計的手法を使用して構造化された確定的な出力を返します。これにより、一貫性のある結果が重要な自動化されたパイプラインに適しています。

new Foundry ポータルでは、チャットプレイグラウンドでAzure言語の機能を確認できます。 AI サービスの機能をテストするには、[ ビルド ] ページに移動し、[ モデル] に移動し、[ AI サービス ] タブに移動します。タブには、テストに使用できる AI サービスの選択が表示されます。

次のAzure言語機能について考えてみましょう。

• 言語検出 では、テキストが評価され、言語と方言が検出されます。
• 個人識別情報 (PII) 検出 は、個人の健康情報 (PHI) を含む個人の機密情報を識別します。

言語検出

多くの場合、複数言語ワークフローでは、ドキュメントが書き込まれる言語を特定し、テキストを最も適切なモデルまたはプロセスにルーティングできるようにします。 言語検出 では、テキストが評価され、信頼度スコアと共にプライマリ言語が識別されます。 Azure言語は、さまざまな言語と地域の方言をサポートしています。

たとえば、次のテキストを指定します。

"○ Hola!Me llamo Josefina y vivo en Madrid, España."

言語検出では、次の結果が返されます。

Foundry ポータルでは、チャットプレイグラウンドAzure言語検出機能をテストできます。

個人を特定できる情報の検出

多くの場合、組織はプライバシー規制に準拠するために、保存または共有する前に、テキストから機密性の高い個人情報を特定して編集する必要があります。 個人を特定できる情報 (PII) の検出 では、名前、電話番号、メール アドレス、番地など、テキスト内の個人情報が識別され、必要に応じて編集できます。

たとえば、次のテキストを指定します。

"Maria Garcia は 020 7946 0958 から呼び出され、42 Market Road、London、UK、SW1A 1AA にドキュメントを送信するように求められました。"

PII 検出では、次のエンティティが識別されます。

Foundry ポータルでは、言語プレイグラウンドAzure言語の PII 検出機能をテストできます。

次に、OpenAI 応答 API と Azure Language SDK の両方を使用して、テキスト分析機能を備えたクライアント アプリケーションを作成する方法について説明します。