EVVIE で車両検査に革命を起こす

Enterprise Visual Vehicle Inspection Engine (EVVIE) は、AI とMicrosoft Power Platformを使用して車両検査プロセスに革命を起こします。 検査を自動化することで、EVVIEは時間を節約し、精度を高め、大規模な車両フリートを管理する組織にとって非常に貴重なツールとなっています。 この記事では、EVVIEのアーキテクチャ、ワークフロー、主要コンポーネントの概要を説明し、この革新的なソリューションが車両の点検とメンテナンスをどのように合理化できるかについての洞察を提供します。

EVVIE のデモと詳細については、aka.ms/EVVIE をご参照ください。

ヒント

この記事ではソリューションのアイデアについて説明します。 クラウド アーキテクトは、このガイダンスを使用して、このアーキテクチャの一般的な実装の主要なコンポーネントを視覚化できます。 ワークロードの特定の要件に適合する、適切に設計されたソリューションを設計するための出発点として、この記事を使用してください。

アーキテクチャ ダイアグラム

Enterprise Visual Vehicle Inspection Engine がローコードとプロコードを使用して AI 支援車両検査を推進するアーキテクチャ図。

Workflow

EVVIEは、高度なAIモデルを使用して車両検査プロセスを自動化するために、Power PlatformとMicrosoft Azureリソースのユニークなブレンドを使用しています。 大まかに言うと、EVVIEの内部プロセスは次のとおりです。

  1. Power Appsキャンバス アプリは、ユーザーが車両検査の一環として車両の損傷の写真を収集できるようにするインターフェイスとして機能します。 画像は Base64 文字列としてエンコードされます。

  2. アプリでは、カスタム コネクタを使用して、キャプチャされたイメージをカスタム API (.NET ベースのAzure関数アプリ) に提供します。

  3. 関数アプリは、アプリから HTTP API 呼び出しを受信して解析し、写真をフェッチし、Azure OpenAI Serviceのマルチモーダル言語モデルとインターフェイスします。 モデルは写真を確認し、損傷を 3 つのフィールド (車両の領域、重大度レベル、および損傷の一般的な説明) に分類します。

  4. 調査アプリは関数アプリから応答を受信し、AI が作成した損害評価をユーザーに提示します。ユーザーは評価を承認、変更、または拒否できます。 ユーザーは評価を確定し、特定の車両に対して提出します。 評価は Dataverse に安全に保管されます。

  5. カスタム ページによるモデル駆動型機能によって、管理者は車検データを確認できます。

コンポーネント

Microsoft Dataverse: Dataverse は、損傷の写真、重大度レベルのランク付け、説明など、車両検査の一部として収集されたすべてのデータを格納します。

Power Apps: 車両を検査する現場のスタッフと、検査を確認する管理スタッフは、Microsoftのコードなし/コードなしのアプリケーション開発フレームワークPower Appsに組み込まれているアプリを使用します。

カスタム コネクタ: カスタム コネクタにより、EVVIE モバイル車両検査アプリ (現場で車両を検査するスタッフが使用) は、高度な AI を使用して提供された写真を評価するバックエンド サービスを呼び出すことができます。

Azure Functions: Azure Functions、Microsoftのイベントドリブン サーバーレス コンピューティング プラットフォームは、EVVIE アプリがカスタム コネクタを介して HTTP 要求を使用して呼び出すことができる Web API として機能します。 Azure関数アプリは、API 呼び出しを通じて画像を受信し、高度な AI モデルを使用して損害を評価し、評価をアプリに返します。

Azure OpenAI Service: EVVIE では、マルチモーダル AI モデルを使用して、提供された画像の損傷を評価し、重大度レベル (1 から 5)、車両の領域 (ドア、フロント シールド、フロント バンパーなど)、損傷の説明の 3 つのフィールドに分類します。 将来的には、どのマルチモーダル言語モデルも使用できますが (「o1」や「o3」が広く利用できるようになった場合など)、この記事の執筆時点では GPT-4o が使用されています。

シナリオの詳細

EVVIEは、大規模な車両フリートを持つ組織が定期的な点検とメンテナンスを管理するのに役立ちます。 定期点検には時間がかかり、スタッフはより価値のある仕事から注意をそらします。

この負担を軽減し、時間を節約するために、EVVIEは高度なマルチモーダル生成 AIを使用して、車両の損傷を自動的に評価し、記録します。 損傷の各事例を手作業で記録する代わりに、スタッフはEVVIEに写真を提供します。 この 1 枚の画像から、EVVIE は損傷を評価し、車両上の位置を記録し、重大度レベルを決定し、簡単な説明を提供します。

EVVIEは、何千台もの車両を管理するロサンゼルス郡保安官事務所との会話から着想を得ています。 従来、各役員は、シフトを開始する前に、ペン、紙、クリップボードを使用して車両を調査し、損傷を記録し、この情報を上司に提出する必要がありました。 しかし、この定期点検は、差し迫った業務のためにしばしば脇に追いやられ、20分間の煩雑な点検のための時間はほとんどありませんでした。

EVVIEを使用することで、役員は自分の携帯電話でアプリを開き、車両の写真を撮るだけで済む。 AIが損傷を文書化し、スーパーバイザーに報告するため、紙ベースのプロセスが不要になります。

注意事項

これらの考慮事項は、ワークロードの品質を向上させる一連の基本原則である Power Platform Well-Architected の柱を実行します。 詳細については、Microsoft Power Platform Well-Architected を参照してください。

Reliability

EVVIE のアーキテクチャMicrosoftクラウドベースの各コンポーネントは、優れた信頼性を確保するように設計されており、重要なアップタイムと復旧の目標を一貫して満たします。 この信頼性は、スケーラブルな冗長性によって実現され、堅牢なパフォーマンスと回復力を提供します。

セキュリティ

EVVIE の概念実証ビルドの場合、アプリとインターフェイスするAzure Functionsベースの Web API には、セキュリティ プロトコルは含まれません。 一意のAPIエンドポイント(URL)を知っている人なら誰でも、EVVIEのバックエンドサービスにアクセスできる可能性があります。

運用環境のデプロイでは、システム インテグレーターが、Azure API Managementによるキーベースの認証など、標準の認証レイヤーを実装することが不可欠です。 このようなセキュリティ対策により、バックエンドAPIサービスは、EVVIEフロントエンドアプリによって意図されたとおりにのみアクセスされます。

オペレーショナル エクセレンス

概念実証として、EVVIEは、車両の損傷を評価する技術の能力を示すために、架空の要件でゼロから構築されています。 検査プロセスからEVVIEが評価する基準(損傷領域、重大度レベル、説明、損傷を特定できる車両の特定の領域)まで、あらゆる側面は、EVVIEを展開する組織の固有のニーズに合わせてカスタマイズできます。

たとえば、システムインテグレーターは次のことができます。

  • EVVIEが損傷を特定できる車両の特定の領域を調整します。
  • モデルへの指示に使用するシステム プロンプトを調整します。
  • 最小限の写真要件を実装します。

これらの変更により、EVVIEは最適に動作し、組織の特定のニーズに合わせることができます。

パフォーマンス効率

2つの潜在的なボトルネックがEVVIEのスケーラビリティに大きく影響する可能性があります。

  • Azure Functions ベースの API: 車両損傷評価のための AI サービスへの EVVIE のフロント ドアとして、Azure関数アプリが大規模に構成されていることを確認することが重要です。 組織の使用量によっては、スケーラビリティを確保するために専用プランにデプロイすることをお勧めします。

  • Azure OpenAI Service: 関数アプリによって呼び出される Azure OpenAI モデルは、損害の評価とログ記録に不可欠です。 バックエンド API が依存する Azure OpenAI デプロイが常に動作していることを確認することが重要です。 Azure OpenAI ではトークンベースのシステムが使用されるため、EVVIE で使用されるモデルの使用期間に対して高いトークン クォータが確保されることを保証することが重要です。

エクスペリエンスの最適化

EVVIEを開発したチームは、スタッフが直感的で簡単に車両を検査し、検査を確認できるように、ユーザーインターフェースとユーザーエクスペリエンスを最適化するために多大な時間と労力を費やしました。

EVVIEの検査アプリは、組織のニーズをよりよく満たすために、PowerPointと同様に、シンプルな選択アンドドラッグインターフェイスを介して簡単に変更できるキャンバスアプリです。

管理スタッフがこれらの検査を確認するために使用するインターフェイスは、モデル駆動型アプリです。 カスタム ページは、特定の要件に合わせて簡単に変更できます。

責任ある AI

非センシティブなユース ケース: EVVIEアプリケーションは、車両検査に悪影響を与えるバイアスのリスクを大幅に軽減する非高感度ドメイン内で動作します。 車両の損傷評価の性質を考えると、バイアスが結果に影響を与える余地は最小限です。

制御された生成 AI: EVVIE が使用する生成 AI モデルには、評価を定義済みのテンプレートに制限する機能が含まれています。 この設計により、AI は開発者のガイドラインに従い、創造性を制限し、正確で一貫性のある評価をサポートする具体的な事実に基づく応答を提供します。

Contributors

Microsoft では、この記事を保持しています。 この記事を書いたのは、以下の寄稿者です。

作者代表:

  • Tim Hanewich、 Power Platform テクニカル スペシャリスト
  • Kelly Cason、ビジネス アプリケーション テクニカル スペシャリスト

次のステップ

デモ ビデオ、機能、アーキテクチャ、ソース コードなどの詳細については、aka.ms/EVVIE のGitHubの EVVIE を参照してください。

  • Last updated on