Rivoluziona le ispezioni dei veicoli con EVVIE

EVVIE (Enterprise Visual Vehicle Inspection Engine) utilizza l'intelligenza artificiale e Microsoft Power Platform per rivoluzionare il processo di ispezione dei veicoli. Automatizzando le ispezioni, EVVIE consente di risparmiare tempo e migliora l'accuratezza, rendendolo uno strumento prezioso per le organizzazioni che gestiscono grandi flotte di veicoli. Questo articolo fornisce una panoramica dell'architettura, del flusso di lavoro e dei componenti chiave di EVVIE, offrendo approfondimenti su come questa soluzione innovativa può semplificare le ispezioni e la manutenzione dei veicoli.

Per una demo e ulteriori informazioni su EVVIE, visita aka.ms/EVVIE.

Diagramma dell'architettura

Workflow

EVVIE utilizza una combinazione unica di risorse Power Platform e Microsoft Azure per automatizzare il processo di ispezione dei veicoli utilizzando modelli di intelligenza artificiale avanzati. A livello generale, il processo interno di EVVIE è il seguente:

1. Un'app canvas Power Apps funge da interfaccia per consentire agli utenti di raccogliere foto dei danni al veicolo come parte di un'ispezione del veicolo. Le immagini sono codificate come stringa Base64.

2. L'app utilizza un connettore personalizzato per fornire le immagini acquisite a un'API personalizzata, un'applicazione di funzioni Azure basata su .NET.

3. L'app per le funzioni riceve e analizza la chiamata API HTTP dall'app, recupera le foto e si interfaccia con un modello linguistico multimodale nel servizio OpenAI di Azure. Il modello esamina le foto e classifica il danno in tre campi: area dell'auto, livello di gravità e descrizione generale del danno.

4. L'app di ispezione riceve la risposta dall'app per le funzioni e presenta la valutazione dei danni creata dall'intelligenza artificiale all'utente, che può accettare, modificare o rifiutare la valutazione. L'utente finalizza la valutazione e la invia per il veicolo in questione. La valutazione è archiviata in modo sicuro in Dataverse.

5. Un approccio guidato dal modello con pagine personalizzate consente agli amministratori di esaminare i dati di ispezione dei veicoli.

Componenti

Microsoft Dataverse: tutti i dati raccolti nell'ambito delle ispezioni dei veicoli, come le foto dei danni, la classificazione del livello di gravità e le descrizioni, vengono memorizzati in Dataverse.

Power Apps: il personale sul campo che ispeziona i veicoli e il personale amministrativo che esamina le ispezioni utilizzano app integrate in Power Apps, il framework di sviluppo di app senza codice/con poco codice di Microsoft.

Connettore personalizzato: un connettore personalizzato consente all'app per dispositivi mobili EVVIE per l'ispezione dei veicoli (utilizzata dal personale che ispeziona i veicoli sul campo) di chiamare un servizio di back-end che utilizza l'intelligenza artificiale avanzata per valutare le foto fornite.

Funzioni di Azure: Funzioni di Azure, la piattaforma di calcolo serverless basata su eventi di Microsoft, funge da API Web che l'app EVVIE può chiamare usando una richiesta HTTP tramite il connettore personalizzato. L'app per le funzioni di Azure riceve le immagini tramite la chiamata API, usa un modello di intelligenza artificiale avanzato per valutare i danni e restituisce la valutazione all'app.

Servizio OpenAI di Azure: EVVIE utilizza un modello di intelligenza artificiale multimodale per valutare il danno nelle immagini fornite e classificarlo in tre campi: livello di gravità (1-5), area del veicolo (come porte, parabrezza, paraurti anteriore) e descrizione del danno. Sebbene sia possibile utilizzare qualsiasi modello linguistico multimodale futuro (ovvero "o1" oppure "o3" una volta che saranno ampiamente disponibili), GPT-4o viene utilizzato al momento della stesura di questo articolo.

Dettagli dello scenario

EVVIE aiuta le organizzazioni con grandi flotte di veicoli a gestire ispezioni e manutenzioni regolari. Le ispezioni di routine richiedono tempo e distraggono il personale da attività più importanti.

Per alleviare questo onere e risparmiare tempo, EVVIE utilizza l'IA generativa multimodale avanzata per valutare e registrare automaticamente i danni ai veicoli. Invece di documentare manualmente ogni caso di danno, i membri dello staff forniscono a EVVIE una foto. Da questa singola immagine, EVVIE valuta il danno, registra la sua posizione sul veicolo, determina il livello di gravità e fornisce una breve descrizione.

EVVIE si ispira alle conversazioni con il dipartimento dello sceriffo della contea di Los Angeles, che gestisce una flotta di migliaia di veicoli. Tradizionalmente, ogni agente doveva ispezionare il proprio veicolo con penna, carta e appunti prima di avviare il proprio turno, documentare eventuali danni e inviare queste informazioni al proprio supervisore. Tuttavia, questa ispezione di routine spesso cadeva nel dimenticatoio a causa di compiti urgenti, lasciando poco tempo per un'ingombrante ispezione di 20 minuti.

Con EVVIE, gli agenti devono solo aprire un'app sul proprio telefono e scattare una foto del veicolo. L'intelligenza artificiale documenta il danno e lo segnala al supervisore, eliminando la necessità di processi cartacei.

Considerazioni

Queste considerazioni implementano i pilastri di Power Platform Well-Architected, un insieme di principi guida che migliorano la qualità di un carico di lavoro. Altre informazioni in Microsoft Power Platform Well-Architected.

Affidabilità

Ogni componente basato su cloud Microsoft nell'architettura di EVVIE è progettato per un'affidabilità eccezionale, garantendo che soddisfi costantemente gli obiettivi critici di uptime e ripristino. Questa affidabilità si ottiene attraverso la ridondanza scalabile, che fornisce prestazioni robuste e resilienza.

Sicurezza

Per la build del modello di verifica di EVVIE, l'API Web basata su Azure Functions che si interfaccia con l'app non include alcun protocollo di sicurezza. Chiunque sia a conoscenza degli endpoint API univoci (URL) può potenzialmente accedere al servizio di back-end di EVVIE.

In una distribuzione di produzione è essenziale che l'integratore di sistemi implementi un livello di autenticazione standard, ad esempio l'autenticazione basata su chiave tramite Gestione API Azure. Tali misure di sicurezza garantiscono che il servizio API back-end sia accessibile solo come previsto dall'app front-end EVVIE.

Eccellenza operativa

Come prova di concetto, EVVIE è costruito da zero con requisiti fittizi per mostrare la capacità della tecnologia di valutare i danni ai veicoli. Ogni aspetto, dal processo di ispezione ai criteri valutati da EVVIE (area di danno, livello di gravità, descrizione e aree specifiche del veicolo in cui è possibile individuare i danni), può e deve essere personalizzato per soddisfare le esigenze specifiche di qualsiasi organizzazione che implementa EVVIE.

Ad esempio, un integratore di sistemi può:

• Regolare le aree specifiche di un veicolo in cui EVVIE può identificare i danni.
• Perfezionare il prompt di sistema utilizzato per istruire il modello.
• Implementare un numero minimo di requisiti per le foto.

Queste modifiche assicurano che EVVIE operi in modo ottimale e si allinei con le esigenze specifiche dell'organizzazione.

Efficienza prestazionale

Due potenziali colli di bottiglia possono influire in modo significativo sulla scalabilità di EVVIE:

• API basata su Funzioni di Azure: in qualità di porta d'ingresso di EVVIE al servizio di intelligenza artificiale per la valutazione dei danni ai veicoli, è fondamentale assicurarsi che l'app per le funzioni di Azure sia configurata per una scala massiccia. A seconda del consumo dell'organizzazione, può essere consigliabile distribuire in un piano dedicato per garantire la scalabilità.

• Servizio OpenAI di Azure: il modello OpenAI di Azure, chiamato dall'app per le funzioni, è essenziale per valutare e registrare i danni. È fondamentale assicurarsi che la distribuzione di OpenAI di Azure, su cui si basa l'API back-end, sia sempre operativa. Poiché OpenAI di Azure utilizza un sistema basato su token, è importante garantire che il modello utilizzato in EVVIE abbia una quota di token elevata per il periodo di utilizzo specificato.

Ottimizzazione dell'esperienza

Il team che ha sviluppato EVVIE ha dedicato tempo e sforzi significativi all'ottimizzazione dell'interfaccia utente e dell'esperienza utente per rendere intuitiva e facile per il personale ispezionare i veicoli e rivedere le ispezioni.

L'app di ispezione di EVVIE è una app canvas che può essere facilmente modificata attraverso una semplice interfaccia di selezione e trascinamento, simile a PowerPoint, per soddisfare al meglio le esigenze dell'organizzazione.

L'interfaccia presentata al personale amministrativo per la revisione di queste ispezioni è una app basata su modello con una pagina personalizzata, altrettanto facile da modificare in base alle specifiche esigenze.

Intelligenza artificiale responsabile

Caso d'uso non sensibile: l'applicazione EVVIE opera all'interno di un dominio non sensibile, riducendo significativamente il rischio che le distorsioni influiscano negativamente sulle ispezioni dei veicoli. Data la natura della valutazione dei danni ai veicoli, c'è uno spazio minimo per le distorsioni per influenzare i risultati.

IA generativa controllata: l'IA generativa controllata utilizzata da EVVIE utilizza funzionalità che vincolano le loro valutazioni in modelli predefiniti. Questa progettazione garantisce che l'IA fornisca risposte specifiche e fattuali come guidato dallo sviluppatore, limitando la creatività e concentrandosi su valutazioni accurate e coerenti.

Contributori

Microsoft mantiene questo articolo. I seguenti collaboratori hanno scritto questo articolo.

Autori principali:

• Tim Hanewich, Specialista tecnico di Power Platform
• Kelly Cason, specialista tecnico delle applicazioni aziendali

Passaggi successivi

Per un video dimostrativo, ulteriori spiegazioni su funzionalità, architettura, codice sorgente e altro ancora, visita EVVIE su GitHub all'indirizzo aka.ms/EVVIE.