Revolusjonerer kjøretøyinspeksjoner med EVVIE

Enterprise Visual Vehicle Inspection Engine (EVVIE) bruker AI og Microsoft Power Platform til å revolusjonere kjøretøyinspeksjonsprosessen. Ved å automatisere inspeksjoner sparer EVVIE tid og forbedrer nøyaktigheten, noe som gjør det til et uvurderlig verktøy for organisasjoner som administrerer store kjøretøyflåter. Denne artikkelen gir en oversikt over EVVIEs arkitektur, arbeidsflyt og nøkkelkomponenter, og gir innsikt i hvordan denne innovative løsningen kan effektivisere kjøretøyinspeksjoner og vedlikehold.

Hvis du vil se en demo og mer informasjon om EVVIE, kan du gå til aka.ms/EVVIE.

Arkitekturdiagram

Workflow

EVVIE bruker en unik blanding av Power Platform og Microsoft Azure ressurser til å automatisere kjøretøyinspeksjonsprosessen ved hjelp av avanserte AI-modeller. På et høyt nivå er EVVIEs interne prosess som følger:

1. En Power Apps lerretsapp fungerer som grensesnittet for å tillate brukere å samle inn bilder av kjøretøyskader som en del av en kjøretøyinspeksjon. Bilder er kodet som en base64-streng.

2. Appen bruker en egendefinert kobling til å gi bildene som er tatt, til en egendefinert API, en .NET-basert Azure funksjonsapp.

3. Funksjonsappen mottar og analyserer HTTP API-kallet fra appen, henter bildene og grensesnittene med en flermodal språkmodell i Azure OpenAI Service. Modellen gjennomgår bildene og klassifiserer skaden i tre felter: bilområde, alvorlighetsgrad og generell beskrivelse av skaden.

4. Inspeksjonsappen mottar svaret fra funksjonsappen og presenterer den AI-opprettede skadevurderingen for brukeren, som kan godta, endre eller avvise vurderingen. Brukeren fullfører vurderingen og sender den inn for det gitte kjøretøyet. Vurderingen er sikkert lagret i Dataverse.

5. En modelldrevet app med egendefinerte sider lar administratorer se gjennom kjøretøyinspeksjonsdata.

Komponenter

Microsoft Dataverse: Datavers lagrer alle data som samles inn som en del av kjøretøyinspeksjoner, for eksempel bilder av skade, rangering av alvorlighetsgrad og beskrivelser.

Power Apps: Ansatte i feltet som inspiserer kjøretøyene, og de administrative ansatte som gjennomgår inspeksjonene, bruker apper som er innebygd Power Apps, Microsoft ikke-kode/lavkodeprogramutviklingsrammeverk.

Egendefinert kobling: En egendefinert kobling lar EVVIE-appen for mobilkjøretøyinspeksjon (brukes av personale som inspiserer kjøretøy i felten) kalle opp en serverdeltjeneste som bruker avansert kunstig intelligens til å vurdere bildene som følger med.

Azure Functions: Azure Functions, Microsoft hendelsesdrevne serverløse databehandlingsplattform, fungerer som en nett-API som EVVIE-appen kan ringe ved hjelp av en HTTP-forespørsel via den egendefinerte koblingen. Azure funksjonsappen mottar bildene gjennom API-kallet, bruker en avansert AI-modell til å vurdere skade og returnerer vurderingen til appen.

Azure OpenAI Service: EVVIE bruker en flermodal AI-modell til å vurdere skaden i angitte bilder og klassifisere den i tre felt: alvorsgrad (1-5), kjøretøyområde (for eksempel dører, frontrute, frontstøtfanger) og beskrivelse av skade. Mens enhver fremtidig multimodal språkmodell kan brukes (det vil si «o1» eller «o3» når de er tilgjengelige), brukes GPT-4o i skrivende stund.

Scenariodetaljer

EVVIE hjelper organisasjoner med store kjøretøyflåter med å administrere regelmessige inspeksjoner og vedlikehold. Rutineinspeksjoner tar tid og distraherer personalet fra mer verdifullt arbeid.

For å lette denne byrden og spare tid, bruker EVVIE avansert multimodal generativ kunstig intelligens for automatisk å vurdere og logge kjøretøyskader. I stedet for å manuelt dokumentere hvert tilfelle av skade, gir medarbeiderne EVVIE et bilde. Fra dette ene bildet vurderer EVVIE skaden, logger plasseringen på kjøretøyet, bestemmer alvorlighetsgraden og gir en kort beskrivelse.

EVVIE er inspirert av samtaler med LA County Sheriff's Department, som administrerer en flåte med tusenvis av kjøretøy. Tradisjonelt måtte hver offiser undersøke kjøretøyet sitt med penn, papir og utklippstavle før de startet skift, dokumentere eventuelle skader og sende inn denne informasjonen til sin overordnede. Imidlertid ble denne rutinemessige inspeksjonen ofte oversett på grunn av presserende plikter, og etterlot liten tid til en tungvinn 20-minutters inspeksjon.

Ved hjelp av EVVIE trenger offiserer bare å åpne en app på telefonen og ta et bilde av kjøretøyet. AI dokumenterer skaden og rapporterer den til lederen, og fjerner behovet for papirbaserte prosesser.

Vurderinger

Disse hensynene tar i bruk prinsippene i Power Platform Well-Architected, et sett med veiledende prinsipper som forbedrer kvaliteten på en arbeidsbelastning. Finn ut mer i Microsoft Power Platform Well-Architected.

Pålitelighet

Hver Microsoft skybasert komponent i EVVIE-arkitekturen er utformet for eksepsjonell pålitelighet, slik at den konsekvent oppfyller kritiske mål for oppetid og gjenoppretting. Denne påliteligheten oppnås gjennom skalerbar redundans, noe som gir robust ytelse og motstandsdyktighet.

Sikkerhet

Den Azure Functions-baserte nett-API-en som grensesnitt med appen, inneholder ingen sikkerhetsprotokoller for EVVIE-bevis på konseptbygging. Alle som er klar over de unike API-endepunktene (URL-ene), kan potensielt få tilgang til EVVIEs back-end-tjeneste.

I en produksjonsdistribusjon er det viktig for systemintegratoren å implementere et standard godkjenningslag, for eksempel nøkkelbasert godkjenning gjennom Azure API Management. Slike sikkerhetstiltak sikrer at back-end API-tjenesten bare er tilgjengelig som tiltenkt av EVVIE-frontend-appen.

Driftskvalitet

Som et proof of concept er EVVIE bygget fra bunnen av med fiktive krav for å vise frem teknologiens evne til å vurdere kjøretøyskader. Hvert aspekt, fra inspeksjonsprosessen til kriteriene EVVIE evaluerer - skadeområde, alvorlighetsgrad, beskrivelse og de spesifikke områdene av kjøretøyet der skade kan identifiseres - kan og bør tilpasses for å møte de unike behovene til enhver organisasjon som distribuerer EVVIE.

En systemintegrator kan for eksempel:

• Juster de spesifikke områdene på et kjøretøy der EVVIE kan identifisere skade.
• Finjuster systemledeteksten som brukes til å instruere modellen.
• Implementer et minimum antall krav til bilder.

Disse modifikasjonene sikrer at EVVIE fungerer optimalt og tilpasser seg organisasjonens spesifikke behov.

Ytelseseffektivitet

To potensielle flaskehalser kan påvirke EVVIEs skalerbarhet betydelig:

• Azure Functions-basert API: Som EVVIE inngangsdør til AI-tjenesten for skadevurdering av kjøretøy, er det avgjørende å sikre at Azure funksjonsappen er konfigurert for massiv skala. Avhengig av organisasjonens forbruk kan distribusjon til en dedikert plan være tilrådelig for å sikre skalerbarhet.

• Azure OpenAI Service: Azure OpenAI-modellen, kalt av funksjonsappen, er avgjørende for å vurdere og logge skade. Det er viktig å sikre at Azure OpenAI-distribusjon, som serverdel-API-en er avhengig av, alltid er operativ. Siden Azure OpenAI bruker et tokenbasert system, er det viktig å garantere at modellen som brukes i EVVIE har en høy tokenkvote for den gitte bruksperioden.

Opplevelsesoptimalisering

Teamet som utviklet EVVIE viet betydelig tid og krefter på å optimalisere brukergrensesnittet og brukeropplevelsen for å gjøre det intuitivt og enkelt for ansatte å inspisere kjøretøy og gjennomgå inspeksjoner.

EVVIE inspeksjonsapp er en lerretsapp som enkelt kan endres gjennom et enkelt utvalg-og-dra-grensesnitt, på samme måte som PowerPoint, for bedre å møte organisasjonens behov.

Grensesnittet som administrative ansatte bruker til å gjennomgå disse inspeksjonene, er en modelldrevet app. Den egendefinerte siden er enkel å endre for å tilpasse bestemte krav.

Ansvarlig kunstig intelligens

Ikke-sensitive brukstilfeller: EVVIE-programmet opererer innenfor et ikke-sensitive domene, noe som reduserer risikoen for bias negativt påvirker kjøretøyinspeksjoner. Gitt arten av kjøretøyets skadevurdering, er det minimalt rom for skjevhet for å påvirke utfallet.

Kontrollert generativ kunstig intelligens: De generative AI-modellene som EVVIE bruker, inkluderer funksjoner som begrenser vurderingene deres til forhåndsdefinerte maler. Denne utformingen sikrer at AI gir spesifikke, faktiske svar som følger utviklerretningslinjer, begrenser kreativitet og støtter nøyaktige, konsekvente vurderinger.

Bidragsytere

Microsoft vedlikeholder denne artikkelen. Følgende bidragsytere skrev denne artikkelen.

Hovedforfattere:

• Tim Hanewich, teknisk spesialist på Power Platform
• Kelly Cason, teknisk spesialist på forretningsprogrammer

Neste trinn

Hvis du vil ha en demovideo, ytterligere forklaring av funksjonalitet, arkitektur, kildekode og mer, kan du gå til EVVIE på GitHub på aka.ms/EVVIE.