Mullista ajoneuvojen tarkastukset EVVIE:n avulla

Enterprise Visual Vehicle Inspection Engine (EVVIE) käyttää tekoälyä ja Microsoft Power Platform ajoneuvojen tarkastusprosessin mullistamiseen. Automatisoimalla tarkastukset EVVIE säästää aikaa ja parantaa tarkkuutta, mikä tekee siitä korvaamattoman työkalun suuria ajoneuvokantoja hallinnoiville organisaatioille. Tämä artikkeli tarjoaa yleiskatsauksen EVVIEn arkkitehtuurista, työnkulusta ja avainkomponenteista sekä tietoa siitä, miten tämä innovatiivinen ratkaisu voi virtaviivaistaa ajoneuvojen tarkastuksia ja huoltoa.

Esittely ja lisätietoja EVVIEstä: aka.ms/EVVIE.

Arkkitehtuurikaavio

Workflow

EVVIE käyttää ainutlaatuista Power Platform - ja Microsoft Azure -resurssien yhdistelmää automatisoidakseen ajoneuvojen tarkastusprosessin kehittyneiden tekoälymallien avulla. Korkealla tasolla EVVIEn sisäinen prosessi on seuraava:

1. Käyttöliittymänä toimii Power Apps kangassovellus, jonka avulla käyttäjät voivat kerätä valokuvia ajoneuvovaurioista osana ajoneuvon tarkastusta. Kuvat koodataan base64-merkkijonona.

2. Sovellus käyttää mukautettua liitintä siepattujen kuvien tarjoamiseen mukautettuun ohjelmointirajapintaan, joka on .NET perustuva Azure -funktiosovellus.

3. Funktiosovellus vastaanottaa ja jäsentää HTTP-ohjelmointirajapinnan kutsun sovelluksesta, noutaa valokuvat ja käyttöliittymät Azure OpenAI Service monimuotokielellä. Malli tarkastaa valokuvat ja luokittelee vauriot kolmeen kenttään: auton alue, vakavuustaso ja vaurion yleinen kuvaus.

4. Tarkastussovellus vastaanottaa vastauksen toimintosovelluksesta ja esittää tekoälyn luoman vahinkoarvion käyttäjälle, joka voi hyväksyä, muokata tai hylätä arvioinnin. Käyttäjä viimeistelee arvioinnin ja lähettää sen kulloisenkin ajoneuvon osalta. Arviointi tallennetaan suojatusti Dataverseen.

5. Mukautettuja sivuja sisältävän mallipohjaisen mallin avulla järjestelmänvalvojat voivat tarkastella ajoneuvon tarkastustietoja.

Komponentit

Microsoft Dataverse: Dataverse tallentaa kaikki ajoneuvojen tarkastusten osana kerätyt tiedot, kuten vahingoista otetut valokuvat, vakavuustason sijoitukset ja kuvaukset.

Power Apps: Ajoneuvojen tarkastushenkilöstö ja tarkastukset tarkastava hallintohenkilöstö käyttävät Power Apps luotuja sovelluksia, Microsoft ns. koodittoman/vähäisen koodin sovelluskehityskehystä.

Mukautettu yhdistin: Mukautetun yhdistimen avulla ajoneuvojen mobiili EVVIE-tarkastussovellus (jota ajoneuvoja kentällä tarkastava henkilökunta käyttää) voi kutsua taustapalvelua, joka käyttää kehittynyttä tekoälyä toimitettujen valokuvien arviointiin.

Azure-funktiot: Azure-funktiot, Microsoft tapahtumapohjainen palvelimeton käsittelyympäristö toimii www-ohjelmointirajapintana, johon EVVIE-sovellus voi kutsua käyttämällä HTTP-pyyntöä mukautetun liittimen kautta. Azure-funktiosovellus vastaanottaa kuvat API-kutsun kautta, arvioi vahingot kehittyneen tekoälymallin avulla ja palauttaa arvioinnin sovellukselle.

Azure OpenAI Service: EVVIE arvioi annettujen kuvien aiheuttamat vahingot monimuotoisella tekoälymallilla ja luokittelee sen kolmeen kenttään: vakavuustaso (1–5), ajoneuvon alue (kuten ovet, tuulilasi, etupuskuri) ja vahingon kuvaus. Vaikka mitä tahansa tulevaa multimodaalista kielimallia voidaan käyttää (eli o1 tai o3, kun ne ovat laajalti käytettävissä), GPT-4o:ta käytetään tämän kirjoittamisen aikaan.

Skenaarion tiedot

EVVIE auttaa organisaatioita, joilla on suuri ajoneuvokanta, hallitsemaan säännöllisiä tarkastuksia ja huoltoja. Rutiinitarkastukset vievät aikaa ja vievät henkilöstön huomion arvokkaammasta työstä.

Tämän taakan keventämiseksi ja ajan säästämiseksi EVVIE käyttää kehittynyttä multimodaalista generatiivista tekoälyä ajoneuvon vaurioiden automaattiseen arviointiin ja kirjaamiseen. Sen sijaan, että jokainen vahinkotapaus dokumentoitaisiin manuaalisesti, henkilöstö toimittaa EVVIElle valokuvan. Tästä yksittäisestä kuvasta EVVIE arvioi vauriot, kirjaa niiden sijainnin ajoneuvossa, määrittää vakavuustason ja antaa lyhyen kuvauksen.

EVVIE on saanut inspiraationsa keskusteluista Los Angelesin piirikunnan sheriffin osaston kanssa, joka hallinnoi tuhansien ajoneuvojen laivastoa. Perinteisesti kunkin poliisin oli tutkittava ajoneuvot käyttäen kynää, paperia ja kirjoitusalustaa ennen vuoronsa aloittamista, dokumentoitava mahdolliset vauriot ja toimitettava nämä tiedot esihenkilölleen. Tämä rutiinitarkastus jäi kuitenkin usein sivuun kiireellisten tehtävien vuoksi, jolloin aikaa jäi vähän hankalalle 20 minuutin tarkastukselle.

Käyttämällä EVVIE:tä upseerien tarvitsee avata sovellus vain puhelimessaan ja ottaa kuva ajoneuvosta. Tekoäly dokumentoi vauriot ja raportoi niistä esimiehelle, jolloin paperipohjaisia prosesseja ei tarvita.

Huomioitavia seikkoja

Näillä näkökohdilla toteutetaan Power Platform Well-Architected -pilareita, joka on joukko ohjaavia periaatteita, jotka parantavat työkuorman laatua. Lue lisää artikkelista Microsoft Power Platform Well-Architected.

Luotettavuus

Jokainen EVVIE-arkkitehtuurin pilvipohjainen Microsoft-osa on suunniteltu erinomaiseen luotettavuuteen, jolla varmistetaan, että se täyttää johdonmukaisesti tärkeät käytettävyysaika- ja palautustavoitteet. Tämä luotettavuus saavutetaan skaalautuvalla redundanssilla, joka mahdollistaa vankan suorituskyvyn ja vikasietoisuutta.

Suojaus

EVVIEN soveltuvuusselvityksen kannalta Azure-funktiot perustuva verkko-ohjelmointirajapinta, joka käyttää sovelluksen käyttöliittymiä, ei sisällä suojausprotokollia. Kuka tahansa, joka tuntee yksilölliset API-päätepisteet (URL-osoitteet), voi mahdollisesti käyttää EVVIE:n taustapalvelua.

Tuotannon käyttöönotossa on tärkeää, että järjestelmäintegraaattori toteuttaa vakiotodentamistason, kuten avainpohjaisen todentamisen Azure API Management kautta. Tällaiset turvatoimet varmistavat, että taustasovellusliittymäpalvelua käytetään vain EVVIE-käyttöliittymäsovelluksen tarkoittamalla tavalla.

Toiminnallinen erinomaisuus

Soveltuvuusselvityksenä EVVIE luodaan alusta asti käyttäen kuvitteellisia vaatimuksia, millä osoitetaan tekniikan kyky arvioida ajoneuvojen vaurioita. Jokainen näkökohta tarkastusprosessista EVVIEn arvioimiin kriteereihin – vaurioalue, vakavuustaso, kuvaus ja ajoneuvon erityiset alueet, joilla vauriot voidaan paikantaa – voidaan ja pitäisi räätälöidä vastaamaan minkä tahansa EVVIE:tä käyttävän organisaation ainutlaatuisia tarpeita.

Järjestelmäintegraattori voi esimerkiksi:

• Säädä ajoneuvon tietyt alueet, joissa EVVIE voi tunnistaa vauriot.
• Tarkenna mallin ohjeistamiseen käytettävää järjestelmäkehotetta.
• Ota käyttöön vähimmäismäärä valokuvia koskevia vaatimuksia.

Nämä muutokset varmistavat, että EVVIE toimii optimaalisesti ja vastaa organisaation erityistarpeita.

Suoritustehokkuus

Kaksi mahdollista pullonkaulaa voivat vaikuttaa merkittävästi EVVIEn skaalautuvuuteen:

• Azure-funktiot perustuva ohjelmointirajapinta: Tekoälypalvelun etuovena ajoneuvovaurioiden arviointia varten on tärkeää varmistaa, että Azure-funktiosovellus on määritetty valtavaan mittakaavaan. Organisaation kulutuksesta riippuen skaalattavuuden varmistaminen voi olla suositeltavaa ottaa käyttöön varatussa palvelusuunnitelmassa.

• Azure OpenAI Service: Funktiosovelluksen kutsuma Azure OpenAI -malli on välttämätön vahinkojen arviointia ja kirjaamista varten. On tärkeää varmistaa, että Azure OpenAI -käyttöönotto, johon taustan ohjelmointirajapinta luottaa, on aina toimintakunnossa. Koska Azure OpenAI käyttää tunnuspohjaista järjestelmää, on tärkeää taata, että EVVIE:ssä käytetyllä mallilla on suuri tunnuskiintiö tietylle käyttökaudelle.

Käyttökokemuksen optimointi

EVVIEn kehittänyt tiimi käytti merkittävästi aikaa ja vaivaa käyttöliittymän ja käyttökokemuksen optimointiin, jotta henkilöstön olisi intuitiivista ja helppoa tarkastaa ajoneuvoja ja tarkastella tarkastuksia.

EVVIEN tarkastussovellus on pohjaan perustuva sovellus, jota voi helposti muokata yksinkertaisella, PowerPoint kaltaisella valinta- ja vedä-käyttöliittymällä, jotta se täyttää paremmin organisaation tarpeet.

Rajapinta, jota hallintohenkilöstö käyttää näiden tarkastusten tarkistamiseen, on mallipohjainen sovellus. Mukautettua sivua on helppo muokata sopimaan tiettyihin vaatimuksiin.

Vastuullinen tekoäly

Ei-herkät käyttötapaukset: EVVIE-hakemus toimii ei-herkällä alueella, mikä vähentää merkittävästi puolueellisuuden riskiä, joka voisi vaikuttaa kielteisesti ajoneuvojen tarkastuksiin. Kun otetaan huomioon ajoneuvon vaurioiden arvioinnin luonne, puolueellisuudelle on vain vähän tilaa vaikuttaa tuloksiin.

Hallittu generatiivinen tekoäly: EVVIEN käyttämiin luotuihin tekoälymalleihin kuuluu ominaisuuksia, jotka rajoittavat heidän arviointejaan ennalta määritettyihin malleihin. Tämä malli varmistaa, että tekoäly tarjoaa erityisiä, asiallisia vastauksia, jotka noudattavat kehittäjien ohjeita, rajoittavat luovuutta ja tukevat tarkkoja, johdonmukaisia arviointeja.

Avustajat

Microsoft ylläpitää tätä artikkelia. Seuraavat avustajat kirjoittivat tämän artikkelin.

Pääasialliset tekijät:

• Tim Hanewich, Power Platformin tekninen asiantuntija
• Kelly Cason, yrityssovellusten tekninen asiantuntija

Seuraavat vaiheet

Esittelyvideo, joka selittää tarkemmin toimintoja, arkkitehtuuria, lähdekoodia ja paljon muuta, on EVVIE on GitHub at aka.ms/EVVIE.