Jaa

Automatisoi testaus agentin arvioinnilla

Kun tekoälyagentit ottavat kriittisiä rooleja liiketoimintaprosesseissa, luotettavien ja toistettavien testausten tarve muuttuu välttämättömäksi. Agentin arviointi antaa sinun luoda testejä , jotka simuloivat todellisia tilanteita agentillesi. Nämä testit kattavat enemmän kysymyksiä ja keskusteluja nopeammin kuin manuaalinen, tapauskohtaiset testaukset. Sen jälkeen voit mitata agenttisi vuorovaikutuksen tarkkuutta, merkitystä ja laatua niiden tietojen perusteella, joita agentti voi käyttää. Käyttämällä testisarjan tuloksia voit optimoida agenttisi käyttäytymisen ja varmistaa, että agentti täyttää liiketoimintasi ja laatuvaatimukset.

Miksi käyttää automatisoitua testausta?

Agentin arviointi tarjoaa automatisoitua, rakenteellista testausta. Se auttaa havaitsemaan ongelmat ajoissa, vähentää huonojen vastausten riskiä ja ylläpitää laatua agentin kehittyessä. Tämä prosessi tuo automaattisen, toistettavan laadunvarmistuksen muodon agentin testaukseen. Se varmistaa, että agentti täyttää liiketoimintasi tarkkuus- ja luotettavuusstandardit ja tarjoaa läpinäkyvyyttä sen suorituskykyyn. Sillä on erilaisia vahvuuksia kuin testichatin testaus.

Agenttien arviointi mittaa oikeellisuutta ja suorituskykyä, ei tekoälyn etiikkaa tai turvallisuusongelmia. Agentti saattaa läpäistä kaikki arviointitestit, mutta silti esimerkiksi antaa sopimattoman vastauksen kysymykseen. Asiakkaiden tulee edelleen käyttää vastuullisia tekoälytarkistuksia ja sisällön turvallisuussuodattimia; arvioinnit eivät korvaa kyseisiä arviointeja ja suodattimia.

Hallinnon yhteisöpilvipalvelun rajoitukset

Agenttien arvioinnilla Government Community Cloud (GCC) -ympäristöissä on seuraavat rajoitukset:

  • Tekijät eivät voi lisätä käyttäjäprofiilia testisetteihinsä. Valmistajat voivat kuitenkin edelleen suorittaa arviointeja ilman käyttäjäprofiilia.

  • Valmistajat eivät voi käyttää samankaltaisuustestimenetelmää arviointeissa. Kaikki muut testimenetelmät ovat saatavilla.

Miten agentin arviointi toimii

Copilot Studio käyttää testitapausta jokaisessa agentin arvioinnissa. Testitapaus on yksittäinen vuorovaikutus, joka simuloi sitä, miten käyttäjä olisi vuorovaikutuksessa agenttisi kanssa. Vuorovaikutus voi olla yksittäinen kysymys tai koko keskustelu.

Testitapaus voi myös sisältää vastauksen, jonka odotat välittäjäsi vastaavan. Esimerkiksi:

  • Kysymys: Mitkä ovat työaikasi?

  • Odotettu vastaus: Olemme avoinna maanantaista perjantaihin klo 9–17.

Agentin arvioinnin avulla voit luoda, tuoda tai kirjoittaa manuaalisesti joukon testitapauksia. Tätä testitapausten ryhmää kutsutaan testijoukoksi. Testijoukko mahdollistaa:

  • Suorita useita testitapauksia, jotka kattavat laajan kirjon ominaisuuksia samanaikaisesti, sen sijaan että kysyisit agentiltasi yhden kysymyksen kerrallaan.

  • Analysoi agenttisi suorituskykyä helposti omaksuttavan kokonaispistemäärän avulla ja tarkastele yksittäisiä testitapauksia.

  • Testaa agenttien muutoksia käyttämällä samaa testijoukkoa, joten sinulla on objektiivinen standardi suorituskyvyn muutosten mittaamiseen ja vertailuun.

  • Luo nopeasti uusia testisettejä tai muokkaa olemassa olevia vastaamaan muuttuvia agenttien ominaisuuksia tai vaatimuksia.

Jokainen testijoukko voi arvioida agenttiasi useilla testimenetelmillä samanaikaisesti.

Voit myös valita käyttäjäprofiilin, joka toimii stimuloivana käyttäjänä. Agentti voi olla konfiguroitu vastaamaan eri käyttäjille eri tavoin tai sallimaan pääsyn resursseihin eri tavoin.

Kun valitset testijoukon ja suoritat agenttiarvioinnin0> ja <, Copilot Studio lähettää kysymykset testitapauksissa, kirjaa agentin vastaukset, vertaa näitä vastauksia odotettuihin vastauksiin tai laatutasoon ja määrittää kullekin testitapaukselle pistemäärän. Voit myös nähdä yksityiskohdat, pöytäkirjan ja toimintakartan jokaisesta testitapauksesta sekä siitä, mitä resursseja agenttisi käytti vastauksen luomiseen.

Kattavan arviointistrategian luominen

Ennen kuin suoritat arviointeja, määritä agenttisi menestys ja päätä, mitkä skenaariot ovat tärkeitä liiketoiminnan tuloksille. Selkeän strategian avulla voit valita oikeat testimenetelmät, priorisoida suuren vaikutuksen testitapauksia ja tulkita tuloksia oikealla kontekstilla.

Testichat vs. agenttien arviointi

Jokainen testausmenetelmä antaa sinulle erilaisia näkemyksiä agenttisi ominaisuuksista ja käyttäytymisestä:

Testichat:

  • Vastaanottaa ja vastaa yhteen kysymykseen kerrallaan. On vaikea toistaa samoja testejä useaan otteeseen.

  • Mahdollistaa koko istunnon testaamisen, jossa on useita viestejä.

  • Mahdollistaa vuorovaikutuksen agenttisi kanssa käyttäjänä chat-käyttöliittymän avulla.

Agentin arviointi:

  • Voit luoda ja suorittaa useita testitapauksia kerralla käyttämällä testijoukkoa. Voit toistaa testejä testaamalla samalla testijoukolla.

  • Voi testata yhden kysymyksen ja yhden vastauksen testitapausta kohti tai yhden keskustelun testitapausta kohden. Hallitset kuitenkin keskusteluja vähemmän kuin käyttäessäsi testikeskustelua.

  • Valitse eri käyttäjäprofiileja simuloidaksesi eri käyttäjiä ilman, että sinun tarvitsee suorittaa vuorovaikutuksia itse.

Kun testaat agenttia, käytä sekä testichattia että agentin arviointia saadaksesi täydellisen kuvan agentistasi.

  • Last updated on