Lag 2: Feil i Triage-agent

Når du tolker evalueringsresultater og identifiserer fokusområder, må du finne ut hvorfor individuelle testtilfeller mislyktes og hvem som må handle.

Denne artikkelen gir strukturert veiledning for diagnostisering av feil på testtilfellenivå. Det hjelper deg med å klassifisere grunnårsaken, skille mellom problemer med agent, evaluering og infrastruktur, og velge den aktuelle neste handlingen.

Før du starter

Før du begynner feilsøk:

1. Fullfør poengtolkningen og klargjøringsvurderingen, og identifiser hvilke evalueringssett som krever oppmerksomhet.
2. Fokuser på feil med høyest prioritet basert på beredskap og risiko.

Kontroll før triage: Bekreft infrastrukturtilstand

Før du diagnostiserer individuelle feil, må du bekrefte at avhengighetene var sunne under evalueringskjøringen. Infrastrukturproblemer kan gi feil som ser ut som agent- eller evalueringsproblemer, men som ikke er relatert til noen av dem.

Kontroller følgende betingelser:

• Kunnskapskilder er tilgjengelige og fullstendig indekserte.
• API-serverdel eller koblinger returnerer ikke feil, tidsavbrudd eller svar på rentegrense.
• Godkjenningstokener er gyldige gjennom hele kjøringen.
• Evalueringsmiljøet samsvarer med den tiltenkte agentkonfigurasjonen.

Hvis en avhengighet er usunn, kan du rette opp problemet og kjøre evalueringen på nytt før du fortsetter. Prioritering av resultater fra en dårlig testkjøring kan føre til feil konklusjoner.

Trinn 0: Prioritere feil

Før du triage individuelle testtilfeller, bestemmer du hvor du skal fokusere først.

Prioriter feil i denne rekkefølgen:

Hvis du har mange feil (for eksempel mer enn 15), må du ikke triage hver feil individuelt. Start med evalueringssettet med lavest poengsum, og se gjennom noen feil manuelt. Hvis de deler en grunnårsak, kan det løse mange feil samtidig.

Identifiser kvalitetssignalet for en mislykket test

Hvis et evalueringsresultat viser et mislykket testtilfelle, men ikke tydelig identifiserer kvalitetssignalet, bruker du evalueringssettet og karaktermetoden til å utlede signalet.

Eksempel:

• Evalueringssettet angir funksjonsområdet, for eksempel sikkerhet, jording eller verktøybruk.
• Karaktermetoden, for eksempel nøkkelordssvar eller rubrikkbasert poengsum, gir mer kontekst.

Identifisering av det tiltenkte kvalitetssignalet hjelper deg med å velge de mest relevante diagnosespørsmålene.

Trinn 1: Kontroller evalueringsoppsettet

For hver feil kan du manuelt se gjennom agentens faktiske svar sammen med den forventede verdien og graderingsmetoden.

Arbeid gjennom følgende spørsmål i rekkefølge. Stopp når du kommer til et resultat.

1. Er agentens svar akseptabelt? Ville en ekte bruker være fornøyd med dette svaret, selv om det mislyktes evalueringen?

   • Hvis Ja, har evalueringsoppsettet et problem: Graderingen eller den forventede verdien er feil.
   • Hvis nei, fortsetter du til neste spørsmål.

2. Er det forventede svaret gjeldende og nøyaktig mot kilden?

   • Hvis Ja, fortsetter du til neste spørsmål.
   • Hvis nei, har evalueringsoppsettet et problem: Det forventede svaret er utdatert eller feil.

3. Gjenspeiler testtilfellet realistiske brukerinndata?

   • Hvis Ja, fortsetter du til neste spørsmål.
   • Hvis nei, har evalueringsoppsettet et problem: Testtilfellet er urealistisk.

4. Kan et rimelig alternativt svar også være riktig, men klassingen tillater det ikke?

   • Hvis Ja, har evalueringsoppsettet et problem: Klassingen er for stiv og tar ikke hensyn til gyldige variasjoner.
   • Hvis nei, fortsetter du til neste spørsmål.

5. Passer evalueringsmetoden for det du tester?

   • Hvis Ja, er evalueringen gyldig. Gå videre til trinn 2: Diagnostisere agenten.
   • Hvis nei, har evalueringsoppsettet et problem: Evalueringsmetoden er ikke egnet for dette kvalitetssignalet.

Fastslå akseptabilitet for svar

Bruk følgende signaler til å avgjøre om agentsvaret er akseptabelt:

• Samme viktige fakta, ulike ordlyd → Ofte akseptabelt (klassing kan være for stiv).
• Mangler kritisk informasjon funnet i kilden → Ofte ikke akseptabelt.
• Tvetydig «god nok»-terskel → akseptkriterier kan være uklare (flagg for trinn 4).

Hvis du er usikker, kan du sammenligne innholdet med den opprinnelige kilden, ikke bare det forventede svaret.

Disse signalene informerer vurderingen din, men erstatter den ikke.

Vanlige feiltyper for evalueringsoppsett

Graderingsvalidering

Pålitelighet hos graderingssystemet er en forutsetning for pålitelig triage. Hvis klasseringsverktøyet er upålitelig, feildiagnostiserer du alle feil den kommer i kontakt med.

Slik validerer du graderingspålitelighet:

1. Velg 5-10 testtilfeller der du vet riktig bestått/mislykket resultat fra manuell gjennomgang.
2. Kjør evalueringen, og sammenlign graderingsutdataene med den manuelle dommen.
3. Hvis vurdereren er uenig i mer enn 20% av tilfellene, kan du kalibrere vurdereren på nytt før du feilsøker agenten.

Tegn en grader trenger oppmerksomhet:

• Det samme testtilfellet gir forskjellige dommer på tvers av kjøringer.
• Feilklynger i evalueringssett som bruker modellbasert gradering, mens deterministiske metoder består.
• Klassingen flagger problemer du ikke kan reprodusere ved å se gjennom agentresponsen.

Alternativer for graderingsrekalibrasjon:

• Bruk deterministiske metoder der det er mulig.
• Legg til eksplisitte eksempler på «akseptabelt» og «ikke akseptabelt» i rubrikken.
• Utvide nøkkelordsett for å inkludere synonymer og gyldige omformuleringer.
• Bruk Sammenlign mening i stedet for Nøkkelord-treff (Alle) for semantiske ekvivalenskontroller.

Trinn 2: Diagnostisere agenten

På dette tidspunktet er evalueringen gyldig, og agenten ga feil svar. Diagnostisere hva som gikk galt i agentkonfigurasjonen.

Se etter faktisk nøyaktighet og kunnskapsgrunningsfeil

Se etter feil ved aktivering av verktøy

Se etter feil i utløserruting

Se etter tone- og svarkvalitetsfeil

Se etter sikkerhets- og grensefeil

Se etter eskalering og smidig feil

Etter diagnostisering tilordner du feilmønstre til utbedringsstrategier etter grunnårsak.

Trinn 3: Identifisere plattformbegrensninger

Hvis evalueringen er riktig og rimelige konfigurasjonsendringer ikke forbedrer resultatene, kan problemet være en plattformbegrensning.

Plattformbegrensningsindikatorer

Handlingsbane for plattformbegrensninger

1. Dokumenter begrensningen tydelig (hva som mislykkes, hva du prøvde og bevis på at det ikke er konfigurasjonsrelatert).
2. Bruk en midlertidig løsning når det er mulig (for eksempel omstrukturer kildedokumentet for å forbedre hentingen).
3. Merk testtilfellet som en kjent begrensning eller juster terskler slik at den ikke blokkerer urelatert fremdrift.
4. Eskalere saken med dokumentasjon til plattformteamet.
5. Spor elementet i feilloggen for ny evaluering når plattformfunksjonene oppdateres.

Etter klassifisering kan du se gjennom midlertidig løsning og videreformidlingsveiledning for å svare på plattformbegrensninger.

Når en feil ikke passer til rammeverket

Noen feil tilordnes ikke rent til én enkelt grunnårsakstype. Vanlige eksempler inkluderer:

• Problemer med serverdeldatakvalitet: Kunnskapskildeinnholdet er teknisk korrekt, men tvetydig skrevet, så verken agenten eller evalueringen er feil.
• Uregelmessige infrastrukturproblemer: Nettverkstidsavbrudd, API-rentebegrensning og koblingsproblemer som ikke reproduserer konsekvent.
• Modellversjonsendringer: Agentvirkemåte endret etter en plattformmodelloppdatering som du ikke startet.
• Tvetydige testtilfeller: Scenarioet er tvetydig, og fornuftige mennesker er uenige om det riktige svaret.

Foreslått tilnærming: Dokumenter det du observerte (feilen, agentens svar, det du sjekket). Registrer elementet som «uklassifisert» i feilloggen. Hvis feilen oppstår igjen, blir den ofte klassifiserbar med ytterligere bevis.

Håndtering av sammensatte årsaker

En enkelt feil kan ha flere medvirkende årsaker. Eksempel:

• En faktisk nøyaktighetsfeil der det forventede svaret er litt utdatert (evalueringsoppsett) og kunnskapskilden også er ufullstendig (agentkonfigurasjon).
• En feil under aktivering av verktøy der verktøybeskrivelsen er tvetydig (agentkonfigurasjon) og orkestreringen støtter ikke betingede verktøykall (plattformbegrensning).

Foreslått tilnærming: Fullfør hele triage for hver feil. Hvis flere grunnårsakstyper gjelder, adresserer du dem i prioritert rekkefølge:

1. Løs evalueringen først for å få rent signal om agentendringen faktisk hjelper.
2. Løs agentkonfigurasjonen for å finne ut om den gjenværende feilen virkelig er et plattformproblem.
3. Dokumenter plattformbegrensningen bare etter at 1 og 2 er adressert.

Kjør berørte testtilfeller på nytt etter hver endring før du fortsetter.

Håndtering av feil med samtaler med flere runder

For scenarioer med flere svinger oppstår feil bare på tvers av svinger.

Når du skal mistenke et problem med flere sving

• Agenten svarer riktig i tidlige svinger, men motsier seg selv senere.
• Agenten mister konteksten fra et tidligere verktøyanrop eller kunnskapshenting senere.
• Eskaleringstidspunkt gir bare mening når du vurderer hele samtaleloggen.
• Agenttonen forringes gradvis etter hvert som samtalen forlenges.
• Agenten ber om informasjon som brukeren allerede har oppgitt.

Flere diagnosespørsmål

Veiledning for utbedring for problemer med flere runder

• Konteksttap: Kontroller konfigurasjon av samtaletilstand. Sørg for at verktøyutdata og viktige fakta vedvarer på tvers av svinger.
• Motsetninger: Legg til konsekvensinstruksjon, for eksempel: «Opprettholde konsekvens med tidligere svar i denne samtalen.»
• Spør på nytt: Kontroller plattformens konfigurasjon av samtaleminne.
• Nedbrytning av samtalekvalitet: Vurder samtaleoppsummering eller kontekstuell beskjæring.

Validerer bestått testtilfeller (falsk positiv kontroll)

Dette rammeverket fokuserer på mislykkede testtilfeller. Et testtilfelle som passerer feil, kan imidlertid skape skjulte kvalitetshull.

Anbefalt praksis: Se manuelt gjennom 5-10% bestått testtilfeller per evalueringskjøring, spesielt for:

• Modellbasert karaktersetting (høyere risiko for falske positiver)
• Subjektive signaler (tone, hjelpsomhet)
• Tidligere mislykkede tester som nå passerer etter en endring

Hvis du finner falske positiver, kan du kalibrere klassingen på nytt.

Neste trinn

Etter at du har fullført feilsortering:

• Bruk lag 3: Tilordne feilmønstre til utbedringsstrategier.
• Bruk lag 4: Analyser mønstre for å identifisere systemiske problemer.
• Se gjennom praktiske eksempler som viser hvordan rammelagene fungerer sammen i virkelige scenarier.