Kerros 4: Analysoi kuvioita ja paranna agenttiasi jatkuvasti

Kun olet arvioinut yksittäisiä testitapausvirheitä, saatat soveltaa korjauksia ja silti huomata vain vähän tai ei lainkaan parannusta agentin yleisessä suorituskyvyssä. Tämä tulos ilmaisee usein systeemisen ongelman, ei liittymättömien virheiden kokoelmaa.

Mallianalyysin avulla voit etsiä useita epäonnistuneita testitapauksia toistuvien signaalien ja jaettujen pääsyiden tunnistamiseksi. Mallianalyysin avulla voit keskittyä muutoksiin, jotka koskevat virheryhmiä kerralla kunkin eristyksen vian korjaamisen sijaan.

Tärkeää

Käytä näitä ohjeita, kun olet suorittanut vikojen priorisoinnin ja soveltanut korjaavia muutoksia. Mallianalyysista on eniten hyötyä, kun olet trikoinut vähintään viisi epäonnistumista.

Milloin mallianalyysia kannattaa käyttää?

Mallianalyysista on eniten hyötyä, kun huomioit yhden tai useampia seuraavista ehdoista:

  • Monta epäonnistumista samassa arviointijoukossa.
  • Toistuvia virheitä, joilla on samanlaisia oireita.
  • Parannuksia yksittäisiin testitapauksiin, joissa ei siirrellä kokonaispisteitä.
  • Parannuksia yhdelle alueelle, joka aiheuttaa regressiota toisella alueella.

Virheiden korjaaminen yksi kerrallaan on tehotonta näissä tilanteissa. Mallianalyysin avulla voit tunnistaa, mitä yhteisiä virheitä on, jotta voit selvittää pohjana olevan syyn.

Keskittymäanalyysi

Kun olet luokittelenut yksittäiset virheet, etsi kuvioita koko sarjasta.

Malli Mitä se ilmaisee Suositeltu toiminto
80% tai useampia virheitä ovat arvioinnin määritysongelmia Arviointiohjelmiston täytyy kalibroida, ei agentin muutoksia. Keskeytä agenttien iterointi. Valvo ja korjaa arvioinnin laatu ensin ja suorita sitten uudelleen saadaksesi puhtaan signaalin.
Vähintään 80% virheitä ovat agentin määritysongelmia yhdellä alueella (esimerkiksi kaikki tietoon liittyvät) Järjestelmällisen agentin määrityspuutteet Keskity alueen korjaamiseen. Tämä ongelma on usein arkkitehtoninen ongelma (esimerkiksi tietolähteen rakenne), ei yksittäisiä testitapauskorjauksia.
Vähintään 80% virheitä ovat käyttöympäristön rajoituksia Agentti saavuttaa alustan rajat Arvioi agenttialueen uudelleen. Eskaloi alustatiimille. Säädä raja-arvoja tai käsittele vaikutuksen kohteista tarvittaessa tunnetuiksi rajoituksiksi.
Epäonnistumiset jakautuvat tasaisesti pääsyytyyppien välillä Ei yksittäistä systeemistä ongelmaa Jatka korjaustapausta tapauskohtaisesti käyttämällä korjauskartan käyttöä.

Kuinka tehdä pitoisuusanalyysi

  1. Laske luokitellut virheet pääsyen tyypin mukaan:

    • Arvioinnin määritysongelmat
    • Agentin määritysongelmat
    • Alustan rajoitukset
    • Luokittelematon

  2. Laske kunkin tyypin prosenttiosuus.

  3. Jos yhden tyypin arvo on 80% tai sitä suurempi – mikä osoittaa järjestelmäongelman – korjaa luokka, ei yksittäisiä tapauksia.

  4. Jos agentin konfigurointiongelmat keskittyvät yhteen laadukkaaseen signaaliin (esimerkiksi viisi kuudesta on lähtötasoa), tämä kuvio osoittaa arkkitehtoniseen pääsyyyn.

Ristisignaalikuviot

Kun virheet ulottuvat useisiin arviointijoukkoihin, ne viittaavat usein jaettuun pääsyyyn. Etsi seuraavat mallit:

Malli Mitä se todennäköisesti tarkoittaa Mitä tutkia
Faktan tarkkuus ja tietämyksen pohjaaminen molemmat epäonnistuvat Tietolähdeongelma (väärä, puuttuva, käyttökelvoton tai vanhentunut) Tietämyksen määritys, indeksointitila ja sisällön tuoreus
Työkalujen kutsu ja käynnistimen reititys molemmat epäonnistuvat Orkestroinnin määritysongelma – aiheet ja työkalut eivät ole yhdistetty oikein Tarkista, miten aiheet ohjautuvat työkaluihin. Tarkista, onko työnkulku katkaistu tai väärin määritetty.
Sävy epäonnistuu, mutta tarkkuus täyttää vaatimukset Agentti saa oikean vastauksen, mutta toimittaa sen huonosti Keskity kehotetyyliohjeisiin; tarkkuusinfrastruktuuri on vakaa.
Turvallisuus hyväksytään, mutta tarkkuus epäonnistuu Agentti saattaa olla liian rajoitettu – liian varovainen, kieltäytyy vastaamasta, kun sen pitäisi Tutustu turvallisuusohjeisiin, jos haluat yli laajat rajoitukset, jotka estävät lailliset vastaukset.
Kaikki läpäisee lukuun ottamatta reunatapauksia Ydintoiminta on vakaata Keskity katteiden vahvuuden laajentamiseen; Tämä malli on hyvä merkki.
Tarkkuus paranee, mutta sävy heikkenee Ohjeristiriita – uudet tarkkuusohjeet saattavat tunkistaa sävyn ohjeistusta Tarkista viimeaikaiset kehotemuutokset ja pidä mielessä "ohjebudjetti".
Useat arvioinnit määrittävät kaikki heikkenemään samanaikaisesti Todennäköisesti yksittäinen pääsyy, jolla on laaja vaikutus Tarkista uusimmat järjestelmäkehotteen muutokset, tietolähdepäivitykset tai ympäristömallin päivitykset.

Mitä tehdä ristisignaalien kuvioilla?

  1. Jaetun pääsyyn tunnistaminen: Jos kaksi signaalia epäonnistuu yhdessä, niillä on todennäköisesti sama riippuvuussuhde, kuten tietolähde, kehoteosio tai työkalumääritys.
  2. Korjaa jaettu riippuvuus: Älä korjaa kutakin signaalia erikseen.
  3. Suorita molemmat arviointijoukot uudelleen: Vahvista korjauksen jälkeen, että molemmat joukot parantavat.
  4. Jos vain yksi parantaa, signaalit eivät varsinaisesti jaa pääsyytä. Triage jäljellä olevat epäonnistumiset itsenäisesti.

Iteraatioiden trendianalyysi

Seuraa, miten pisteet muuttuvat iterointijaksoissasi, jotta ymmärrät, toimiiko korjausstrategia.

Trendi Tulkinta Toiminto
Pisteet paranevat iteroinneissa Korjaus on toimimassa Jatka, kunnes raja-arvot täyttyvät.
Pisteet tasaiset muutoksista huolimatta Korjaus ei kohdistu todelliseen pääsyyseen Uudelleenpriorisointi; juurisyyn luokitus voi olla virheellinen.
Pisteet heikkenee muutoksen jälkeen Regressio – muutos rikkoi jotakin Peruuta muutos. Tutki, mitä regressiota ja miksi.
Yksi arviointijoukko paranee, toinen heikkenee Kompromissi – yhden dimension korjaaminen vahingoittaa toista Tutki kytkintä, jonka syynä on usein ohjeristiriita (katso matka 3).
Suoritusten välillä vaihtelu (enemmän kuin +/-10% varianssi) Lajittelijan epävakautta tai agentin epädeterminismiä Vahvista ensin luokkaluokittajan luotettavuus (viittaa Grader-vahvistukseen). Suorita vähintään kolme kertaa iterointia kohti.

Trendinäkymän luominen

Jokaisen iteraation jälkeen tallenna:

  • Pvm
  • Tehty muutos
  • Arviointikokoelma
  • Pisteet ennen
  • Pisteet jälkikäteen
  • Delta

Näiden tietojen avulla voit

  • Varmista, että olet lähestymässä raja-arvoja
  • Tunnista regressiot nopeasti
  • Havaitse tasangot varhaisessa vaiheessa (Journey 2)

Dokumentoidut epäonnistumiset

Jäsennettyjen epäonnistumisten tietueet luovat institutionaalista tietämystä iterointijaksoissa. Ilman ohjeita tiimit toistavat usein samaa tutkimustyötä.

Miksi asiakirjan virheet

  • Nopeuta tulevia triage-prosessia: Tunnistat tunnetut virhemallit välittömästi.
  • Eskalointinäyttöjen rakentaminen: Alustan rajoitustietueiden kerääminen, jotta käyttöympäristötiimille saadaan vahvempia tapauksia.
  • Ota tiimin oppiminen käyttöön: Loki auttaa estämään päällekkäisiä tutkimuksia, kun useat ihmiset työskentelevät saman agentin parissa.
  • Seuraa tunnettuja aukkoja: Älä unohda seurata virheitä, jotka on luokiteltu nimellä "ei korjaa" tai "tunnettu rajoitus".

Virhelokimallin käyttäminen

Virhelokimallin avulla voit tallentaa virheitä kevyessä tai yksityiskohtaisessa muodossa tiimin koon ja prosessin erääntymisen mukaan.

Tallennettava

Tallenna vähintään seuraavat tiedot kustakin kolminaista virheestä:

  1. Testitapaus epäonnistui.
  2. Mikä pääsyytyyppi sen luokitteli.
  3. Erityisesti se, mikä meni vikaan .
  4. Mitä muutit sen korjaamiseksi.
  5. Toimiko korjaus.

Jos virheitä ei ole ratkaistu, tallenna myös:

  • Mitä kokeilit tähän mennessä.
  • Miksi se on yhä ratkaisematta.
  • Milloin arvioidaan uudelleen (esimerkiksi "ympäristön päivityksen jälkeen X").

Jatkuvan parantamisen työnkulku

Käytä tätä tarkistusluetteloa jokaisen triage- ja korjausjakson jälkeen varmistaaksesi, että tallensit tulokset ja seuraavat vaiheet.

Iteraation jälkeinen tarkistusluettelo

Valmis? Tehtävä
✓ Tallenna kaikki lajittelun läpikäyneet virheet virhelokiin.
✓ Tunnista ja ota muistiin juurisyykeskitykset.
✓ Tarkista signaalien välityskuviot.
✓ Kirjaa trendien seurannan pisteet.
✓ Dokumentoi tunnetut rajoitukset ja kiertotavat.
✓ Määritä seuraavat iteroinnin prioriteetit jäljellä olevien virheiden perusteella.
✓ Määritä uudelleensuoritusajastin (mitkä arviointijoukot, milloin).

Milloin iterointi kannattaa lopettaa

Lopeta iterointi, kun:

  • Kaikki arviointijoukot ovat raja-arvojen yläpuolella.
  • Dokumentoit tunnettuja aukkoja.
  • Pisteet ovat yhdenmukaiset (< 5% varianssi).
  • Ei avoimen agentin määritysongelmia signaalien estämiselle.

Älä lopeta iteroimista, kun:

  • Et tutkinut jatkuvia virheitä.
  • Poistit kovat testitapaukset, jotta raja-arvot saavutettaisiin.
  • Et dokumentoinut käyttöympäristön rajoituksia.

Lisätietoja on artikkelissa Määritä, milloin iterointi on valmis.

Seuraavat vaiheet

  • Last updated on