Utvärdera modeller med Responsible AI-instrumentpanelen

  • 5 minuter

När du har tränat en modell i en notebook-fil vill du utvärdera den – inte bara för noggrannhet, utan även för rättvisa, transparens och tillförlitlighet. Instrumentpanelen för ansvarsfull AI i Azure Machine Learning sammanför dessa utvärderingar i en interaktiv vy.

Varför ansvarsfull AI är viktigt

Modeller används ofta när du fattar följdbeslut. Oavsett vad din modell förutsäger bör du överväga Microsofts sex principer för ansvarsfull AI:

Diagram över sammankopplade ikoner som representerar de sex ansvarsfulla AI-principerna: rättvisa, tillförlitlighet, säkerhet, sekretess, inkludering, transparens och ansvarsskyldighet.

  • Rättvisa: Se till att din modell ger rättvisa resultat genom att testa och minimera skadliga fördomar mellan grupper.
  • Tillförlitlighet och säkerhet: Skapa, testa och övervaka din modell så att den fungerar konsekvent och förhindrar osäkert beteende.
  • Sekretess och säkerhet: Skydda användardata genom minimal insamling och ansvarsfulla datahanteringsmetoder.
  • Inkludering: Utforma och utvärdera system så att personer med olika förmågor och bakgrunder kan använda dem effektivt.
  • Transparens: Förmedla tydligt hur din modell fungerar och hur dess utdata ska tolkas.
  • Ansvarstagande: Tilldela mänsklig tillsyn så att beslut som påverkas av AI förblir spårbara och styrda.

Skapa en instrumentpanel för ansvarsfull AI

Om du vill generera en instrumentpanel för ansvarsfull AI (RAI) skapar du en pipeline med hjälp av Azure Machine Learnings inbyggda RAI-komponenter. Pipelinen måste:

  1. Börja med RAI Insights dashboard constructor.
  2. Inkludera en eller flera RAI-verktygskomponenter för de insikter du behöver.
  3. Avsluta med Gather RAI Insights dashboard för att samla allt på en översiktspanel.

De tillgängliga RAI-verktygskomponenterna är:

  • Add Explanation to RAI Insights dashboard: Visar hur mycket varje funktion påverkar modellens förutsägelser.
  • Add Error Analysis to RAI Insights dashboard: Identifierar undergrupper med data där modellen gör fler fel.
  • Add Counterfactuals to RAI Insights dashboard: Utforskar hur ändringar i indata skulle ändra modellens utdata.
  • Add Causal to RAI Insights dashboard: Använder historiska data för att uppskatta funktionens kausala effekt på utfall.

Du kan skapa den här pipelinen med hjälp av Python SDK, CLI eller no-code-upplevelsen i Azure Machine Learning Studio.

Utforska instrumentpanelen

När pipelinen är klar kan du öppna Ansvarig AI-instrumentpanelen från pipelineöversikten eller från fliken Ansvarig AI i den registrerade modellen.

Skärmbild av en slutförd pipeline för att skapa instrumentpanelen för ansvarsfull AI i Azure Machine Learning Studio.

Du kan också hitta instrumentpanelen på fliken Ansvarsfull AI i den registrerade modellen.

Skärmbild av fliken Ansvarsfull AI för en registrerad modell i Azure Machine Learning Studio.

Tips/Råd

Välj varje flik nedan för att utforska vilken information varje RAI-komponent innehåller.

Felanalys visar hur förutsägelsefel distribueras i datauppsättningen. Du kan använda felträdskartan för att hitta kombinationer av undergrupper med högre felfrekvens eller felvärmekartan för att se fel i en eller två funktioner.

Skärmbild av en felträdskarta för en klassificeringsmodell i ansvarsfull AI-instrumentpanelen.

Skärmbild av en felvärmekarta för en klassificeringsmodell på instrumentpanelen Ansvarsfull AI.

Tips/Råd

Läs mer om instrumentpanelen för ansvarsfull AI i Azure Machine Learning.