Utvärdera och jämföra modeller

När ett autoML-experiment (automatiserad maskininlärning) är klart vill du granska de modeller som har tränats och bestämma vilken som presterade bäst.

I Azure Machine Learning Studio kan du välja ett AutoML-experiment för att utforska dess information.

På sidan Översikt för AutoML-experimentkörningen kan du granska indatatillgången och sammanfattningen av den bästa modellen. Om du vill utforska alla modeller som har tränats kan du välja fliken Modeller :

Utforska förbearbetningssteg

När du har aktiverat funktionalisering för autoML-experimentet tillämpas även dataskyddsmekanismer automatiskt. De tre dataskyddsmekanismer som stöds för klassificeringsmodeller är:

• Detektering av klassbalansering.
• Imputering av saknade funktionsvärden.
• Identifiering av egenskaper med hög kardinalitet.

Var och en av dessa dataskyddsmekanismer visar ett av tre möjliga tillstånd:

• Godkänt: Inga problem har identifierats och ingen åtgärd krävs.
• Klar: Ändringarna har tillämpats på dina data. Du bör granska de ändringar som AutoML har gjort i dina data.
• Avisering: Ett problem upptäcktes men kunde inte åtgärdas. Du bör granska data för att åtgärda problemet.

Bredvid dataskyddsmekanismer kan AutoML använda skalnings- och normaliseringstekniker för varje modell som tränas. Du kan granska tekniken som används i listan över modeller under Algoritmnamn.

Till exempel kan algoritmnamnet för en modell i listan vara MaxAbsScaler, LightGBM. MaxAbsScaler refererar till en skalningsteknik där varje funktion skalas med sitt högsta absoluta värde. LightGBM refererar till den klassificeringsalgoritm som används för att träna modellen.

Hämta den bästa körningen och dess modell

När du granskar modellerna i AutoML kan du enkelt identifiera den bästa körningen baserat på det primära mått som du angav. I Azure Machine Learning Studio sorteras modellerna automatiskt för att visa modellen med bäst prestanda högst upp.

På fliken Modeller i AutoML-experimentet kan du redigera kolumnerna om du vill visa andra mått i samma översikt. Genom att skapa en mer omfattande översikt som innehåller olika mått kan det vara enklare att jämföra modeller.

Om du vill utforska en modell ytterligare kan du generera förklaringar för varje modell som har tränats. När du konfigurerar ett AutoML-experiment kan du ange att förklaringar ska genereras för modellen med bästa prestanda. Om du däremot är intresserad av tolkningen av en annan modell kan du välja modellen i översikten och välja Förklara modell.

AutoML ger dig en stark startpunkt – den söker brett och visar den bästa algoritmen och förbearbetningskombinationen för dina data. Men ibland vill du gå vidare: justera hyperparametrar, skapa anpassade funktioner eller testa en metod som AutoML inte täcker. Det är där anteckningsböcker kommer in.