Freigeben über

Bewertung von Fehlern in maschinellen Lernmodellen

Eine der größten Herausforderungen bei den derzeitigen Verfahren zum Debuggen von Modellen ist die Verwendung aggregierter Metriken zur Bewertung von Modellen anhand eines Benchmarkdatasets. Die Modellgenauigkeit ist möglicherweise nicht einheitlich für alle Untergruppen von Daten, und es könnte Eingabekohorten geben, bei denen beim Modell häufiger Fehler auftreten. Diese Fehler führen zu einem Mangel an Zuverlässigkeit und Sicherheit, dem Auftreten von Fairnessproblemen und einem Vertrauensverlust in maschinellem Lernen insgesamt.

Diagramm, das ein Beispiel für die Genauigkeitsrate und Fehler für einen Benchmark und ein Machine Learning-Modell zeigt

Die Fehleranalyse entfernt sich von aggregierten Genauigkeitsmetriken. Sie macht die Fehlerverteilung für Entwickler transparent und ermöglicht es ihnen, Fehler effizient zu identifizieren und zu diagnostizieren.

Die Fehleranalysekomponente des Dashboards für verantwortungsbewusste KI bietet Praktikern des maschinellen Lernens ein tieferes Verständnis der Modellfehlerverteilung und hilft ihnen, fehlerhafte Datenkohorten schnell zu identifizieren. Diese Komponente identifiziert die Datenkohorten mit einer höheren Fehlerrate im Vergleich zur allgemeinen Benchmark-Fehlerrate. Sie trägt folgendermaßen zur Identifizierungsphase des Modelllebenszyklus-Workflows bei:

  • Entscheidungsstruktur, die Kohorten mit hohen Fehlerraten anzeigt
  • Wärmebild, das zeigt, wie sich Eingabefeatures auf die Fehlerrate in allen Kohorten auswirken

Fehlerabweichungen können auftreten, wenn das System bei bestimmten demografischen Gruppen oder selten beobachteten Eingabekohorten in den Trainingsdaten unterdurchschnittliche Leistungen erbringt.

Die Funktionen dieser Komponente stammen aus dem Fehleranalysepaket, das Modellfehlerprofile generiert.

Verwenden Sie die Fehleranalyse, wenn Sie Folgendes erreichen müssen:

  • Ein tiefes Verständnis dafür gewinnen, wie Modellfehler über ein Dataset und über mehrere Eingabe- und Featuredimensionen verteilt sind
  • Schlüsseln Sie die aggregierten Leistungsmetriken auf, um fehlerhafte Kohorten automatisch zu ermitteln, damit Sie gezielte Abhilfemaßnahmen ergreifen können.

Fehlerbaum

Fehlermuster sind häufig komplex und umfassen mehrere oder zwei Features. Möglicherweise haben Sie Schwierigkeiten, alle möglichen Kombinationen von Features zu untersuchen, um versteckte Datentaschen mit kritischen Fehlern zu entdecken.

Um den Aufwand zu verringern, unterteilt die Visualisierung der binären Struktur die Benchmarkdaten automatisch in interpretierbare Untergruppen, die unerwartet hohe oder niedrige Fehlerraten aufweisen. Mit anderen Worten: Der Baum verwendet die Eingabedaten, um Modellfehler maximal vom Erfolg zu trennen. Für jeden Knoten, der eine Datenuntergruppe definiert, können Sie die folgenden Informationen untersuchen:

  • Fehlerrate: Der Teil der Instanzen im Knoten, für den das Modell falsch ist. Die Visualisierung zeigt diesen Wert durch die Intensität der roten Farbe.
  • Fehlerabdeckung: Der Teil aller Fehler, die in den Knoten fallen. Die Visualisierung zeigt diesen Wert durch die Füllrate des Knotens.
  • Datendarstellung: Die Anzahl der Instanzen in jedem Knoten der Fehlerstruktur. Der Visualisierer zeigt diesen Wert durch die Dicke der eingehenden Edge zum Knoten an, zusammen mit der Gesamtzahl der Instanzen im Knoten.

Screenshot einer Fehleranalysestruktur, die Kohorten mit höheren oder niedrigeren Fehlerraten und -Abdeckungen zeigt

Fehler-Heatmap

In dieser Ansicht werden die Daten basierend auf einem eindimensionalen oder zweidimensionalen Raster von Eingabefeatures segmentiert. Sie können die Eingabefeatures auswählen, die für die Analyse von Interesse sind.

Um Ihre Aufmerksamkeit auf diese Regionen zu lenken, visualisiert die Heatmap die Zellen mit einer hohen Fehlerrate durch eine dunklere rote Farbe. Diese Funktion ist besonders dann von Vorteil, wenn die Fehlerthemen in den verschiedenen Partitionen unterschiedlich sind, was in der Praxis häufig vorkommt. In dieser Fehleridentifikationsansicht führen Ihre Kenntnisse oder Hypothesen die Analyse und helfen Ihnen zu verstehen, welche Features für das Verständnis von Fehlern am wichtigsten sein können.

Screenshot eines Fehleranalyse-Wärmebilds, das Modellfehler nach einem oder zwei Merkmalen unterteilt zeigt

Nächste Schritte

  • Last updated on