Multivariate Anomalieerkennung in Microsoft Fabric - Übersicht

Was ist die multivariate Anomalieerkennung?

Univariate Anomalieerkennung, die von der KQL-Funktion series_decompose_anomalies()implementiert wird, überwacht und erkennt Anomalien in einer einzelnen Variablen im Laufe der Zeit. Die Multivariate Anomaly Detection erweitert diesen Ansatz, indem Anomalien in der gemeinsamen Verteilung mehrerer Variablen im Laufe der Zeit erkannt werden, d. h. sie analysiert, wie sich die Variablen als Gruppe beziehen und beeinflussen, anstatt jede Variable isoliert zu untersuchen. Die Multivariate Anomalieerkennung ist nützlich, um den Zustand komplexer IoT-Systeme zu überwachen, Betrug bei Finanztransaktionen zu erkennen und ungewöhnliche Muster im Netzwerkdatenverkehr zu identifizieren.

Betrachten Sie beispielsweise ein System, das die Leistung einer Fahrzeugflotte überwacht. Das System sammelt Daten zu verschiedenen Metriken, z. B. Geschwindigkeit, Kraftstoffverbrauch und Motortemperatur. Durch die Gemeinsame Analyse dieser Metriken kann das System Anomalien erkennen, die nicht durch die Analyse der einzelnen Metriken sichtbar wären. Allein könnte ein Anstieg des Kraftstoffverbrauchs aus verschiedenen akzeptablen Gründen liegen. Eine plötzliche Erhöhung des Kraftstoffverbrauchs in Kombination mit einer Abnahme der Motortemperatur könnte jedoch auf ein Problem mit dem Motor hinweisen, selbst wenn jede Metrik allein im normalen Bereich liegt.

Wie können Sie multivariate Anomalien in Microsoft Fabric erkennen?

Die multivariate Anomalieerkennung in Fabric nutzt die leistungsstarken Spark- und Eventhouse-Engines auf einer gemeinsam genutzten persistenten Speicherebene. Die anfänglichen Daten können in ein Eventhouse aufgenommen und im OneLake verfügbar gemacht werden. Das Anomalieerkennungsmodell kann dann mithilfe des Spark-Moduls trainiert werden, und die Vorhersagen von Anomalien für neue Streamingdaten können mithilfe des Eventhouse-Moduls in Echtzeit durchgeführt werden. Die Verbindung dieser Engines, die dieselben Daten im freigegebenen Speicher verarbeiten können, ermöglicht einen nahtlosen Datenfluss von der Datenaufnahme über das Modelltraining bis hin zur Vorhersage von Anomalien. Dieser Workflow ist einfach und leistungsfähig für die Echtzeitüberwachung und Erkennung von Anomalien in komplexen Systemen.

Zwei End-to-End-Pfade sind verfügbar, und Sie können basierend auf der Komplexität Ihres Szenarios auswählen:

• Native Anomalieerkennung in Eventhouse für Livedaten: Führen Sie Anomalieerkennung direkt auf Streaming- und historischen Daten in Eventhouse-Tabellen aus, ohne individuelles Training oder Modellkonfiguration. Beginnen Sie mit diesem Pfad, wenn integrierte Modelle Ihren Anforderungen entsprechen und Sie den einfachsten Weg zu Erkenntnissen wünschen.
• Benutzerdefinierte multivariate Erkennung mithilfe eines in einem Notebook trainierten Modells: Verwenden Sie das in diesem Artikel beschriebene GAT-basierte Python-Paket, um in einem Notebook anhand historischer Daten ein benutzerdefiniertes Modell zu trainieren und anschließend neue Streamingdaten in Echtzeit über Eventhouse und KQL zu bewerten. Wählen Sie diesen Pfad aus, wenn Sie einen maßgeschneiderten Algorithmus oder ein spezielles Szenario benötigen, das die nativen Modelle nicht abdecken.

native Eventhouse-Anomalieerkennung

Eventhouse unterstützt systemeigene Anomalieerkennung in Livetabellen, sodass Sie Streaming- und Verlaufsdaten direkt analysieren können, ohne Daten zu verschieben oder ein benutzerdefiniertes Modell zu trainieren. Verwenden Sie diese Option, wenn Sie einen schnellen Start mit integrierten Algorithmen benötigen. Wählen Sie den benutzerdefinierten multivariaten Pfad aus, der folgt, wenn Sie einen maßgeschneiderten Algorithmus oder eine spezielle Konfiguration benötigen.

Lösungskomponenten

Diese Lösung basiert auf den folgenden Komponenten:

• Eventhouse: Die Daten werden zunächst in ein Eventhouse aufgenommen, bei dem es sich um ein Echtzeitdatenverarbeitungsmodul handelt, das Datenströme mit hohem Durchsatz verarbeiten kann.
• OneLake: Daten aus dem Eventhouse werden im OneLake verfügbar gemacht, was eine gemeinsam genutzte persistente Speicherebene ist, die eine einheitliche Ansicht der Daten bereitstellt.
• Multivariate Anomaly Detection Package: Die Lösung verwendet das Python-Paket zeitreihen-anomalie-detektor und implementiert einen erweiterten Algorithmus basierend auf einem Graph Attention Network (GAT), der die Korrelationen zwischen verschiedenen Zeitreihen erfasst und Anomalien in Echtzeit erkennt. Das GAT-Modell wird auf historische Daten trainiert, um die Beziehungen zwischen verschiedenen Zeitreihen zu erlernen. Das trainierte Modell kann angewendet werden, um Anomalien auf neue Streamingdaten vorherzusagen. Beachten Sie, dass dieser Algorithmus der ist, der im AI-Anomaliedetektordienst verwendet wird, der zurückgezogen wird. Weitere Informationen zum Algorithmus finden Sie im Blog und im Artikel.
• Fabric Notizbücher: Wird zum Offlinetraining des Anomalieerkennungsmodells für historische Daten und zum Speichern des trainierten Modells in der Registrierung der MLflow-Modelle von Fabric verwendet. Notizbücher unterstützen KQL, T-SQL, Python und Spark innerhalb desselben Arbeitsbereichs, wodurch einheitliche Exploration, Transformationen, Schulungen (für benutzerdefinierte Modelle) und Validierung von Anomalien für dieselben Eventhouse-gesicherten Daten ermöglicht werden.
• KQL-Abfrageset: Wird für die Echtzeitvorhersage von Anomalien für eingehende Daten verwendet.
• SQL-Analyseendpunkt: Macht eine verwaltete T-SQL-Oberfläche verfügbar, die am Eventhouse-Datenmodell ausgerichtet ist. Sie können erkannte Anomalien und zugehörige Metriken abfragen, indem Sie T-SQL für nachgeschaltete Analysen und Integration in BI- oder Berichterstellungstools unter Fabric Governance verwenden.
• Integration von Datenagenten: In Eventhouse erkannte Anomalien können von Fabric-Datenagenten genutzt werden, um Echtzeit- und historische Signale zu analysieren. Die Kombination von Anomalieerkennung mit Datenagenten ermöglicht konversationsbasierte Analysen und automatisierte Workflows auf denselben Eventhouse-Daten.

Nächster Schritt