Multivariatavvikelseidentifiering i Microsoft Fabric – översikt

Vad är multivariatavvikelseidentifiering?

Univariate-avvikelseidentifiering, som implementeras av KQL-funktionen series_decompose_anomalies(), övervakar och identifierar avvikelser i en enskild variabel över tid. Multivariatavvikelseidentifiering utökar den här metoden genom att identifiera avvikelser i den gemensamma fördelningen av flera variabler över tid, vilket innebär att den analyserar hur variablerna relaterar till och påverkar varandra som en grupp, i stället för att undersöka varje variabel isolerat. Multivariatavvikelseidentifiering är användbart för att övervaka hälsotillståndet för komplexa IoT-system, upptäcka bedrägerier i finansiella transaktioner och identifiera ovanliga mönster i nätverkstrafiken.

Tänk dig till exempel ett system som övervakar prestanda för en fordonsflotta. Systemet samlar in data om olika mått, till exempel hastighet, bränsleförbrukning och motortemperatur. Genom att analysera dessa mått tillsammans kan systemet identifiera avvikelser som inte skulle vara uppenbara genom att analysera varje mått individuellt. På egen hand kan en ökning av bränsleförbrukningen bero på olika godtagbara skäl. En plötslig ökning av bränsleförbrukningen i kombination med en minskning av motortemperaturen kan dock tyda på ett problem med motorn, även om varje mått på egen hand ligger inom det normala intervallet.

Hur kan du identifiera multivarierade avvikelser i Microsoft Fabric?

Multivariatavvikelseidentifiering i Fabric drar nytta av de kraftfulla Spark- och Eventhouse-motorerna ovanpå ett delat beständigt lagringslager. De första data kan matas in i ett Eventhouse och exponeras i OneLake. Modellen för avvikelseidentifiering kan sedan tränas med Spark-motorn, och förutsägelserna om avvikelser för nya strömmande data kan göras i realtid med hjälp av Eventhouse-motorn. Sammankopplingen av dessa motorer som kan bearbeta samma data i den delade lagringen möjliggör ett sömlöst flöde av data från inmatning, via modellträning, till förutsägelse av avvikelser. Det här arbetsflödet är enkelt och kraftfullt för realtidsövervakning och identifiering av avvikelser i komplexa system.

Lösningskomponenter

Den här lösningen förlitar sig på följande komponenter:

• Eventhouse: Data matas ursprungligen in i en Eventhouse, som är en databearbetningsmotor i realtid som kan hantera dataströmmar med högt dataflöde.
• OneLake: Data från Eventhouse exponeras i OneLake, som är ett delat beständigt lagringslager som ger en enhetlig vy över data.
• Paket för multivariatavvikelseidentifiering: lösningen använder python-paketet time-series-anomaly-detector och implementerar en avancerad algoritm baserad på ett diagramuppmärksamhetsnätverk (GAT) som fångar korrelationerna mellan olika tidsserier och identifierar avvikelser i realtid. GAT-modellen tränas på historiska data för att lära sig relationerna mellan olika tidsserier. Den tränade modellen kan användas för att förutsäga avvikelser för nya strömmande data. Observera att den här algoritmen är den som används i TJÄNSTEN AI-avvikelseidentifiering som dras tillbaka. Mer information om algoritmen finns i bloggen och tidningen.
• Spark Notebook: används för offlineträning av modellen för avvikelseidentifiering på historiska data och lagrar den tränade modellen i Fabric MLflow-modellregistret
• KQL-frågeuppsättning: används för realtidsförutsägelse av avvikelser på inkommande data.

Nästa steg