Vad är Windows ML?

Windows ML är det enhetliga och högpresterande lokala AI-inferensramverket för Windows, som drivs av ONNX Runtime. Med Windows ML kan du köra AI-modeller lokalt och påskynda slutsatsdragningen på NPU:er, GPU:er och processorer via valfria körningsproviders som Windows hanterar och håller uppdaterade. Du kan använda modeller från PyTorch, TensorFlow/Keras, TFLite, scikit-learn och andra ramverk med Windows ML.

Viktiga fördelar

Windows ML gör det enkelt att föra in AI-slutsatsdragning i alla Windows-appar:

• Kör AI på enheten – modeller körs lokalt på användarens maskinvara, håller data privata, eliminerar molnkostnader och arbetar utan internetanslutning.
• Använd modeller som du redan har – ta med modeller från PyTorch, TensorFlow, scikit-learn, Hugging Face med mera.
• Maskinvaruacceleration, som underlättas av Windows – Med Windows ML kan du komma åt IHV-specifika NPU:er, GPU:er och processorer via körningsleverantörer som Windows installerar och håller sig uppdaterade via Windows Update – inget behov av att paketera körningsleverantörerna i din app.
• En körtid, många appar – du kan också använda Windows ML som en delad systemkomponent, så att din app förblir liten och alla appar på enheten delar samma uppdaterad körtid, istället för att varje app paketerar sin egen kopia.
• Bästa prestanda i klassen – Windows ML levererar prestanda till metall på NPU:er och GPU:er, i nivå med dedikerade SDK:er som TensorRT för RTX eller Qualcomms AI Engine Direct. Prestandaresultaten varierar beroende på maskinvarukonfiguration och modell – se Accelerera AI-modeller för maskinvaruspecifik vägledning.

Varför ska du använda Windows ML i stället för Microsoft ORT?

Windows ML är den Windows-stödda och underhållna kopian av ONNX Runtime (ORT), tillgänglig som en systemomfattande kopia eller fristående:

• Samma ONNX-API:er – inga ändringar i din befintliga ONNX Runtime-kod
• Windows-stöd – stöds och underhålls av Windows-teamet
• Brett maskinvarustöd – körs på Windows-datorer (x64 och ARM64) och Windows Server med valfri maskinvarukonfiguration
• Valfri mindre appstorlek – välj ramverksberoende distribution och dela körningen mellan appar i stället för att paketera din egen kopia
• Valfria kontinuerliga uppdateringar – välj ramverksberoende distribution och dina användare får alltid den senaste körmiljön via Windows Update

Dessutom gör Windows ML att din app dynamiskt kan skaffa de senaste exekveringsleverantörerna för att påskynda dina AI-modeller, utan att inkludera exekveringsleverantörerna i din app och skapa separata versioner för olika maskinvara.

Se Kom igång med Windows ML för att prova själv!

Maskinvaruacceleration på NPU, GPU och CPU

Med Windows ML kan du komma åt exekveringsleverantörer som kan påskynda inferenstolkningen över de tre olika silicon-komponentklasserna som finns på moderna Windows-datorer.

• NPU – batterieffektiv, varaktig slutsatsdragning på enheten, med de mest kraftfulla NPU:er som finns på Copilot+-datorer
• GPU – arbetsbelastningar med högt dataflöde, till exempel bild, video och generativ AI, vilket i allmänhet ger maximal prestanda på diskreta GPU:er
• CPU – universell reservlösning, plus IHV-optimerade CPU-accelereringar

För den fullständiga kisel-till-EP-mappningen, drivrutinskrav och EP-anskaffningsalternativ, se Accelerera AI-modeller.

Systemkrav

• OS: Version av Windows som Windows App SDK stöder
• Arkitektur: x64 eller ARM64
• Maskinvara: Alla datorkonfigurationer (processorer, integrerade/diskreta GPU:er, NPU:er)

Prestandaoptimering

Den senaste versionen av Windows ML fungerar direkt med dedikerade exekveringsleverantörer för GPU:er och NPU:er och ger låg-nivå prestanda som motsvarar de dedikerade SDK:erna från tidigare, till exempel TensorRT för RTX, AI Engine Direct och Intels tillägg för PyTorch. Vi har utformat Windows ML för att ha förstklassigA GPU- och NPU-prestanda, utan att kräva att din app distribuerar IHV-specifika SDK:er. Prestandaresultaten varierar beroende på maskinvarukonfiguration och modell – se Accelerera AI-modeller för maskinvaruspecifik vägledning.

Konvertera modeller till ONNX

Du kan konvertera modeller från andra format till ONNX så att du kan använda dem med Windows ML. Se dokumentationen för Foundry Toolkit för Visual Studio Code om hur du konverterar modeller till ONNX-formatet för att lära dig mer. Mer information om hur du konverterar PyTorch-, TensorFlow- och Hugging Face-modeller till ONNX finns i ONNX Runtime-självstudier .

Modelldistribution

Windows ML innehåller flexibla alternativ för att distribuera AI-modeller:

• Dela modeller mellan appar – Dynamiskt ladda ned och dela modeller mellan appar från valfri CDN utan att paketera stora filer
• Lokala modeller – Inkludera modellfiler direkt i programpaketet

Integrering med Windows AI-ekosystem

Windows ML utgör grunden för den bredare Windows AI-plattformen:

• Windows AI-API:er – Inbyggda modeller för vanliga uppgifter
• Foundry Local – färdiga AI-modeller
• Anpassade modeller – Direkt Windows ML API-åtkomst för avancerade scenarier

Att ge återkoppling

Har du hittat ett problem eller har du förslag? Sök efter eller skapa problem på Windows App SDK GitHub.

Nästa steg

• Köra AI-modeller – Installera Windows ML och kör din första ONNX-modell
• Påskynda AI-modeller – Lägga till NPU-, GPU- eller CPU-körningsproviders för snabbare slutsatsdragning
• Hitta eller träna modeller – Hitta modeller som är kompatibla med Windows ML
• API-referens – WinRT- och ONNX Runtime-API:er i paketet Microsoft.WindowsAppSDK.ML