Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Windows ML accelera l'inferenza su unità di elaborazione neurale, GPU e CPU associando ONNX Runtime a provider di esecuzione ottimizzati per l'uso hardware. Per altre informazioni sui provider di esecuzione, vedere la documentazione sul runtime ONNX.
Note
L'utente è comunque responsabile dell'ottimizzazione dei modelli per hardware diverso. Windows ML gestisce la distribuzione del provider di esecuzione, non l'ottimizzazione del modello. Per altre informazioni sull'ottimizzazione, vedere AI Toolkit e onNX Runtime Tutorials (Esercitazioni sul runtime ONNX ).
Che cos'è un provider di esecuzione?
Un provider di esecuzione (EP) è un componente che consente ottimizzazioni specifiche dell'hardware per le operazioni di Machine Learning (ML). I provider di esecuzione astraggono diversi back-end di calcolo (NPU, GPU e CPU) e forniscono un'interfaccia unificata per il partizionamento dei grafi, la registrazione del kernel e l'esecuzione dell'operatore. Per altre informazioni, vedere la documentazione sul runtime ONNX.
Due modi per ottenere gli EP
Indirizzi IP di Windows ML: Usare le ExecutionProviderCatalog API per acquisire indirizzi IP certificati Windows che eseguono un rigoroso processo di test di certificazione e regressione e vengono aggiornati automaticamente. Per altre informazioni, vedere EPS di Windows ML .
Bring your own: Ottenete e fate riferimento ai binari EP manualmente, consentendo il supporto per ambienti offline, dispositivi gestiti o requisiti rigorosi di blocco della versione. Per ulteriori informazioni, vedere Bring Your Own EPs.
Per i compromessi, vedi Windows ML EPs vs. bring-your-own.
Mappatura da silicio a EP
| Silicio | Fornitori di esecuzione | Caso d'uso tipico |
|---|---|---|
| NPU | OpenVINO (Intel) QNN (Qualcomm) VitisAI (AMD) |
Inferenza efficiente dal punto di vista energetico e sostenuta sul dispositivo nei PC Copilot+ |
| GPU | MIGraphX (AMD) NvTensorRtRtx (NVIDIA) OpenVINO (Intel) QNN (Qualcomm) DirectML (incluso - legacy) |
Carichi di lavoro immagine/video/GenAI ad alta capacità. |
| CPU | OpenVINO (Intel) ORT CPU EP (incluso) |
Fallback universale; bassa latenza per i modelli di piccole dimensioni |
Vedere anche
- Provider di esecuzione di Windows ML : indirizzi IP disponibili tramite Windows ML
- Indirizzi IP di Windows ML e bring-your-own : scegliere la strategia di approvvigionamento ep appropriata
- Installare gli EP di Windows ML
- Registrare gli EP di Windows ML
- Selezionare i provider di esecuzione