Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Windows ML acelera la inferencia entre NPUs, GPU y CPU mediante el emparejamiento del entorno de ejecución de ONNX con proveedores de ejecución (EP) optimizados por hardware. Para más información sobre los proveedores de ejecución, consulte los documentos de ONNX Runtime.
Note
Todavía es responsable de optimizar los modelos para diferentes hardware. Windows ML controla la distribución del proveedor de ejecución, no la optimización del modelo. Consulte Ai Toolkit y los tutoriales de onnx runtime para obtener más información sobre la optimización.
¿Qué es un proveedor de ejecución?
Un proveedor de ejecución (EP) es un componente que permite optimizaciones específicas del hardware para las operaciones de aprendizaje automático (ML). Los proveedores de ejecución abstraen distintos backends de computación (NPU, GPU y CPU) y proporcionan una interfaz unificada para la segmentación de grafos, el registro del kernel y la ejecución del operador. Para más información, consulte la documentación de ONNX Runtime.
Dos maneras de obtener direcciones IP
EP de Windows ML: Use las ExecutionProviderCatalog API para adquirir EP certificados por Windows que pasan por un proceso riguroso de certificación y pruebas de regresión y se actualizan automáticamente. Consulte EPs de Windows ML para conocer más detalles.
Traiga su propio: Obtenga y haga referencia a archivos binarios ep usted mismo, lo que permite la compatibilidad con entornos sin conexión, dispositivos administrados o requisitos estrictos de anclaje de versiones. Consulte Bring your own EPs (Traiga sus propios EPs ) para obtener más información.
Consulte EPs de Windows ML frente a bring-your-own para obtener ventajas.
Asignación de silicio a EP
| Silicio | Proveedores de ejecución | Caso de uso típico |
|---|---|---|
| NPU | OpenVINO (Intel) QNN (Qualcomm) VitisAI (AMD) |
Eficiencia de la batería, inferencia sostenida en el dispositivo en equipos de Copilot+ |
| GPU | MIGraphX (AMD) NvTensorRtRtx (NVIDIA) OpenVINO (Intel) QNN (Qualcomm) DirectML (incluido: heredado) |
Cargas de trabajo de imagen, vídeo y GenAI de alta capacidad |
| CPU | OpenVINO (Intel) ORT CPU EP (incluido) |
Mecanismo de respaldo universal; latencia reducida en modelos de menor escala |
Consulte también
- Proveedores de ejecución de Windows ML — EPs disponibles a través de Windows ML
- EP de Windows ML frente a traiga su propio : elija la estrategia de aprovisionamiento de EP adecuada.
- Instale EPs de Windows ML
- Registro de EPs de Windows ML
- Selección de proveedores de ejecución