Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
O Windows ML acelera a inferência entre NPUs, GPUs e CPUs ao emparelhar o ONNX Runtime com fornecedores de execução (EPs) ajustados ao hardware. Para saber mais sobre os fornecedores de execução, consulte a documentação do Runtime do ONNX.
Note
Você ainda é responsável por otimizar seus modelos para diferentes hardwares. O Windows ML lida com a distribuição do provedor de execução, não com a otimização do modelo. Consulte AI Toolkit e os tutoriais do ONNX Runtime para obter mais informações sobre otimização.
O que é um provedor de execução?
Um provedor de execução (EP) é um componente que permite otimizações específicas de hardware para operações de aprendizado de máquina (ML). Os fornecedores de execução abstraem diferentes backends de computação (NPU, GPU e CPU) e fornecem uma interface unificada para particionamento de grafos, registo do kernel e execução de operadores. Para saber mais, consulte os documentos do ONNX Runtime.
Duas formas de obter EPs
EPs do Windows ML: Utilize as ExecutionProviderCatalog APIs para adquirir EPs certificados pelo Windows que passam por um rigoroso processo de certificação e testes de regressão, e são automaticamente atualizados. Consulte os EPs do Windows ML para saber mais.
Traga o seu próprio: Obtenha e consulte os binários EP por si próprio, permitindo suporte para ambientes offline, dispositivos geridos ou requisitos rigorosos de fixação de versões. Veja Bring your own EPs para saber mais.
Veja os EPs do Windows ML vs. trazer o seu próprio para compensações.
Mapeamento de silícioto-EP
| Silício | Fornecedores de execução | Caso de utilização típica |
|---|---|---|
| NPU | OpenVINO (Intel) QNN (Qualcomm) VitisAI (AMD) |
Inferência sustentada no dispositivo e eficiente em termos de bateria em PCs Copilot+ |
| GPU | MIGraphX (AMD) NvTensorRtRtx (NVIDIA) OpenVINO (Intel) QNN (Qualcomm) DirectML (incluído - versão antiga) |
Cargas de trabalho de alto rendimento para imagem/vídeo/GenAI |
| Processador | OpenVINO (Intel) ORT CPU EP (incluído) |
Recuperação universal; baixa latência para modelos pequenos |
Consulte também
- Fornecedores de execução de Windows ML — EPs disponíveis através do Windows ML
- EPs de Windows ML vs. traz-seus-próprios — escolha a estratégia certa de sourcing de EP
- Instalar EPs do Windows ML
- Registar EPs de Windows ML
- Selecionar provedores de execução