Aprendizado de máquina no Azure Databricks

Crie, implante e gerencie aplicativos de machine learning em Azure Databricks. A plataforma integrada unifica todo o ciclo de vida de ML da preparação de dados para o monitoramento de produção.

Procurando IA generativa e agentes de IA? Veja Criar agentes de IA no Azure Databricks.

Introdução

Experimente um início rápido, prepare seus dados ou crie um modelo de baixo código.

Guide Description
Introdução: Criar seu primeiro modelo de machine learning no Databricks Crie um modelo de classificação simples com scikit-learn de ponta a ponta.
AutoML Crie automaticamente modelos de alta qualidade com código mínimo usando engenharia de recursos automatizada e ajuste de hiperparâmetro.
Carregar dados para aprendizado de máquina e aprendizado profundo Carregue e prepare dados para fluxos de trabalho de ML e de aprendizado profundo.
Treinar modelos de recomendação Treine um modelo de recomendação com a arquitetura de duas torres ou DLRM.

Treinar modelos clássicos de machine learning

Crie modelos de machine learning com ferramentas automatizadas e ambientes de desenvolvimento colaborativos.

Feature Description
Databricks Runtime para ML Clusters pré-configurados com scikit-learn, XGBoost, MLflow e outras bibliotecas de ML, além de suporte para estruturas de aprendizado profundo.
Acompanhamento do MLflow Acompanhe experimentos, compare o desempenho do modelo e gerencie o ciclo de vida completo de desenvolvimento de modelos.
Engenharia de recursos Crie, gerencie e ofereça funcionalidades com pipelines de dados automatizados e descoberta de funcionalidades.
Blocos de anotações do Databricks Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala e SQL para fluxos de trabalho de ML.

Treinar modelos de aprendizado profundo

Use computação gerenciada e estruturas internas para desenvolver modelos de aprendizado profundo.

Feature Description
Treinamento distribuído Exemplos de aprendizado profundo distribuído usando Ray, TorchDistributor e DeepSpeed.
Runtime de IA Computação de GPU sem servidor para cargas de trabalho personalizadas de treinamento e inferência de aprendizado profundo.
Práticas recomendadas de DL Diretrizes para escolha da estrutura, carregamento de dados, dimensionamento distribuído e gerenciamento do ciclo de vida do modelo de aprendizado profundo.
PyTorch Treinamento distribuído e de nó único usando o PyTorch.

Implantar e servir modelos

Implante modelos em produção com pontos de extremidade escalonáveis, inferência em tempo real e monitoramento de nível empresarial.

Feature Description
Serviço de modelo Implante modelos personalizados e LLMs como pontos de extremidade REST escalonáveis com dimensionamento automático e suporte à GPU.
Gateway de IA Gerencie e monitore o acesso a modelos disponibilizados no Azure Databricks com rastreamento de uso, registro de payloads em log e controles de segurança.
Modelos externos Integre modelos de terceiros hospedados fora do Databricks com governança e monitoramento unificados.
APIs de modelo de fundação Acessar e consultar modelos abertos de última geração hospedados pelo Databricks.

Monitorar e controlar sistemas de ML

Verifique a qualidade do modelo, a integridade dos dados e a conformidade com ferramentas abrangentes de monitoramento e governança.

Feature Description
Catálogo do Unity Governe dados, recursos, modelos e funções com controle de acesso unificado, acompanhamento de linhagem e descoberta.
Criação de perfil de dados Monitore a qualidade dos dados, o desempenho do modelo e o descompasso de previsão com alertas automatizados e análise de causa raiz.
Detecção de anomalias Monitore a atualização e a integridade dos dados no nível do catálogo.
MLflow para Modelos Acompanhe experimentos, gerencie modelos no Catálogo do Unity, implante e avalie modelos de machine learning durante todo o ciclo de vida de desenvolvimento.

Produzir fluxos de trabalho de ML

Dimensione as operações de aprendizado de máquina com fluxos de trabalho automatizados, integração de CI/CD e pipelines prontos para produção.

Feature Description
Modelos no Catálogo do Unity Use o registro de modelo no Catálogo do Unity para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implantações.
Trabalhos do Lakeflow Crie fluxos de trabalho automatizados e pipelines de ETL prontos para produção para processamento de dados de ML.
Ray no Databricks Dimensione cargas de trabalho de ML com computação distribuída para treinamento e inferência de modelo em larga escala.
Fluxos de trabalho do MLOps Implemente MLOps de ponta a ponta com pipelines de treinamento, teste e implantação totalmente automatizados.
  • Last updated on