Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Esta seção inclui exemplos que mostram como treinar modelos de machine learning em Azure Databricks usando muitas bibliotecas de software livre populares.
Você também pode usar AutoML, que prepara automaticamente um conjunto de dados para treinamento de modelo, executa um conjunto de avaliações usando bibliotecas de software livre, como scikit-learn e XGBoost, e cria um bloco de anotações Python com o código-fonte para cada execução de avaliação para que você possa examinar, reproduzir e modificar o código.
Exemplos de machine learning
| Pacote | Computador portátil(s) | Funcionalidades |
|---|---|---|
| scikit-learn | Tutorial de aprendizado de máquina | Catálogo do Unity, modelo de classificação, MLflow, ajuste automatizado de hiperparâmetro com Hyperopt e MLflow |
| scikit-learn | Exemplo completo | Catálogo do Unity, modelo de classificação, MLflow, ajuste automatizado de hiperparâmetro com Hyperopt e MLflow, XGBoost |
| MLlib | Exemplos de MLlib | Classificação binária, árvores de decisão, regressão GBT, fluxo estruturado, transformador personalizado |
| xgboost | Exemplos de XGBoost | Python, PySpark e Scala, cargas de trabalho de nó único e treinamento distribuído |
Exemplos de ajuste de hiperparâmetro
Para obter informações gerais sobre o ajuste de hiperparâmetros em Azure Databricks, consulte Ajuste de Hiperparâmetros.
Observação
A versão de código aberto do Hyperopt não está mais sendo mantida.
O Hyperopt não está incluído no Databricks Runtime para Machine Learning após o 16.4 LTS ML. Azure Databricks recomenda usar Optuna para otimização de nó único ou RayTune para uma experiência semelhante à funcionalidade de otimização de hiperparâmetros distribuída do Hyperopt preterido. Saiba mais sobre como usar RayTune no Azure Databricks.
| Pacote | Notebook | Funcionalidades |
|---|---|---|
| Optuna | Introdução ao Optuna | Optuna, Optuna distribuído, scikit-learn, MLflow |
| Hyperopt | Hyperopt distribuído | Hyperopt distribuído, scikit-learn, MLflow |
| Hyperopt | Comparar modelos | Utilizar o hyperopt distribuído para explorar simultaneamente o espaço de hiperparâmetros em diferentes tipos de modelo. |
| Hyperopt | Algoritmos de treinamento distribuído e hyperopt | Hyperopt, MLlib |
| Hyperopt | Práticas recomendadas do Hyperopt | Práticas recomendadas para conjuntos de dados de diferentes tamanhos |