Déployer des modèles groupés à des fins d’inférence et de prédiction

Cet article décrit ce que Databricks recommande pour l’inférence par lots.

Pour le déploiement de modèles en temps réel sur Azure Databricks, consultez Déployer des modèles à l’aide de Mosaic AI Model Serving.

Fonctions IA pour l’inférence par lots

Les fonctions IA sont des fonctions intégrées que vous pouvez utiliser pour appliquer l’IA à vos données stockées sur Databricks. Vous pouvez exécuter l’inférence par lots à l’aide de fonctions IA spécifiques à des tâches ou de la fonction à usage général. ai_query

Voici un exemple d’inférence par lots à l’aide de la fonction IA spécifique à la tâche. ai_translate Si vous souhaitez effectuer une inférence par lots sur une table entière, vous pouvez supprimer limit 500 de votre requête.

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

Vous pouvez également utiliser la fonction ai_query usage général pour effectuer l’inférence par lots.

• Découvrez les types de modèles et les modèles associés qui ai_query prennent en charge.
• Consultez Déployer des pipelines d’inférence par lots.