Utilice ai_query

es una AI Function de uso general que permite consultar cualquier modelo de IA compatible directamente desde SQL o Python. A diferencia de las funciones de IA específicas de la tarea, que están diseñadas específicamente y optimizadas para una sola tarea, ai_query proporciona control total sobre el modelo, la solicitud y los parámetros.

Para obtener una sintaxis completa y una referencia de parámetros, consulte ai_query function.

Cuándo usar ai_query

Databricks recomienda empezar con una función de IA específica para una tarea cuando coincide con el objetivo. Se usa ai_query cuando una función específica de la tarea no satisface sus necesidades. Por ejemplo, cuando necesite:

• Controlar la indicación, los parámetros del modelo o el formato de salida de forma más precisa
• Realiza una consulta a un modelo personalizado, ajustado o externo
• Necesita flexibilidad para optimizar aún más el rendimiento o la calidad

procedimientos recomendados

• Use modelos hospedados en Databricks. Utilice puntos de conexión de modelos fundamentales hospedados en Databricks (con el prefijo databricks-), en lugar de puntos de conexión de rendimiento aprovisionados. Estos puntos de conexión se administran completamente y se escalan automáticamente sin aprovisionamiento ni configuración.
• Seleccione un modelo optimizado para la inferencia por lotes. Databricks optimiza los modelos específicos para cargas de trabajo por lotes de alto rendimiento. El uso de un modelo no optimizado puede dar lugar a tiempos de finalización de trabajos más largos y de menor rendimiento. Consulte Modelos admitidos para obtener la lista completa de modelos optimizados para lotes.
• Envíe el conjunto de datos completo en una sola consulta. Ai Functions controla automáticamente la paralelización, los reintentos y el escalado. La división manual de datos en lotes pequeños puede reducir el rendimiento.
• Establézcalo failOnError a false para cargas de trabajo de gran tamaño. Esto permite que el trabajo complete y devuelva mensajes de error para las filas con errores, por lo que se conservan los resultados correctos sin volver a procesar todo el conjunto de datos.

Modelos admitidos

ai_query admite modelos hospedados en Databricks, modelos de rendimiento aprovisionados, modelos personalizados y modelos externos.

En la tabla siguiente se resumen los tipos de modelo admitidos, los modelos asociados y los requisitos de configuración del punto de conexión de servicio para cada uno.

Uso ai_query con modelos de base

En el ejemplo siguiente se muestra cómo usar ai_query con un modelo de base hospedado por Azure Databricks.

• Consulte ai_query función para obtener detalles y parámetros de sintaxis.
• Consulte Entradas multiplataforma para ver ejemplos de consultas de entrada multiplataforma.
• Consulte Ejemplos de escenarios avanzados para obtener instrucciones sobre cómo configurar parámetros para casos de uso avanzados, como:
  • Control de errores mediante failOnError
  • Salidas estructuradas en Azure Databricks para cómo especificar la salida estructurada de las respuestas de consulta.

SQL

SELECT text, ai_query(
    "databricks-gpt-oss-120b",
    "Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;

Python

df_out = df.selectExpr(
  "ai_query('databricks-gpt-oss-120b', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')

Cuaderno de ejemplo: inferencia por lotes y extracción de datos estructurados

En el cuaderno de ejemplo siguiente se muestra cómo realizar la extracción básica de datos estructurados mediante ai_query para transformar datos sin procesar y no estructurados en información organizada y utilizable a través de técnicas de extracción automatizadas. En este cuaderno también se muestra cómo aprovechar la Evaluación de Agentes para evaluar la precisión usando datos de referencia.

Cuaderno de inferencia por lotes y extracción de datos estructurados

Obtener el cuaderno

Uso ai_query con modelos tradicionales de ML

ai_query admite modelos tradicionales de ML, incluidos los totalmente personalizados. Estos modelos deben implementarse en los puntos de conexión de Servicio de modelos. Para obtener detalles de sintaxis y parámetros, consulte ai_query function.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10

Cuaderno de ejemplo: inferencia por lotes mediante BERT para el reconocimiento de entidades con nombre

En el cuaderno siguiente se muestra un ejemplo de inferencia por lotes de modelos de ML tradicional mediante BERT.

Inferencia por lotes mediante BERT para el cuaderno de reconocimiento de entidades con nombre

Obtener el cuaderno