Använd ai_query

ai_query är en generell AI-funktion som gör att du kan köra frågor mot alla AI-modeller som stöds direkt från SQL eller Python. Till skillnad från uppgiftsspecifika AI Functions, som är specialbyggda och optimerade för en enda uppgift, ai_query ger dig fullständig kontroll över modellen, prompten och parametrarna.

Fullständig syntax och parameterreferens finns i ai_query funktion.

När du ska använda ai_query

Databricks rekommenderar att du börjar med en uppgiftsspecifik AI-funktion när en matchar ditt mål. Använd ai_query när en uppgiftsspecifik funktion inte uppfyller dina behov. När du till exempel behöver:

• Kontrollera prompten, modellparametrarna eller utdataformatet mer exakt
• Fråga en anpassad, finjusterad eller extern modell
• Behöver flexibilitet för att ytterligare optimera för dataflöde eller kvalitet

Metodtips

• Använd modeller som är värdbaserade på Databricks. Använd Databricks-värdtjänstbaserade grundmodellslutpunkter (prefixerade med databricks-), i stället för tilldelade dataflödesslutpunkter. Dessa slutpunkter hanteras fullständigt och skalas automatiskt utan etablering eller konfiguration.
• Välj en modell som är optimerad för batchinferens. Databricks optimerar specifika modeller för batcharbetsbelastningar med högt dataflöde. Om du använder en icke-optimerad modell kan det leda till minskat dataflöde och längre slutförandetider för jobb. Se Modeller som stöds för en fullständig lista över batchoptimerade modeller.
• Skicka din fullständiga datauppsättning i en enda fråga. AI Functions hanterar automatiskt parallellisering, återförsök och skalning. Att dela upp data i små batchar manuellt kan minska dataflödet.
• Ange failOnError till false för stora arbetsbelastningar. På så sätt kan jobbet slutföra och returnera felmeddelanden för misslyckade rader, så att du behåller lyckade resultat utan att bearbeta hela datamängden igen.

Modeller som stöds

ai_query stöder modeller som är värdbaserade hos Databricks, modeller med tillhandahållen genomströmning, anpassade modeller och externa modeller.

I följande tabell sammanfattas de modelltyper som stöds, de associerade modellerna och modellen som betjänar konfigurationskraven för slutpunkter för var och en.

Använda ai_query med grundmodeller

I följande exempel visas hur du använder ai_query med en grundmodell som hanteras av Azure Databricks.

• Se ai_query funktionen för syntaxinformation och parametrar.
• Se Multimodal-indata för exempel på multimodala indatafrågor.
• Se Exempel på avancerade scenarier för vägledning om hur du konfigurerar parametrar för avancerade användningsfall, till exempel:
  • Hantera fel med hjälp av failOnError
  • Strukturerade utdata på Azure Databricks för hur du anger strukturerade utdata för dina frågesvar.

SQL

SELECT text, ai_query(
    "databricks-gpt-oss-120b",
    "Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;

Python

df_out = df.selectExpr(
  "ai_query('databricks-gpt-oss-120b', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')

Exempel på notebook-fil: Batch-slutsatsdragning och strukturerad dataextrahering

Följande notebook-exempel visar hur du utför grundläggande strukturerad dataextrahering med hjälp av ai_query för att omvandla råa, ostrukturerade data till organiserad, användbar information via automatiserade extraheringstekniker. Den här notebook-filen visar också hur du använder agentutvärdering för att utvärdera noggrannheten med hjälp av grund sanningsdata.

Batch-slutsatsdragning och strukturerad dataextraheringsanteckningsbok

Hämta anteckningsbok

Använda ai_query med traditionella ML-modeller

ai_query stöder traditionella ML-modeller, inklusive helt anpassade modeller. Dessa modeller måste distribueras på modellserverslutpunkter. Syntaxinformation och parametrar finns i ai_query funktion.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10

Exempel på notebook-fil: Batch-slutsatsdragning med BERT för namngiven entitetsigenkänning

Följande notebook visar ett exempel på batchinferens för en traditionell ML-modell med BERT.

Batch-slutsatsdragning med BERT för notebook-fil för namngiven entitetsigenkänning

Hämta anteckningsbok