Gebruik ai_query

ai_query is een functie voor algemeen gebruik AI waarmee u rechtstreeks vanuit SQL of Python query's kunt uitvoeren op elk ondersteund AI-model. In tegenstelling tot taakspecifieke AI-functies, die speciaal zijn gebouwd en geoptimaliseerd voor één taak, ai_query hebt u volledige controle over het model, de prompt en de parameters.

Zie de functie voor volledige syntaxis en parameterreferentieai_query.

Wanneer gebruikt u ai_query

Databricks raadt aan om te beginnen met een taakspecifieke AI-functie wanneer een functie overeenkomt met uw doelstelling. Gebruik ai_query deze functie wanneer een taakspecifieke functie niet aan uw behoeften voldoet. Bijvoorbeeld wanneer u het volgende moet doen:

• De prompt, modelparameters of uitvoerindeling nauwkeuriger beheren
• Een query uitvoeren op een aangepast, afgestemd of extern model
• Flexibiliteit nodig om doorvoer of kwaliteit verder te optimaliseren

Beste praktijken

• Gebruik door Databricks gehoste modellen. Gebruik databricks-gehoste basismodeleindpunten (voorafgegaan door databricks-), in plaats van ingerichte doorvoereindpunten. Deze eindpunten worden volledig beheerd en automatisch geschaald zonder inrichting of configuratie.
• Selecteer een model dat is geoptimaliseerd voor batch-inferentie. Databricks optimaliseert specifieke modellen voor batchworkloads met hoge doorvoer. Het gebruik van een niet-geoptimaliseerd model kan leiden tot verminderde doorvoer en langere voltooiingstijden voor taken. Zie Ondersteunde modellen voor de volledige lijst met batch-geoptimaliseerde modellen.
• Verzend uw volledige gegevensset in één query. AI-functies verwerken automatisch parallelle uitvoering, nieuwe pogingen en schalen. Het handmatig splitsen van gegevens in kleine batches kan de doorvoer verminderen.
• Stel failOnError in op false voor grote werkbelastingen. Hierdoor kan de taak foutberichten voor mislukte rijen voltooien en retourneren, zodat u geslaagde resultaten behoudt zonder de volledige gegevensset opnieuw te verwerken.

Ondersteunde modellen

ai_query ondersteunt door Databricks gehoste modellen, ingerichte doorvoermodellen, aangepaste modellen en externe modellen.

De volgende tabel bevat een overzicht van de ondersteunde modeltypen, de bijbehorende modellen en de vereisten voor de configuratie van het eindpunt voor elk model.

Gebruiken ai_query met basismodellen

In het volgende voorbeeld ziet u hoe u ai_query gebruikt met een basismodel dat wordt gehost door Azure Databricks.

• Zie ai_query de functie voor syntaxisdetails en parameters.
• Zie Multimodale invoerinvoer voor voorbeelden van multimodale invoerquery's.
• Zie voorbeelden voor geavanceerde scenario's voor hulp bij het configureren van parameters voor geavanceerde use cases, zoals:
  • Fouten verwerken met behulp van failOnError
  • Structureerde uitvoer op Azure Databricks voor het opgeven van gestructureerde uitvoer voor uw queryantwoorden.

SQL

SELECT text, ai_query(
    "databricks-gpt-oss-120b",
    "Summarize the given text comprehensively, covering key points and main ideas concisely while retaining relevant details and examples. Ensure clarity and accuracy without unnecessary repetition or omissions: " || text
) AS summary
FROM uc_catalog.schema.table;

Python

df_out = df.selectExpr(
  "ai_query('databricks-gpt-oss-120b', CONCAT('Please provide a summary of the following text: ', text), modelParameters => named_struct('max_tokens', 100, 'temperature', 0.7)) as summary"
)
df_out.write.mode("overwrite").saveAsTable('output_table')

Voorbeeldnotebook: Batch-inferentie en gestructureerde gegevensextractie

In het volgende voorbeeldnotitieblok ziet u hoe u eenvoudige gestructureerde gegevensextractie uitvoert met behulp van ai_query het transformeren van onbewerkte, ongestructureerde gegevens naar georganiseerde, bruikbare informatie via geautomatiseerde extractietechnieken. Dit notebook laat ook zien hoe u agentevaluatie kunt gebruiken om de nauwkeurigheid te evalueren met behulp van grondwaargegevens.

Notebook voor batchinference en gestructureerde gegevensextractie

Notebook krijgen

Gebruiken ai_query met traditionele ML-modellen

ai_query ondersteunt traditionele ML-modellen, waaronder volledig aangepaste modellen. Deze modellen moeten worden geïmplementeerd op eindpunten van Model Serving. Zie de functie voor syntaxisdetails en parametersai_query.

SELECT text, ai_query(
  endpoint => "spam-classification",
  request => named_struct(
    "timestamp", timestamp,
    "sender", from_number,
    "text", text),
  returnType => "BOOLEAN") AS is_spam
FROM catalog.schema.inbox_messages
LIMIT 10

Voorbeeldnotitieblok: Batch-inferentie met behulp van BERT voor named entity recognition

In het volgende notebook ziet u een voorbeeld van een traditioneel ML-model batch inferentie door middel van BERT.

Batch-inferentie met behulp van BERT voor herkenning van genaamde entiteiten in notebook

Notebook krijgen