Använd Anpassad LLM för att skapa en generativ AI-agent för äldre text

Den här artikeln beskriver hur du skapar en generativ AI-agent för anpassade textbaserade uppgifter med anpassad LLM.

Vad kan du göra med anpassad LLM?

Använd Anpassad LLM för att generera högkvalitativa resultat för alla domänspecifika uppgifter, till exempel sammanfattning, klassificering, texttransformering och innehållsgenerering.

Anpassad LLM är perfekt för följande användningsfall:

• Sammanfatta problemet och lösningen av kundsamtal.
• Analysera attityden för kundrecensioner.
• Klassificera forskningsartiklar efter ämne.
• Genererar pressmeddelanden för nya funktioner.

Med hjälp av instruktioner och exempel på hög nivå optimerar Custom LLM uppmaningar för användarnas räkning, härleder automatiskt utvärderingskriterier, utvärderar systemet från angivna data och distribuerar modellen som en produktionsbaserad slutpunkt.

Anpassad LLM utnyttjar automatiserade utvärderingsfunktioner, inklusive MLflow och agentutvärdering, för att möjliggöra snabb utvärdering av kostnadskvalitetsavvägningen för din specifika extraheringsuppgift. Med den här utvärderingen kan du fatta välgrundade beslut om balansen mellan noggrannhet och resursinvesteringar.

Anpassad LLM använder standardlagring för att lagra tillfälliga datatransformeringar, modellkontrollpunkter och interna metadata som driver varje agent. Vid borttagning av agent tas alla data som är associerade med agenten bort från standardlagringen.

Requirements

• En arbetsyta som innehåller följande:
  • Serverlös beräkning är tillgänglig (aktiverad som standard i arbetsytor med Unity Catalog i en region som stöds.
  • Unity Catalog aktiverat. Se Aktivera en arbetsyta för Unity Catalog.
  • Åtkomst till modelltjänst.
  • Åtkomst till grundmodeller i Unity Catalog via system.ai schemat.
  • Åtkomst till en serverlös användningsprincip med en icke-nollbudget.
• En arbetsyta i en av de regioner som stöds.
• Möjlighet att använda SQL-funktionenai_query.
• Du måste ha indata redo att användas. Du kan välja att ange något av följande:
  • En Unity Catalog-tabell. Tabellnamnet får inte innehålla några specialtecken (till exempel -).
    • Om du vill använda PDF-filer konverterar du dem till en Unity Catalog-tabell. Se Använda PDF-filer i anpassad LLM.
  • Minst 3 exempel på indata och utdata. Om du väljer det här alternativet måste du ange en målsökväg för Unity Catalog-schemat för agenten och du måste ha SKAPA REGISTRERAD MODELL och CREATE TABLE behörigheter för det här schemat.
• Om du vill optimera din agent behöver du minst 100 indata (antingen 100 rader i en Unity Catalog-tabell eller 100 manuellt tillhandahållna exempel).

Skapa en anpassad LLM-agent

Gå till Agenter i det vänstra navigeringsfönstret på arbetsytan. Klicka på Skapa i den anpassade LLM-panelen.

Steg 1: Konfigurera din agent

På fliken Skapa klickar du på Visa ett exempel > för att expandera ett exempel på indata och modellsvar för en anpassad LLM-agent.

I fönstret nedan konfigurerar du din agent:

1. Under Beskriv din uppgift anger du en tydlig och detaljerad beskrivning av specialiseringsaktiviteten, inklusive dess syfte och önskat resultat.

2. Ange en etiketterad datauppsättning, en omärkt datauppsättning eller några exempel som du kan använda för att skapa din agent.

   Om du vill använda PDF-filer konverterar du dem först till en Unity Catalog-tabell. Se Använda PDF-filer i anpassad LLM.

   Följande datatyper stöds: string, intoch double.

   Etiketterad datamängd

   Om du väljer Etikettad datauppsättning:

   

   1. Under Välj datamängd som UC-tabell klickar du på Bläddra för att välja den tabell i Unity Catalog som du vill använda. Tabellnamnet får inte innehålla några specialtecken (till exempel -).

      Följande är ett exempel:

      main.model_specialization.customer_call_transcripts

   2. I fältet Indatakolumn väljer du den kolumn som du vill använda som indatatext. Den nedrullningsbara menyn fylls automatiskt i med kolumner från den valda tabellen.

   3. I kolumnen Utdata väljer du den kolumn som du vill ange som ett exempel på utdata för den förväntade omvandlingen. Genom att tillhandahålla dessa data kan du konfigurera din agent så att den anpassas mer exakt efter dina domänspecifika behov.

   Omärkt datauppsättning

   Om du väljer Omärkt datauppsättning:

   1. Under Välj datamängd som UC-tabell klickar du på Bläddra för att välja den tabell i Unity Catalog som du vill använda. Tabellnamnet får inte innehålla några specialtecken (till exempel -).

   2. I fältet Indatakolumn väljer du den kolumn som du vill använda som indatatext. Den nedrullningsbara menyn fylls automatiskt i med kolumner från den valda tabellen.

   Några exempel

   Om du väljer Några exempel:

   1. Ange minst tre exempel på indata och förväntade utdata för specialiseringsaktiviteten. Genom att tillhandahålla högkvalitativa exempel kan du konfigurera din specialiseringsagent för att bättre förstå dina krav.
   2. Om du vill lägga till fler exempel klickar du på + Lägg till.
   3. Under Agentmål väljer du Unity Catalog-schemat där du vill att anpassad LLM ska hjälpa dig att skapa en tabell med utvärderingsdata. Du måste ha SKAPA REGISTRERAD MODELL och CREATE TABLE behörigheter för det här schemat.

3. Namnge din agent.

4. Klicka på Skapa agent.

Steg 2: Skapa och förbättra din agent

På fliken Skapa granskar du rekommendationer för att förbättra din agent, granska exempelmodellutdata och justera dina uppgiftsinstruktioner och utvärderingsvillkor.

1. I fönstret Rekommendation ger Databricks rekommendationer som hjälper dig att optimera och utvärdera exempelsvar som bra eller dåliga.

   1. Granska Databricks-rekommendationerna för att optimera agentprestanda.
   2. Ge feedback för att förbättra svaren. För varje svar ska du svara Är det här ett bra svar? med Ja eller Nej. Om Nej ger du valfri feedback om svaret och klickar på Spara för att gå vidare till nästa.
   3. Du kan också välja att avvisa rekommendationen.

2. Till höger, under Riktlinjer, anger du tydliga riktlinjer som hjälper din agent att producera rätt utdata. Dessa kommer också att användas för att automatiskt utvärdera kvaliteten.

   1. Granska föreslagna riktlinjer. Riktlinjeförslagen härleds automatiskt för att hjälpa dig att optimera din agent. Du kan förfina dem eller ta bort dem.
   2. Anpassad LLM kan föreslå ytterligare riktlinjer. Välj Acceptera för att lägga till den nya riktlinjen, Avvisa för att avvisa den eller klicka i texten för att redigera riktlinjen först.
   3. Om du vill lägga till dina egna riktlinjer klickar du på Lägg till.
   4. Klicka på Spara och uppdatera för att uppdatera agenten.

3. (Valfritt) På höger sida, under Instruktioner, beskriver du din uppgift. Lägg till ytterligare instruktioner som agenten ska följa när den genererar sina svar. Klicka på Spara och uppdatera för att tillämpa instruktionerna.

4. När du har uppdaterat agenten genereras nya exempelsvar. Granska och ge feedback om dessa svar.

Steg 3: Utvärdera din agent

En kvalitetsrapport som innehåller en liten uppsättning utvärderingsresultat genereras automatiskt från riktlinjerna. Granska den här rapporten på fliken Kvalitet .

Varje godkänd riktlinje används som ett utvärderingsmått. För varje genererad begäran utvärderas svaret med hjälp av riktlinjerna och ges en godkänd/misslyckad utvärdering. Dessa utvärderingar används för att generera utvärderingspoängen som visas högst upp. Klicka på ett utvärderingsresultat för att se fullständig information.

Använd kvalitetsrapporten för att avgöra om agenten behöver ytterligare optimering.

(Valfritt) Optimera din agent

Anpassad LLM kan hjälpa dig att optimera din agent mot kostnad. Databricks rekommenderar minst 100 indata (antingen 100 rader i unity catalog-tabellen eller 100 manuellt tillhandahållna exempel) för att optimera din agent. När du lägger till fler indata ökar kunskapsbasen som agenten kan lära sig av, vilket förbättrar agentkvaliteten och dess svarsnoggrannhet.

När du optimerar din agent jämför Databricks flera olika optimeringsstrategier för att skapa och distribuera en optimerad agent. Dessa strategier inkluderar finjustering av grundmodell som använder Databricks Geos.

Så här optimerar du din agent:

1. Klicka på Optimera.

2. Klicka på Starta optimering.

   Optimering kan ta några timmar. Ändringar i din aktiva agent blockeras när optimering pågår.

3. När optimeringen är klar, granska jämförelsen mellan din aktiva agent och agenten som är optimerad för kostnad.

4. När du har granskat dessa resultat väljer du den bästa modellen under Distribuera bästa modell till en slutpunkt och klickar på Distribuera.

Steg 4: Använd din agent

Prova din agent i arbetsflöden i Databricks.

Om du vill börja använda din agent klickar du på Använd. Du kan välja mellan följande alternativ:

• Klicka på Prova i SQL för att öppna SQL-redigeraren och använd ai_query för att skicka begäranden till din nya anpassade LLM-agent.

• Klicka på Skapa pipeline för att distribuera en pipeline som körs med schemalagda intervall för att använda din agent på nya data. För mer information om pipelines, se Lakeflow Spark Deklarativa Pipelines.

• Klicka på Öppna i Playground för att testa din agent i en chattmiljö med AI Playground.

Hantera behörigheter

Som standard har endast agentförfattare och arbetsyteadministratörer behörighet till agenten. Om du vill tillåta att andra användare redigerar eller frågar din agent måste du uttryckligen ge dem behörighet.

Så här hanterar du behörigheter för din agent:

1. Öppna din agent på sidan Agenter .
2. Längst upp klickar du på
3. Klicka på Hantera behörigheter.
4. I fönstret Behörighetsinställningar väljer du användaren, gruppen eller tjänstens huvudnamn.
5. Välj behörighet att bevilja:
   • Kan hantera: Tillåter hantering av agenten, inklusive att ange behörigheter, redigera agentkonfigurationen och förbättra dess kvalitet.
   • Kan ställas frågor: Tillåter att skicka frågor till agentslutpunkten i AI Playground och via API. Användare med endast den här behörigheten kan inte visa eller redigera agenten på sidan Agenter.
6. Klicka på Lägg till.
7. Klicka på Spara.

Fråga agentslutpunkten

På agentsidan klickar du på Se Agentstatus i det övre högra hörnet för att hämta din distribuerade agentslutpunkt och se slutpunktsinformation.

Det finns flera sätt att fråga den skapade agentslutpunkten. Använd kodexemplen i AI Playground som utgångspunkt:

1. Klicka på Använd på agentsidan.
2. Klicka på Öppna på lekplats.
3. Klicka på Hämta kod från Playground.
4. Välj hur du vill använda slutpunkten:
   • Välj Tillämpa på data för att skapa en SQL-fråga som tillämpar agenten på en specifik tabellkolumn.
   • Välj Curl API för ett kodexempel för att fråga slutpunkten med curl.
   • Välj Python API för ett kodexempel för att interagera med slutpunkten med hjälp av Python.

Använda PDF-filer i anpassad LLM

PDF-filer stöds ännu inte internt i informationsextrahering och anpassad LLM. Du kan dock använda arbetsflödet för användargränssnittet för att konvertera en mapp med PDF-filer till markdown och sedan använda den resulterande Unity Catalog-tabellen som indata när du skapar din agent. Det här arbetsflödet använder ai_parse_document för konverteringen. Följ dessa steg:

1. Klicka på Agenter i det vänstra navigeringsfönstret.

2. I användningsfallen Information Extrahering eller Anpassad LLM klickar du på Använd PDF-filer.

3. I sidopanelen som öppnas anger du följande fält för att skapa ett nytt arbetsflöde för att konvertera dina PDF-filer:

   1. Välj mapp med PDF-filer eller bilder: Välj mappen Unity Catalog som innehåller de PDF-filer som du vill använda.
   2. Välj måltabell: Välj målschemat för den konverterade markdown-tabellen och om du vill kan du justera tabellnamnet i fältet nedan.
   3. Välj aktivt SQL-lager: Välj SQL-lagret för att köra arbetsflödet.

   

4. Klicka på Starta import.

5. Du omdirigeras till fliken Alla arbetsflöden , som visar alla dina PDF-arbetsflöden. Använd den här fliken om du vill övervaka status för dina jobb.

   

   Om arbetsflödet misslyckas klickar du på jobbnamnet för att öppna det och visa felmeddelanden som hjälper dig att felsöka.

6. När arbetsflödet har slutförts klickar du på jobbnamnet för att öppna tabellen i Katalogutforskaren för att utforska och förstå kolumnerna.

7. Använd tabellen Unity Catalog som indata när du konfigurerar din agent.

Limitations

• Databricks rekommenderar minst 100 indata (antingen 100 rader i Unity Catalog-tabellen eller 100 manuellt tillhandahållna exempel) för att optimera din agent. När du lägger till fler indata ökar kunskapsbasen som agenten kan lära sig av, vilket förbättrar agentkvaliteten och dess svarsnoggrannhet.
• Om du anger en Unity Catalog-tabell får tabellnamnet inte innehålla några specialtecken (till exempel -).
• Endast följande datatyper stöds som indata: string, intoch double.
• Användningskapaciteten är för närvarande begränsad till 100 000 in- och utdatatoken per minut.
• Arbetsytor som har förbättrad säkerhet och efterlevnad aktiverat stöds inte.
• Optimeringen kan misslyckas på arbetsytor som har serverlösa principer för utgående kontroll av nätverk med begränsat åtkomstläge eller arbetsytor som har aktiverat brandväggsstöd för lagringskonto för arbetsytor.