Langlopende taken van supervisoragent

Op deze pagina wordt uitgelegd hoe u langlopende taken kunt afhandelen met behulp van taakvervolging met supervisoragent.

Wanneer een supervisoragent werkt voor complexe taken waarvoor veel hulpprogramma-aanroepen nodig zijn, heeft de taak mogelijk meer tijd nodig dan één API-aanvraag toestaat. Om dit te doen, ondersteunt de supervisor de langlopende taakmodus, die automatisch lange taken in meerdere aanvraag-/antwoordcycli onderbreekt, zodat de agent kan blijven werken zonder een time-out uit te voeren.

Hoe werkt het?

1. De supervisor begint met het verwerken van uw aanvraag, het aanroepen van hulpprogramma's en de redenering, indien nodig.
2. Voordat er een time-out optreedt voor de aanvraag, onderbreekt de supervisor de verwerking en zendt een task_continue_request gebeurtenis uit in het streaming-antwoord.
3. Als u de taak wilt hervatten, verzendt uw toepassing een opvolgingsaanvraag die zowel de task_continue_request als een bijbehorende task_continue_responseaanvraag bevat.
4. De supervisor pakt op waar het was gebleven en blijft werken. Deze cyclus wordt zo nodig herhaald totdat de taak is voltooid.

Langlopende taken gebruiken in Playground

In AI Playground verwerkt Playground automatisch taakvervolging. Wanneer de agent meer tijd nodig heeft, verzendt Playground namens u het vervolgantwoord. U ziet één ononderbroken gesprek.

Vervolg van taken beheren in de API

Als u langlopende taken wilt inschakelen, neemt u "long_task": true op in het databricks_options van uw verzoek.

{
  "input": [{ "role": "user", "content": "Your message here" }],
  "databricks_options": {
    "long_task": true
  },
  "stream": true
}

Wanneer u de streaming-API rechtstreeks gebruikt, moet uw toepassing gebeurtenissen detecteren task_continue_request en een opvolgingsaanvraag verzenden om de taak voort te zetten.

Detecteer de controlepunt-gebeurtenis in het streaming-antwoord

De supervisor verzendt een gebeurtenis als de volgende wanneer deze moet doorgaan:

{
  "type": "response.output_item.done",
  "item": {
    "type": "task_continue_request",
    "id": "continue_<unique-id>",
    "step": 16
  },
  "id": "resp_<response-id>"
}

Het step veld geeft het totale aantal stappen voor het aanroepen van hulpprogramma's aan dat tot nu toe is voltooid.

Een vervolgaanvraag verzenden om te hervatten

Neem het origineel task_continue_request en een overeenkomstige task_continue_response op in de berichten van uw volgende verzoek:

{
  "messages": [
    "...previous messages...",
    {
      "type": "task_continue_request",
      "id": "continue_<unique-id>",
      "step": 16
    },
    {
      "type": "task_continue_response",
      "continue_request_id": "continue_<unique-id>"
    }
  ],
  "databricks_options": {
    "long_task": true
  },
  "stream": true
}

De continue_request_id moet overeenkomen met de id van de task_continue_request.

Bekende beperkingen

• Als één aanroep van een hulpprogramma of modeloproep langer wordt uitgevoerd dan de time-out van de API, kan er nog steeds een time-out optreedt voor de aanvraag omdat het vervolgcontrolepunt alleen tussen stappen kan worden geactiveerd.
• Volledige langlopende agentondersteuning, inclusief time-outs tijdens afzonderlijke aanroepen van hulpprogramma's of modeloproepen, is nog niet beschikbaar.