Mémoire de l’agent IA

La mémoire permet aux agents d’INTELLIGENCE artificielle de mémoriser des informations antérieures dans la conversation ou dans les conversations précédentes. Cela permet aux agents de fournir des réponses contextuelles et de créer des expériences personnalisées au fil du temps. Utilisez Databricks Lakebase, une base de données Postgres OLTP complètement managée, pour gérer l’état et l’historique des conversations.

Spécifications

Mémoire à court terme et à long terme

La mémoire à court terme capture le contexte dans une session de conversation unique, tandis que la mémoire à long terme extrait et stocke les informations clés dans plusieurs conversations. Vous pouvez générer votre agent avec l’un ou les deux types de mémoire.

Agents avec mémoire à court terme et à long terme

Mémoire à court terme Mémoire à long terme
Capturer le contexte dans une session de conversation unique à l’aide d’ID de thread et de points de contrôle
Maintenir le contexte des questions de suivi dans une session
Extraire et stocker automatiquement des insights clés sur plusieurs sessions
Personnaliser les interactions en fonction des préférences passées
Créer une base de connaissances sur les utilisateurs qui améliorent les réponses au fil du temps

Get started

Pour créer un agent avec de la mémoire sur Databricks Apps, clonez un modèle d’application prédéfini et suivez le flux de travail de développement décrit dans Créer un agent IA et le déployer sur les applications. Les modèles suivants montrent comment ajouter de la mémoire à court terme et à long terme aux agents à l’aide de frameworks populaires.

LangGraph

Clonez le modèle avancé agent-langgraph pour créer un agent LangGraph avec mémoire à court terme et à long terme. Le modèle utilise le point de contrôle intégré de LangGraph avec Lakebase pour la gestion durable de l’état, notamment le contexte de conversation basé sur les threads et les insights utilisateur persistants entre les sessions.

git clone https://github.com/databricks/app-templates.git
cd app-templates/agent-langgraph-advanced
Kit de développement logiciel (SDK) Des agents OpenAI

Clonez le modèle agent-openai-avancé pour générer un agent à l’aide du Kit de développement logiciel (SDK) des agents OpenAI avec de la mémoire à court terme. Le modèle utilise Lakebase pour la gestion pérenne de l'état, permettant des conversations multi-tours avec gestion d'état et gestion automatique de l'historique des conversations.

git clone https://github.com/databricks/app-templates.git
cd app-templates/agent-openai-advanced

Exécution en arrière-plan pour les agents de longue durée

Databricks Apps applique un délai d’expiration de connexion HTTP d’environ 300 secondes. L’exécution en arrière-plan permet aux tâches de l’agent qui dépassent cette limite de continuer à s’exécuter une fois la connexion fermée ; le client récupère les résultats à partir d’un point de terminaison distinct ou se reconnecte pour reprendre la diffusion en continu.

Les modèles avancés — agent-langgraph-advanced et agent-openai-advanced — étendent les modèles de base avec la mémoire à court terme et l’exécution en arrière-plan à long terme via LongRunningAgentServer de databricks-ai-bridge, qui fournit :

  • Mode d’arrière-plan : définissez background=true dans le corps de la requête pour retourner immédiatement un ID de réponse et exécuter l’agent de manière asynchrone.
  • Récupérer le point de terminaison : envoyezGET /responses/{id} pour extraire le résultat final ou pour ouvrir une connexion de streaming à une exécution en cours.
  • Diffusion en continu pouvant être reprise : chaque événement envoyé par le serveur inclut un sequence_number. Si la connexion se coupe, reconnectez-vous avec starting_after=N pour reprendre l'événement suivant.
  • TASK_TIMEOUT_SECONDS Variable d’environnement qui limite la durée de la tâche en arrière-plan. Cela est indépendant du délai d'expiration de 120 secondes de la connexion HTTP des Databricks Apps, qui ne s'applique qu'à une seule requête HTTP. (valeur par défaut : 1 heure)

Le modèle avancé README affiche des exemples de requêtes pour cinq modes clients :

  • Appeler : une requête POST standard non diffusante.
  • Stream : Une requête POST standard en streaming.
  • Arrière-plan, puis interroger : POST avec background=true, puis interroger GET /responses/{id} jusqu’à ce que cela soit terminé.
  • Streaming en arrière-plan, reprise par le flux : POST avec background=true et stream=true; si la connexion tombe, reconnectez-vous à GET /responses/{id} avec stream=true.
  • Streaming en arrière-plan, reprendre le streaming par sondage : même procédure de démarrage ; si la connexion est interrompue, interrogez GET /responses/{id} pour le résultat final.

Déployer et interroger votre agent

Après avoir configuré votre agent avec de la mémoire, suivez les étapes décrites dans Créer un agent IA et déployez-le sur Applications pour exécuter votre agent localement, l’évaluer et le déployer sur Databricks Apps.

Étapes suivantes