Almacenes vectoriales para la búsqueda de archivos

Los objetos de almacén de vectores proporcionan a la herramienta de búsqueda de archivos la capacidad de buscar archivos. Agregar un archivo a un almacén de vectores proporciona al modelo Foundry del agente conocimientos más allá de sus datos de entrenamiento. El servicio analiza, fragmenta, inserta e indexa el archivo para que la herramienta pueda ejecutar tanto la palabra clave como la búsqueda semántica.

Los almacenes de vectores se pueden adjuntar tanto a agentes como a conversaciones. Actualmente, puede adjuntar como máximo un almacén de vectores a un agente y, como máximo, un almacén de vectores a una conversación. Para obtener información general conceptual sobre las conversaciones, consulte Componentes en tiempo de ejecución del agente.

En la experiencia actual del desarrollador de agentes, la generación de respuestas utiliza respuestas y conversaciones. Algunos SDK y ejemplos anteriores usan el término run. Si ve ambos términos, trate ejecutar como generación de respuestas. Para obtener instrucciones sobre la migración, consulte Migración al nuevo servicio de agente.

Para obtener una lista de los límites de búsqueda vectorial (por ejemplo, tamaños máximos de archivo permitidos), consulte el artículo cuotas y límites .

Requisitos previos

Límites clave y valores predeterminados

Los vectores de almacenamiento suelen ser el primer lugar donde fallan los flujos de trabajo de recuperación de datos en producción, por lo que ayuda conocer los valores por defecto y los límites estrictos.

  • Archivos por almacén de vectores: cada almacén de vectores puede contener hasta 10 000 archivos.
  • Datos adjuntos: puede adjuntar como máximo un almacén de vectores a un agente y, como máximo, un almacén de vectores a una conversación.
  • Configuración de recuperación predeterminada (búsqueda de archivos):
    • Tamaño del fragmento: 800 tokens
    • Superposición de segmentos: 400 tokens
    • Modelo de inserción: inserción de texto-3-large a 256 dimensiones
    • Número máximo de fragmentos agregados al contexto: 20

Para conocer los límites de tamaño de archivo y token, consulte cuotas y límites.

Conceptos clave

Término Significado
Almacén de vectores Un contenedor para el contenido de archivo que se puede buscar (fragmentos e incrustaciones) que usa la herramienta de búsqueda de archivos.
Ingestión Proceso asincrónico que analiza, fragmenta, inserta e indexa un archivo para la búsqueda.
Preparación Indica si se ha completado la ingesta y si el almacén de vectores es accesible para búsquedas.
Política de expiración Directiva de ciclo de vida que elimina un almacenamiento de vectores después de un período de inactividad.

La búsqueda de archivos aplica procedimientos recomendados de recuperación para ayudar al agente a encontrar el contenido correcto de los archivos. Según la consulta y los datos, la herramienta puede:

  • Vuelva a escribir consultas de usuario para mejorar la recuperación.
  • Divida las consultas complejas en varias búsquedas.
  • Ejecute búsquedas de palabras clave y semánticas en almacenes de vectores de agente y conversación.
  • Reordene los resultados antes de agregarlos al contexto del modelo.

Para obtener la configuración de recuperación predeterminada actual (tamaño de fragmento y superposición, insertar modelo y el número máximo de fragmentos agregados al contexto), consulte Funcionamiento.

Dónde residen los datos (configuración básica frente a agente estándar)

La ubicación de los archivos y los recursos de búsqueda depende de la configuración del agente:

  • Configuración básica del agente: La búsqueda de archivos utiliza recursos de búsqueda y almacenamiento administrados por Microsoft.
  • Standard agent setup: La búsqueda de archivos usa los recursos Azure Blob Storage y Búsqueda de Azure AI que se conectan durante la instalación, por lo que los archivos permanecen en el almacenamiento.

Para configurar el entorno, consulte Configuración del entorno del agente. Para más detalles, consulte Dependencia en la configuración del agente.

Asegúrate de que el almacén de vectores esté preparado antes de crear respuestas

Asegúrese de que todos los archivos de un almacén de vectores se procesan completamente antes de crear una respuesta. Este paso garantiza que todos los datos del almacén de vectores se puedan buscar.

Para comprobar la preparación, use los asistentes de sondeo del SDK (por ejemplo, create-and-poll y upload-and-poll) o sondee el objeto de almacén de vectores hasta que se complete su estado. Para obtener ejemplos de código, consulte Herramienta de búsqueda de archivos para agentes.

Durante el proceso de ingestión, un almacén de vectores puede estar en estado in_progress. Cuando se completa la ingesta, el estado cambia a completado.

Como medida de respaldo, la generación de respuestas incluye una espera máxima de 60 segundos si el almacén de vectores de la conversación tiene archivos que todavía se están procesando. Esta espera de contingencia no se aplica al almacén de vectores del agente.

Lista de comprobación de flujo de trabajo de un extremo a otro

Utilice esta lista de comprobación para validar un flujo de trabajo de almacén de vectores desde la ingesta hasta la administración del ciclo de vida.

  1. Decida si desea utilizar la configuración básica del agente o la configuración estándar del agente, dependiendo de dónde quiere que residan sus archivos y recursos de búsqueda. Consulte Dónde residen los datos (configuración básica frente a agente estándar).
  2. Cargue los archivos y cree un almacén de vectores. Para obtener un ejemplo paso a paso, consulte Carga de archivos y agréguelos a un almacén de vectores.
  3. Espere a que finalice la ingesta antes de generar respuestas. Utilice los auxiliares de sondeo del SDK o sondee el almacén de vectores hasta que el estado sea 'completado' y no haya archivos en 'in_progress'. Ver Asegurar la preparación del almacén de vectores antes de crear respuestas.
  4. Adjunte el almacén de vectores al agente o a la conversación que usted use para la búsqueda de archivos. Tenga en cuenta los límites de datos adjuntos. Consulte Almacenes vectoriales.
  5. Cree una respuesta que use la búsqueda de archivos y compruebe que la herramienta está recuperando información de los orígenes esperados. Consulte Create response with file search (Crear respuesta con búsqueda de archivos ) y Verify results (Comprobar resultados).
  6. Administrar el ciclo de vida: quite los archivos que ya no necesite y planee las directivas de expiración (especialmente para los almacenes de vectores creados por los asistentes de conversación). Ver Almacenes de vectores y los almacenes de vectores de conversación tienen directivas de expiración predeterminadas.

Agregar archivos y administrar almacenes de vectores

Agregar archivos a almacenes vectoriales es una operación asincrónica. Para asegurarse de que la ingesta se complete, use las funciones auxiliares de creación y sondeo en los SDK oficiales. Si no utiliza un SDK, revise el almacén de vectores hasta que el estado esté completado y no queden archivos en in_progress.

Los archivos también se pueden agregar a un almacén de vectores después de crearlos mediante la creación de archivos de almacén vectorial. Como alternativa, puede agregar varios archivos a un almacén de vectores mediante la creación de lotes de hasta 500 archivos.

Al cargar un archivo para crear un almacén de vectores, el sistema hace lo siguiente automáticamente:

  1. Fragmenta el contenido en partes administrables.
  2. Convierte cada fragmento en vectores de alta dimensión mediante modelos de inserción.
  3. Almacena estos vectores en un índice de búsqueda optimizado.
  4. Crea asociaciones entre los vectores y el contenido original.

Eliminar archivos de almacenes vectoriales

Puede quitar archivos de un almacén de vectores de dos maneras diferentes:

  • Elimine el objeto de archivo de almacén vectorial.
  • Elimine el objeto de archivo subyacente. Esto elimina el archivo de todas las configuraciones del almacén de vectores de todos los agentes y conversaciones que tienen lugar en su organización.

Gestión del ciclo vital con directivas de expiración

Las directivas de expiración le ayudan a gestionar el ciclo de vida del almacén vectorial. Puede establecer estas directivas al crear o actualizar el objeto de almacén de vectores.

Los almacenes de vectores de conversación tienen directivas de expiración predeterminadas

Los almacenes de vectores creados mediante asistentes de conversación tienen una directiva de expiración predeterminada de siete días después de que estuvieran activas por última vez (definida como la última vez que se usó el almacén de vectores durante la generación de respuestas).

Cuando expira un almacén de vectores, se produce un error en la generación de respuestas para esa conversación. Para corregir el problema, vuelva a crear un nuevo almacén de vectores con los mismos archivos y vuelva a adjuntarlo a la conversación. Para más detalles, consulte Las tiendas de vectores de conversaciones tienen políticas de expiración predeterminadas.

Tipos de archivo admitidos y límites de clave

Para obtener la lista de tipos de archivo admitidos y los requisitos de codificación, consulte Tipos de archivo admitidos.

Límites clave que debe tener en cuenta:

  • Puede adjuntar como máximo un almacén de vectores a un agente y, como máximo, un almacén de vectores a una conversación.
  • Los límites de tamaño de archivo y token varían según la característica. Consulte Cuotas y límites.

Solución de problemas

  • El almacén de vectores aún no es accesible para la búsqueda: Espere a que finalice la ingestión. Use los asistentes de sondeo del SDK o sondee el almacén de vectores hasta que se complete su estado.
  • La generación de respuestas falla después de unos días: podría ser que el almacén de vectores de conversación haya expirado. Vuelva a crear un nuevo almacén de vectores con los mismos archivos y vuelva a adjuntarlo.
  • Un archivo desapareció de varios agentes o conversaciones: es posible que haya eliminado el objeto de archivo subyacente, que quita el archivo de todas las configuraciones del almacén de vectores de toda la organización.
  • Error de carga o ingesta: compruebe los límites de tamaño de archivo y token en Cuotas y límites.

Pasos siguientes

  • Last updated on