Configuración de la recuperación con Foundry IQ

Ha creado una base de conocimiento y optimizado cómo se indexa el contenido. Ahora viene el paso crítico: configurar cómo recuperan y usan esos conocimientos los agentes.

Aquí es donde se produce un error en muchas implementaciones. Puede tener contenido perfectamente indexado con una clasificación semántica excelente, pero si el agente no sabe cuándo o cómo usar la base de conocimiento, los usuarios obtienen resultados incoherentes.

Problema del comportamiento de recuperación

Tenga en cuenta lo que sucede sin una configuración adecuada. Le pregunta a su agente "¿Cuál es nuestra política de vacaciones?" Es posible que se produzcan tres comportamientos diferentes:

Solo el tercer comportamiento es aceptable para los agentes empresariales. La primera proporciona información incorrecta. El segundo carece de responsabilidad. Necesita agentes que recuperen, citen y permanezcan de manera coherente en la base de conocimiento.

Control de la recuperación con instrucciones

Las instrucciones del agente determinan el comportamiento de recuperación. Piense en ellos como el contrato entre usted y el agente sobre cómo debe usar bases de conocimiento.

Este es un enfoque básico que genera resultados incoherentes:

agent = project_client.agents.create_version(
    agent_name="hr-assistant",
    definition=PromptAgentDefinition(
        model="gpt-4o-mini",
        instructions="Answer HR questions using the knowledge base.",
        tools=[knowledge_tool]
    )
)

Esta instrucción es demasiado vaga. "Usar la base de conocimiento" no especifica cuándo se debe usar o cómo presentar los resultados. Es posible que el agente busque o no. Podría citar fuentes o no.

Escribir instrucciones de recuperación eficaces

Las instrucciones eficaces especifican tres comportamientos críticos:

1. Cuándo recuperar: indique al agente que use siempre la base de conocimiento, nunca dependa de los datos de entrenamiento.
2. Cómo citar: Especificar el formato exacto para la atribución de origen
3. Qué hacer cuando no estás seguro: definir el comportamiento por defecto cuando no se encuentra información

He aquí cómo se ve esto en la práctica:

retrieval_instructions = """You are a helpful HR assistant.

CRITICAL RULES:
- You must ALWAYS search the knowledge base before answering any question
- You must NEVER answer from your own knowledge or training data
- Every answer must include citations in this format: 【doc_id:search_id†source_name】
- If the knowledge base doesn't contain the answer, respond with "I don't have that information in our current documentation. Please contact HR directly at hr@company.com"

Your role is to provide accurate, verifiable information from company documentation."""

agent = project_client.agents.create_version(
    agent_name="hr-assistant",
    definition=PromptAgentDefinition(
        model="gpt-4o-mini",
        instructions=retrieval_instructions,
        tools=[knowledge_tool]
    )
)

Estas instrucciones crean un comportamiento coherente. El agente sabe exactamente cuándo buscar, cómo dar formato a las respuestas y qué hacer cuando la información no está disponible.

Prueba del comportamiento de recuperación

Las instrucciones solas no son suficientes. Debe comprobar que los agentes se comportan realmente como configurados. Esto requiere pruebas sistemáticas con diferentes tipos de consulta.

Configuración de una conversación de prueba

Cree una sesión de conversación y envíe consultas de prueba:

openai_client = project_client.get_openai_client()
conversation = openai_client.conversations.create()

# Test query that should trigger retrieval
response = openai_client.responses.create(
    conversation=conversation.id,
    input="How many vacation days do I get?",
    extra_body={"agent": {"name": agent.name, "type": "agent_reference"}}
)

print(response.output_text)

Qué probar

Las consultas de prueba deben abarcar diferentes escenarios de recuperación:

Evaluación de la calidad de respuesta

Las respuestas correctas muestran cuatro características:

1. Puesta en tierra : la información procede de la base de conocimiento, no de los datos de entrenamiento
2. Cita : cada notificación fáctica incluye referencias de origen
3. Relevancia : el contenido recuperado responde realmente a la pregunta.
4. Integridad : se proporciona toda la información necesaria, no solo fragmentos

Cuando encuentre respuestas que no cumplan estos criterios, ajuste las instrucciones. Agregue reglas más específicas. Aclarar casos extremos. Itere hasta que el comportamiento sea coherente.

Estrategias de recuperación para diferentes tipos de agente

Los distintos propósitos del agente requieren enfoques de recuperación diferentes. Un agente de soporte al cliente necesita un comportamiento diferente al de un asistente de investigación interno.

Agentes de soporte técnico orientados al cliente

Estos agentes necesitan una alta precisión y nunca deben proporcionar información incierta:

support_instructions = """You provide customer support using our product documentation.

Rules:
- Search the knowledge base for every product question
- Cite documentation for all technical answers
- If documentation doesn't cover a question, say "Let me connect you with a specialist" rather than guessing
- Focus on official product information, not general knowledge"""

Asistentes internos de investigación

Estos agentes pueden sintetizar entre documentos y proporcionar contexto más amplio:

research_instructions = """You help employees research topics across company documentation.

Rules:
- Search all relevant knowledge bases for comprehensive answers
- Synthesize information from multiple sources when helpful
- Always cite all sources used
- Indicate confidence level when synthesizing across documents
- Suggest related topics that might be useful"""

Expertos especializados en dominios

Estos agentes se centran profundamente en dominios de conocimiento específicos:

compliance_instructions = """You are a compliance documentation assistant.

Rules:
- Only answer questions about compliance policies and procedures
- Always cite the specific policy document and section
- If a question involves interpretation or legal advice, refer to the compliance team
- Keep answers strictly factual based on written policies
- Note the effective date of any policy you reference"""

El patrón es coherente: defina el ámbito del agente, especifique los requisitos de recuperación, establezca estándares de cita y controle explícitamente los casos perimetrales.

Pasar de pruebas a producción

Una vez que las consultas de prueba produzcan resultados coherentes y de alta calidad, estará listo para implementarse. Pero la producción presenta nuevos desafíos.

Supervise los patrones de uso reales. Los usuarios hacen preguntas de forma diferente a los escenarios de prueba. Algunas preguntas tocaron casos límite que no anticipaba. Otros revelan brechas en el contenido de la base de conocimiento.

Realice un seguimiento de estos patrones:

• Frecuencia de cita : ¿Los agentes citan de forma coherente los orígenes?
• Frecuencia de uso de respuesta por defecto - ¿Con qué frecuencia dicen los agentes "No sé"?
• Tipos de consulta : ¿Qué categorías de preguntas aparecen con más frecuencia?
• Precisión de recuperación : ¿Los documentos recuperados contienen realmente respuestas?

Use estos datos para refinar las instrucciones, mejorar el contenido de la base de conocimiento y ajustar las configuraciones de búsqueda. La calidad de recuperación mejora a través de la iteración en función del uso real.

La combinación de instrucciones claras, pruebas sistemáticas y supervisión continua crea una recuperación de conocimientos confiable que se escala a través de los agentes de la organización.