Sistemas de IA terrestres

Grounding é o processo de conectar as respostas de um sistema de IA a dados verificados do mundo real, em vez de depender apenas do conhecimento geral que o modelo adquiriu durante o treino. Sem fundamento, os modelos de IA generativa baseiam-se exclusivamente em padrões aprendidos durante o treino — que podem estar desatualizados, incompletos ou incorretos para um caso de uso específico. O aterramento é tanto um controlo de qualidade como um controlo de segurança.

Porque é que o aterramento é importante para a segurança

Do ponto de vista da segurança, sistemas de IA sem fundamento apresentam vários riscos:

• Resultados fabricados: Um modelo sem fundamento é mais provável de gerar informação afirmada com confiança, mas factualmente incorreta, que os utilizadores podem agir sem verificação
• Informação obsoleta: Modelos treinados com dados de meses ou anos atrás podem fornecer orientações desatualizadas, particularmente perigosas para aconselhamento de segurança, requisitos de conformidade ou documentação de produtos
• Âmbito irrestrito: Sem fundamento, um modelo pode responder a perguntas sobre qualquer tema, incluindo áreas em que não tem conhecimento suficiente para ser fiável

A vinculação limita o modelo a trabalhar com fontes de dados específicas e verificadas, reduzindo a superfície de ataque para riscos de resultados fabricados e ajudando a fazer cumprir os limites definidos na instrução do sistema.

Técnicas de aterramento

Várias técnicas são frequentemente utilizadas para fundamentar sistemas de IA em dados verificados:

Geração aumentada de recuperação (RAG)

O RAG é a técnica de grounding mais amplamente adotada. Funciona assim:

1. Recuperação de documentos ou dados relevantes de uma base de conhecimento, base de dados ou índice de pesquisa com base na consulta do utilizador
2. Complementando o prompt com esta informação recuperada
3. Gerar uma resposta informada tanto pelas capacidades do modelo como pelos dados específicos recuperados

O RAG permite que a IA forneça respostas atuais e específicas do contexto sem que o modelo precise de ser retreinado. Por exemplo, um assistente de IA ligado ao RAG pode responder a perguntas sobre as políticas internas de uma organização, recuperando os documentos de políticas mais recentes no momento da consulta.

Considerações de segurança para implementações de RAG incluem:

• Controlo de acesso sobre dados fonte: Garantir que o sistema de recuperação respeita os mesmos controlos de acesso que o utilizador. A IA não deve recuperar documentos que o utilizador não está autorizado a ver.
• Integridade dos dados de origem: Proteja a base de conhecimento contra adulterações. Se um atacante conseguir modificar os dados de aterramento, pode influenciar as respostas da IA — uma forma de manipulação indireta.
• Citação e rastreabilidade: Configure o sistema para citar quais as fontes que informaram cada resposta, tornando possível verificar a precisão e detetar quando o modelo se desvia dos seus dados de fundamentação.

Engenharia rápida para aterramento

Técnicas avançadas de engenharia de comandos complementam o RAG ao instruir o modelo sobre como usar os seus dados de base.

• Inclua instruções explícitas para basear as respostas apenas no contexto fornecido
• Defina como o modelo deve responder quando os dados de grounding não contêm a resposta ("Com base na informação disponível, não tenho resposta para essa pergunta")
• Estabelece regras sobre como o modelo deve lidar com informação conflitante entre fontes

Deteção de aterramento

Algumas plataformas de IA oferecem deteção de fundamentação como capacidade incorporada. Esta funcionalidade avalia as alegações do modelo em relação aos materiais de origem fornecidos, sinalizando respostas que contêm informação não suportada pelos dados de fundamentação. A deteção de aterramento funciona como uma verificação de segurança pós-geração, detetando saídas fabricadas que passaram por outros controlos.

Melhores práticas de aterramento

Ao implementar o "grounding" (fundamentação) em sistemas de IA:

• Mantenha os dados de base atualizados: Estabeleça processos para atualizar regularmente a base de conhecimento. Dados de aterramento estagnados podem ser tão problemáticos quanto a ausência de dados de aterramento.
• Validar a qualidade da fonte: Use apenas fontes autorizadas e verificadas para fundamentação. Fundamentar-se em dados pouco fiáveis transfere essa falta de fiabilidade para as respostas da IA.
• Monitorar métricas de fundamentação: Acompanhe com que frequência as respostas do modelo são fundamentadas versus não fundamentadas. Um aumento nas respostas sem fundamentação pode indicar um problema no processo de recuperação ou nos próprios dados de fundamentação.
• Combine com filtros de conteúdo: Use a deteção de groundedness juntamente com filtros de conteúdo e instruções de metaprompt para uma abordagem de defesa em camadas.