Revise bibliotecas de código aberto de IA

O software de código aberto (OSS) é uma parte integrante do desenvolvimento moderno de software, e os sistemas de IA não são exceção. Os projetos de IA dependem tipicamente de frameworks open-source, bibliotecas de modelos, modelos pré-treinados e ferramentas de processamento de dados. Tal como outros componentes OSS, as bibliotecas específicas de IA introduzem riscos na cadeia de abastecimento que exigem uma revisão abrangente de segurança antes da adoção.

Porque é que as bibliotecas open-source de IA precisam de atenção especial

As bibliotecas OSS de IA apresentam alguns riscos que vão além dos dependências tradicionais de software:

• Modelos pré-treinados: Muitas bibliotecas de IA vêm com ou descarregam modelos pré-treinados. Um modelo comprometido pode conter backdoors ou comportamentos enviesados que são difíceis de detetar apenas através de revisão de código.
• Dependências do pipeline de dados: As bibliotecas de IA frequentemente tratam do carregamento, transformação e extração de características de dados. Vulnerabilidades nestes componentes podem expor dados de treino ou permitir o envenenamento de dados.
• Riscos de serialização: Modelos de IA são frequentemente guardados e carregados usando formatos de serialização (como pickle in Python). A desserialização de ficheiros de modelo não confiáveis pode levar à execução arbitrária de código.
• Ciclos de lançamento rápidos: As bibliotecas de IA evoluem rapidamente, com alterações frequentes e interrompidas. Organizações que se fixem a versões mais antigas podem perder correções de segurança críticas.

Avaliar a adequação das bibliotecas OSS

Antes de adotar uma biblioteca OSS de IA, avalie-a tanto do ponto de vista funcional como de segurança:

• Contexto e propósito: Defina porque está a rever esta biblioteca. Estás a integrá-lo num sistema de produção, a usá-lo para experimentação ou a avaliá-lo face a alternativas? Estabeleça critérios claros de aceitação para a avaliação.
• Avaliação de risco: Considere os riscos potenciais da utilização da biblioteca. Use a modelação de ameaças para identificar vetores de ataque — como é que esta biblioteca se encaixa na superfície de ataque da sua aplicação? O que acontece se a biblioteca for comprometida?
• Conformidade com a licença: Verifique se a licença da biblioteca é compatível com as políticas da sua organização, especialmente para uso comercial ou governamental.
• Saúde da manutenção: Verifique quão ativamente a biblioteca é mantida. Analisa a frequência de commits, os tempos de resposta a questões e o número de contribuidores ativos. Bibliotecas abandonadas ou pouco mantidas são de maior risco.

Revisão de código e análise de dependência

Realizar uma revisão técnica do código da biblioteca e da sua cadeia de dependências:

• Inspeção do código: Examine o código-fonte da biblioteca para falhas de segurança, como vulnerabilidades na injeção, práticas criptográficas inseguras e desserialização insegura. Preste atenção aos mecanismos de autenticação, validação de entrada e tratamento de erros.
• Avaliação da dependência: Avalie as dependências transitivas da biblioteca. Componentes desatualizados ou vulneráveis na árvore de dependências podem introduzir riscos mesmo que o próprio código da biblioteca seja seguro.
• Análise de composição de software (SCA): Utilize ferramentas automatizadas de SCA para identificar vulnerabilidades conhecidas (CVEs) na biblioteca e nas suas dependências. Muitas organizações integram estas ferramentas no seu pipeline CI/CD para detetar problemas precocemente.

Controlos específicos da cadeia de abastecimento de IA

Para além das práticas padrão de revisão de OSS, aplique estes controlos específicos para IA:

• Verificação da proveniência do modelo: Quando uma biblioteca inclui modelos pré-treinados, verifique de onde o modelo veio, quem o treinou e se os dados e processos de treino estão documentados. Uma lista de materiais de IA (AI-BOM) — um inventário estruturado de componentes do modelo, fontes de dados de treino e dependências — ajuda a estabelecer confiança.
• Varredura de modelos: Analisar ficheiros de modelo descarregados para payloads maliciosos conhecidos antes de os carregar. Evite desserializar ficheiros de modelo de fontes não confiáveis.
• Verificações de reprodutibilidade: Sempre que possível, verifique se os modelos podem ser reproduzidos a partir de dados e configurações de treino documentados. Isto ajuda a confirmar que o modelo não foi adulterado.
• Avaliação em sandbox: Teste novas bibliotecas de IA em ambientes isolados antes de as implementar em produção para conter qualquer comportamento inesperado.

Análise e correção de vulnerabilidades

Não presuma que outros já fizeram verificações de vulnerabilidade. Aplique a sua própria cadeia de ferramentas de avaliação:

• Análises abrangentes: Utilize scanners de vulnerabilidades para identificar potenciais vulnerabilidades de segurança na biblioteca e nas suas dependências.
• Remediação prioritária: Se forem detetadas vulnerabilidades, avalie o seu impacto e explorabilidade. Prioriza as correções com base na gravidade e exposição.
• Monitorização contínua: As bases de dados de vulnerabilidades OSS são atualizadas regularmente. Configure alertas automáticos para novos CVEs que afetem bibliotecas na sua stack de IA.