Conceitos: IA generativa no Azure Databricks

Uma aplicação GenAI é uma aplicação que utiliza modelos de IA generativa (como grandes modelos de linguagem, modelos de geração de imagens e modelos de texto para fala) para criar novos resultados, automatizar tarefas complexas ou realizar interações inteligentes baseadas na entrada do utilizador.

Uma aplicação GenAI pode ser alimentada por chamadas simples a LLMs ou outros modelos GenAI, ou por agentes de IA complexos. Leia mais sobre os níveis de complexidade.

Agentes, ferramentas, avaliações, modelos e outros aspetos das aplicações GenAI podem ser personalizados com os seus dados proprietários. Esta personalização baseada em dados conduz à inteligência de dados, permitindo-lhe ir além da inteligência geral oferecida pelos modelos de IA predefinidos.

Aplicações GenAI

Uma aplicação GenAI voltada para o utilizador pode assumir várias formas, tais como:

• Uma aplicação de chat, como uma que é implementada usando Databricks Apps
• Um endpoint API, como um agente implementado no Model Serving
• Uma função SQL para analistas, como uma Função de IA

O sucesso com aplicações GenAI requer frequentemente dois conjuntos de competências: desenvolvimento de aplicações e avaliação de IA. O desenvolvimento de aplicações GenAI é muito semelhante ao desenvolvimento de aplicações não relacionadas com IA, exigindo competências de software que dependem do tipo de aplicação. No entanto, a avaliação para aplicações GenAI requer ferramentas e técnicas especializadas para lidar com a complexidade e as respostas abertas da GenAI.

Para saber sobre a construção de aplicações GenAI específicas para o setor no Azure Databricks, veja:

• Databricks Solutions for Industry para casos de uso, clientes e outros recursos
• Databricks Solution Accelerators por exemplo implementações de casos de uso que poderá executar e modificar

Avaliação GenAI

Os modelos, agentes e aplicações GenAI apresentam frequentemente comportamentos complexos e abertos. Os utilizadores podem ser autorizados a introduzir qualquer consulta. Um agente de IA pode ser autorizado a recolher texto, imagens e muito mais durante a execução. O resultado pode ser texto arbitrário, imagens ou outros meios, e pode haver muitas respostas "boas".

Estas complicações tornam difícil avaliar a GenAI. Uma avaliação adequada exige:

• Automação usando IA para avaliar IA
• Feedback humano de especialistas e utilizadores para recolher a verdade no terreno e calibrar avaliações automatizadas
• Mergulhar profundamente em agentes complexos para compreender e depurar comportamentos

O MLflow gerido pelo Azure Databricks e ferramentas relacionadas fornecem as bases para a avaliação do GenAI:

• Avaliar e monitorizar agentes de IA - Aprenda sobre avaliação, monitorização da produção e feedback humano.
• Comece: MLflow 3 para GenAI - Experimente rastrear, avaliar e recolher feedback humano.
• MLflow Tracing - Observabilidade GenAI - Aprenda sobre MLflow Tracing para registar e analisar o comportamento dos agentes.

Agents

Um agente ou sistema agente é um sistema impulsionado por IA que pode perceber, decidir e agir autonomamente num ambiente para alcançar objetivos. Ao contrário de um modelo GenAI autónomo que só produz uma saída quando solicitado, um sistema agente possui um grau de agência. Os agentes de IA modernos utilizam um modelo GenAI como o "cérebro" de um sistema que:

1. Recebe solicitações de usuários ou mensagens de outro agente.
2. Razões sobre como proceder: quais dados buscar, qual lógica aplicar, quais ferramentas chamar ou se deve solicitar mais entrada do usuário.
3. Executa um plano e, possivelmente, chama várias ferramentas ou delega a subagentes.
4. Retorna uma resposta ou solicita esclarecimentos adicionais ao usuário.

Ao fazer a ponte entre inteligência geral (as capacidades pré-treinadas do modelo GenAI) e inteligência de dados (o conhecimento especializado e APIs específicas do seu negócio), os sistemas de agentes permitem casos de uso empresariais de alto impacto, como fluxos avançados de serviço ao cliente, bots analíticos ricos em dados e orquestração multiagente para tarefas operacionais complexas.

Existe um contínuo desde modelos simples de GenAI até agentes complexos. Para saber mais, consulte Padrões de design de sistemas de agentes.

O Azure Databricks oferece uma variedade de opções para construir agentes, desde totalmente guiados até totalmente personalizados:

• O Assistente de Conhecimento e as funções de IA fornecem orientações para criação de agentes.

• O AI Playground fornece uma interface para prototipar agentes de chamada de ferramentas, a partir da qual pode exportar o código gerado dos agentes.
• Os agentes personalizados permitem-lhe construir e implementar agentes usando código personalizado ou bibliotecas de autoria de agentes de terceiros.

Ferramentas

Os agentes de IA podem usar ferramentas para recolher informações ou realizar ações. As ferramentas são funções de interação única que um LLM pode invocar para realizar uma tarefa bem definida. O modelo de IA normalmente gera parâmetros para cada chamada de ferramenta, e a ferramenta fornece uma interação direta de entrada-saída.

Categorias comuns de ferramentas incluem:

• Ferramentas que recuperam ou analisam dados
  • Recuperação semântica: Consulte um índice vetorial para localizar texto relevante ou outros dados não estruturados.
  • Recuperação estruturada: Execute consultas SQL ou utilize APIs para recuperar informação estruturada.
  • Ferramenta de pesquisa web: Pesquise na internet ou num corpus interno da web.
  • Modelos clássicos de ML: Invocam modelos de aprendizagem automática para realizar classificação, regressão ou outras previsões.
  • Modelos GenAI: Gerar saídas especializadas, como código ou imagens.
• Ferramentas que modificam o estado de um sistema externo
  • Chamada API: Chamar endpoints de CRM, serviços internos ou outras integrações de terceiros.
  • Integração com email ou aplicação de mensagens: Publique uma mensagem ou envie uma notificação.
• Ferramentas que executam lógica ou executam uma tarefa específica
  • Execução de código: Execute código fornecido pelo utilizador ou gerado por LLM num sandbox.

As ferramentas podem ser integradas na lógica agentica ou acedidas através de interfaces padronizadas como o MCP.

Ferramentas vs. agentes:

• As ferramentas realizam uma única operação bem definida. Os agentes podem realizar tarefas de natureza mais aberta.
• As ferramentas são geralmente sem estado e não mantêm um contexto contínuo para além de cada invocação. Os agentes mantêm o estado enquanto resolvem tarefas iterativamente.

Gestão de erros e segurança das ferramentas:

Como cada chamada de ferramenta é uma operação externa, como uma chamada de API, o sistema deve tratar as falhas de forma eficiente. Time-outs, respostas mal formadas ou entradas inválidas não devem causar a falha completa do agente. Em produção, limite o número de chamadas de ferramenta permitidas, tenha uma resposta alternativa caso as chamadas falhem e aplique mecanismos de proteção para garantir que o sistema agente não tente repetidamente a mesma ação que falhou.

Saiba mais sobre ferramentas de IA no Databricks:

• Ferramentas de agentes de IA - Guia para abordagens de ferramentas
• Protocolo de Contexto de Modelo (MCP) em Databricks - Servidores MCP geridos, personalizados e externos

Modelos GenAI e LLMs

Grandes Modelos de Linguagem (LLMs) são modelos de IA treinados com conjuntos massivos de dados textuais que podem compreender, gerar e raciocinar sobre a linguagem humana. Os LLMs alimentam aplicações como chatbots, assistentes de código e ferramentas de geração de conteúdos, prevendo e produzindo texto contextualmente relevante com base em prompts de entrada.

De forma mais geral, os modelos GenAI ou modelos de fundação são treinados com grandes volumes de texto, imagem, vídeo, áudio ou outros dados para aprender sobre modos para além do texto. Modelos multimodais aprendem a conciliar a linguagem humana com imagens, áudio e outros meios. Os LLMs são um tipo de GenAI ou modelo de fundação, embora estes termos sejam frequentemente usados de forma vaga e intercambiável.

Os modelos GenAI fornecem a inteligência por detrás dos agentes e aplicações GenAI. Aplicações simples são frequentemente construídas usando um único modelo personalizado com engenharia de prompts.

Saiba mais sobre a utilização de modelos GenAI no Azure Databricks:

• Comece: Consulta LLMs e protótipo de agentes de IA sem código
• Modelos de base hospedados pelo Databricks disponíveis nas APIs do Modelo de Fundação
• Saiba mais sobre o AI Gateway para governar modelos GenAI

Engenharia de prompts

Os modelos GenAI geralmente recebem prompts ou instruções que indicam ao modelo como lidar com a entrada do utilizador. Os prompts podem ser fortemente personalizados com passos detalhados, conhecimento de especialistas, dados e outras informações.

O Azure Databricks oferece formas flexíveis de fazer engenharia de prompts. Por exemplo:

• O Knowledge Assistant automatiza a elaboração de prompts de forma oculta, com base nos seus dados e feedback.

• O AI Playground fornece uma interface para engenharia manual e interativa de prompts.
• MLflow Prompt Optimization e DSPy fornecem rotinas de otimização de prompts orientadas por dados.

Modelos de afinação fina

Os modelos GenAI também podem ser personalizados através de fine-tuning, que personaliza um modelo para um domínio ou aplicação específica usando os seus dados personalizados.

O Azure Databricks fornece formas flexíveis de ajustar modelos finamente. Por exemplo:

• O Knowledge Assistant automatiza a personalização baseada em dados, com potencial para fazer ajustes finos nos bastidores.
• O AI Runtime fornece infraestrutura de computação para ajustes finos totalmente personalizáveis. Ver exemplos.

O que é uma plataforma GenAI?

A GenAI requer uma plataforma combinada de dados + IA. Para programadores e administradores, os componentes-chave da GenAI devem estar ligados e governados numa plataforma simples e unificada.

Os principais componentes incluem:

• Ativos de IA, como modelos, agentes e aplicações
• Ativos de dados como ficheiros, tabelas, pipelines de processamento, índices vetoriais e repositórios de funcionalidades
• Implementações de IA, como endpoints para modelos e agentes
• Ferramentas para construir e implementar ativos de IA e dados

As principais capacidades de governação incluem:

• Governação unificada da IA e dos ativos de dados. Saiba mais em O que é o Unity Catalog?.
• Governação unificada dos endpoints dos modelos GenAI. Saiba mais em AI Gateway.
• Abordagem de segurança unificada. Saiba mais em Databricks IA Security.
• Administração unificada de IA e ferramentas de dados. Saiba mais em Administração.

Veja também as capacidades de IA generativa do Azure Databricks e a arquitetura do Databricks.

Inteligência geral vs. inteligência de dados

• Inteligência geral refere-se ao que o LLM sabe inerentemente através de um pré-treino amplo em textos diversos. Isto é útil para a fluência linguística e raciocínio geral.
• Inteligência de dados refere-se aos dados e APIs específicos do domínio da sua organização. Isso pode incluir registros de clientes, informações sobre produtos, bases de dados de conhecimento ou documentos que reflitam seu ambiente de negócios exclusivo.

Os sistemas de agentes combinam estas duas fontes de conhecimento: começam com o conhecimento amplo e genérico de um LLM e depois trazem dados em tempo real ou específicos do domínio para responder a perguntas detalhadas ou realizar ações especializadas. Com o Azure Databricks, pode incorporar inteligência de dados nas suas aplicações GenAI em todos os níveis:

• Fontes de dados como índices vetoriais e Genie

• Agentes, incluindo tanto designs personalizados de agentes como designs automatizados através do Assistente de Conhecimento e funções de IA.

• Dados e métricas de avaliação
• Otimização de prompts baseada em dados de avaliação

• Ajuste fino do modelo, incluindo tanto ajuste personalizado como afinação automatizada pelo Assistente de Conhecimento e funções de IA.

GenAI vs. ML vs. deep learning

As fronteiras entre inteligência artificial generativa (GenAI), aprendizagem automática (ML) e aprendizagem profunda (DL) podem ser difusas. Este guia foca-se na GenAI, mas as seguintes funcionalidades da plataforma Databricks suportam ML, deep learning e GenAI:

• O Model Serving suporta modelos de ML, deep learning e GenAI. Podes usá-lo para inferência em lote GenAI e para implementar agentes ou modelos finamente ajustados usando serviço personalizado de modelos.

• Runtime de IA e Runtime do Databricks com suporte a GPU para Aprendizagem Automática podem ser usados para treinar e aperfeiçoar modelos de Aprendizagem Automática, aprendizagem profunda e GenAI.

• O rastreamento de experimentos MLflow pode ser usado para acompanhar tanto os experimentos e execuções clássicos de ML como os de GenAI.
• Databricks Feature Store pode ser utilizado para gerir e servir dados estruturados tanto para ML clássico como para GenAI.

Mais informações

• Desafios principais na construção de aplicações GenAI - Grandes desafios em GenAI e soluções para estes usando Databricks
• Padrões de design de sistemas de agentes - Agentes GenAI simples a complexos, além de conselhos práticos
• IA no Databricks - Casos de uso, clientes e outros recursos para IA no Databricks