Testar uma versão da aplicação com a interface de chat da aplicação "Review"

O MLflow Review App inclui uma interface de bate-papo integrada que permite que especialistas em domínio testem interativamente seu aplicativo GenAI e forneçam feedback imediato. Utilize a UI do bate-papo como uma forma de avaliar o ambiente do seu aplicativo.

Importante

A interface de chat da Review App requer um agente implementado num endpoint de Serviço de Modelos. Atualmente, não suporta agentes implementados nas aplicações Databricks. Se implementares o teu agente nas aplicações Databricks, ainda podes rotular os traços existentes para avaliação. A Databricks está a integrar suporte de revisão e feedback diretamente no modelo do chatbot.

Rever a interface de chat da aplicação

Quando usar testes da interface de chat

Testar a interface de utilizador do bate-papo é ideal quando se deseja:

  • Teste fluxos de conversação e interações de vários turnos com especialistas em domínio
  • Coletar feedback de especialistas sobre as respostas e o comportamento do aplicativo
  • Validar atualizações em um ambiente seguro antes da implantação de produção

Pré-requisitos

  • MLflow e pacotes necessários devem ser instalados. Os recursos descritos neste guia exigem o MLflow versão 3.1.0 ou superior. Execute o seguinte comando para instalar ou atualizar o SDK do MLflow, incluindo extras necessários para a integração do Databricks:

    pip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"

  • Seu ambiente de desenvolvimento deve estar conectado ao Experimento MLflow onde os rastreamentos do aplicativo GenAI são registrados.

  • Os especialistas em domínio precisam das seguintes permissões para usar a UI de chat do aplicativo Review:

    • Acesso à conta: deve ser provisionado em sua conta do Databricks, mas não precisa acessar seu espaço de trabalho.

      Para usuários sem acesso ao espaço de trabalho, os administradores de conta podem:

      • Usar o provisionamento SCIM no nível da conta para sincronizar usuários do seu provedor de identidade
      • Registrar manualmente usuários e grupos no Databricks

      Consulte Gerenciamento de usuários e grupos para obter detalhes.

    • Acesso ao ponto de extremidade: permissão CAN_QUERY para o ponto de extremidade de serviço do modelo.

Configurar e recolher feedback com a Interface de Utilizador do bate-papo

A interface do usuário de bate-papo do aplicativo MLflow Review se conecta a uma versão implantada do seu aplicativo GenAI, permitindo que especialistas em domínio conversem com seu aplicativo e forneçam feedback imediato. Siga estas etapas para configurar a interface do usuário do bate-papo e coletar comentários:

  1. Empacota a sua aplicação usando o Agent Framework e implementa-a usando Deploy on Apps como um ponto final de serviço de modelo.

  2. Adicione o ponto de extremidade ao aplicativo de revisão do experimento:

    Observação

    O exemplo abaixo adiciona um LLM hospedado no Databricks ao aplicativo de revisão. Substitua o ponto de extremidade pelo ponto de extremidade do seu aplicativo na etapa 1.

    from mlflow.genai.labeling import get_review_app

# Get review app for current MLflow experiment
review_app = get_review_app()

# Connect your deployed agent endpoint
review_app.add_agent(
    agent_name="claude-sonnet",
    model_serving_endpoint="databricks-claude-sonnet-4-5",
)

print(f"Share this URL: {review_app.url}/chat")

  3. Uma vez configurado, partilhe o URL da Review App com os especialistas no seu domínio. Serão capazes de:

  • Aceda à interface de chat através do seu browser
  • Interaja com seu aplicativo digitando perguntas
  • Fornecer feedback após cada resposta usando os controles de feedback internos
  • Continue a conversa para testar várias interações

Revisar a renderização de conteúdo do aplicativo

A interface de utilizador do chat usa consultas de peritos no domínio como entrada, respostas do ponto de extremidade do agente em tempo real como saída, e armazena resultados em registos no MLflow. Você não precisa fornecer um esquema de rotulagem personalizado, pois essa abordagem usa perguntas de feedback fixas.

A Aplicação de Revisão exibe automaticamente diferentes tipos de conteúdo do seu MLflow Trace:

  • Documentos recuperados: os documentos dentro de um RETRIEVER intervalo são renderizados para exibição
  • Mensagens no formato OpenAI: As entradas e saídas do MLflow Trace após as conversas de bate-papo do OpenAI são renderizadas:
  • Dicionários: As entradas e saídas do MLflow Trace que são ditames são renderizadas como JSONs impressos com elegância

Caso contrário, o conteúdo do input e output da extensão raiz de cada rastreamento será usado como o conteúdo principal para revisão.

Ver comentários do chat

Todas as interações e feedback coletados através da interface de chat são automaticamente capturados como rastreamentos no MLflow.

Para visualizar os vestígios das interações do chat:

  1. Navegue até a interface do usuário do MLflow
  2. Encontre o experimento associado à sessão do aplicativo Review
  3. Navegue pelos registos para ver o histórico completo de conversação
  4. Reveja os comentários anexados a cada resposta

Próximos passos

  • Last updated on