Criar um índice vetorial em um prompt flow do Azure Machine Learning (versão prévia)

Você pode usar o Azure Machine Learning para criar um índice vetorial a partir de arquivos ou pastas no seu computador, um local no armazenamento em nuvem, um ativo de dados do Azure Machine Learning, um repositório Git ou um banco de dados SQL. O Azure Machine Learning pode processar vários tipos de arquivo de apresentação, código e documento. Para obter uma lista completa, consulte tipos de arquivo com suporte. Você também pode reusar um índice existente da Pesquisa de IA do Azure (antigo Cognitive Search) em vez de criar um novo índice.

Quando um índice vetorial é criado, o Azure Machine Learning fragmenta os dados, cria inserções e armazena as inserções em um índice Faiss ou no índice da Pesquisa de IA do Azure. Além disso, o Azure Machine Learning cria:

• Dados de teste para sua fonte de dados.

• Um exemplo de prompt flow, que usa o índice vetorial que você criou. Os recursos do prompt flow de exemplo incluem:

  • Variantes de prompt geradas automaticamente.
  • Avaliação de cada variante de prompt usando os dados de teste gerados.
  • As métricas em relação a cada variante de prompt para ajudar você a escolher a melhor variante a ser executada.

  Você pode usar esta amostra para continuar desenvolvendo seu prompt.

Pré-requisitos

• Uma assinatura do Azure. Se você não tiver uma assinatura do Azure, crie uma conta gratuita.

• Acesso ao Azure OpenAI no Microsoft Foundry Models.

• Os prompt flows estão habilitados no seu workspace do Azure Machine Learning. Para habilitar os prompt flows, ative Criar soluções de IA com prompt flows no painel Gerenciar recursos de visualização.

Crie um índice vetorial usando o Machine Learning Studio

1. Selecione Fluxo de prompt no menu à esquerda.

   

2. Selecione a guia Índice Vetorial.

   

3. Selecione Criar.

4. Quando o formulário para criar um índice vetorial for aberto, forneça um nome para seu índice vetorial.

   

   Importante

   Se você estiver armazenando o índice no Pesquisa de IA do Azure , o nome do índice deverá estar em conformidade com as regras de nomenclatura do Pesquisa de IA do Azure : 2 a 128 caracteres, letras minúsculas, números, hifens (-) e sublinhados (_) somente; o primeiro caractere deve ser uma letra ou número; sem hifens ou sublinhados consecutivos. Os nomes que violam essas regras fazem com que o trabalho falhe durante a etapa de indexação final, que pode ocorrer após uma longa execução de processamento.

5. Selecione o tipo de fonte de dados.

6. Com base no tipo escolhido, forneça os detalhes de localização da origem. Em seguida, selecione Avançar.

7. Revise os detalhes do seu índice vetorial e, em seguida, selecione o botão Criar.

8. Na página de visão geral que aparece, você pode acompanhar e exibir o status da criação do índice vetorial. O processo pode demorar um pouco, dependendo do tamanho dos seus dados.

Adicionar um índice vetorial a um prompt flow

Depois de criar um índice vetorial, você pode adicioná-lo a um prompt flow na tela do prompt flow.

1. Abre um prompt flow existente.

2. No menu superior do designer do prompt flow, selecione Mais ferramentas e, em seguida, selecione Pesquisa de Índice.

3. A ferramenta Pesquisa de Índice é adicionada à tela. Se você não vir a ferramenta imediatamente, role até a parte inferior da tela.

4. Insira um nome para o índice de vetor.

5. Selecione a caixa de valor mlindex_content e selecione o índice. A ferramenta deve detectar o índice criado na seção "Criar um índice de vetor" do tutorial. Depois de preencher todas as informações necessárias, selecione salvar para fechar a gaveta de geração.

6. Insira as consultas e query_types a serem executadas no índice.

   Um exemplo de uma cadeia de caracteres simples que você pode inserir nesse caso seria: How to use SDK V2?'. Here is an example of an embedding as an input: ${embed_the_question.output}'. Passar uma cadeia de caracteres sem formatação só funcionará quando o índice de vetor estiver sendo usado no workspace que o criou.

Tipos de arquivo com suporte

Tipos de arquivo com suporte para criar um trabalho de índice de vetor: .txt, .md, .html, .htm, .py, .pdf, .ppt, .pptx, .doc, .docx, .xls, .xlsx. Todos os outros tipos de arquivo serão ignorados durante a criação.

Próximas etapas

• Introdução ao RAG usando um exemplo de prompt flow (versão prévia) – crie pipelines RAG usando componentes sem código.
• Usar repositórios de vetores com o Azure Machine Learning (versão prévia) – saiba mais sobre o Pesquisa de IA do Azure  e o Faiss como opções de repositório de vetores.