Nota de transparência para Azure Language em Foundry Tools

Importante

Traduções não em inglês são fornecidas apenas para conveniência. Consulte a EN-US versão deste documento para obter a versão definitiva.

O que é uma Nota de Transparência?

Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a usarão, as pessoas que serão afetadas por ela e o ambiente no qual ela é implantada. A criação de um sistema adequado para sua finalidade pretendida requer uma compreensão de como a tecnologia funciona, suas funcionalidades e limitações e como obter o melhor desempenho. as Notas de Transparência da Microsoft destinam-se a ajudá-lo a entender como nossa tecnologia de IA funciona, as escolhas que os proprietários do sistema podem fazer que influenciam o desempenho e o comportamento do sistema e a importância de pensar em todo o sistema, incluindo a tecnologia, as pessoas e o meio ambiente. Você pode usar Notas de Transparência ao desenvolver ou implantar seu próprio sistema ou compartilhá-las com as pessoas que usarão ou serão afetadas pelo seu sistema.

as Notas de Transparência da Microsoft fazem parte de um esforço mais amplo em Microsoft para colocar nossos princípios de IA em prática. Para saber mais, consulte Microsoft princípios de IA.

Os conceitos básicos de Azure Language em Foundry Tools

Introdução

O Language é um serviço baseado em nuvem que fornece recursos de NLP (Processamento de Linguagem Natural) para mineração de texto e análise de texto, incluindo os seguintes recursos:

Leia a visão geral para obter uma introdução a cada recurso e examinar os casos de uso de exemplo. Consulte os guias de instruções e a referência à API para entender mais detalhes sobre o que cada recurso faz e o que é retornado pelo sistema.

Este artigo contém diretrizes básicas sobre como usar os recursos de linguagem de forma responsável. Leia as informações gerais primeiro e, em seguida, vá para o artigo específico se você estiver usando um dos recursos abaixo.

Capacidades

Casos de uso

Os serviços de linguagem podem ser usados em vários cenários em vários setores. Alguns exemplos listados por recurso são:

  • Use o Reconhecimento de Entidades Nomeadas Personalizado para mineração de conhecimento e aprimore a busca semântica. A pesquisa é fundamental para qualquer aplicativo que exibe conteúdo de texto para os usuários. Cenários comuns incluem pesquisa de catálogo ou documento, pesquisa de produtos de varejo ou mineração de conhecimento para ciência de dados. Muitas empresas de vários setores desejam criar uma experiência de pesquisa avançada sobre conteúdo privado e heterogêneo, que inclui documentos estruturados e não estruturados. Como parte de seu pipeline, os desenvolvedores podem usar o NER personalizado para extrair entidades do texto que são relevantes para seu setor. Essas entidades podem ser usadas para enriquecer a indexação do arquivo para uma experiência de pesquisa mais personalizada.

  • Use o Reconhecimento de Entidade Nomeada para aprimorar ou automatizar processos de negócios. Por exemplo, ao revisar as declarações de seguro, entidades reconhecidas como nome e local podem ser realçadas para facilitar a revisão. Ou um tíquete de suporte pode ser gerado com o nome de um cliente e a empresa automaticamente a partir de um e-mail.

  • Utilize informações de identificação pessoal para ocultar algumas categorias de informações pessoais de documentos, a fim de proteger a privacidade. Por exemplo, se os registros de contato do cliente estiverem acessíveis para representantes de suporte de primeira linha, talvez a empresa queira redigir informações pessoais desnecessárias do cliente do histórico do cliente para preservar a privacidade do cliente.

  • Use a Detecção de Idiomas para detectar idiomas para o fluxo de trabalho de negócios. Por exemplo, se uma empresa receber emails em vários idiomas de clientes, ela poderá usar a detecção de idiomas para rotear os emails por idioma para falantes nativos para facilitar a comunicação com esses clientes.

  • Use a Análise de Sentimentos para monitorar tendências de feedbacks positivos e negativos de forma agregada. Após o lançamento de um novo produto, um varejista pode usar o serviço de análise de sentimentos para monitorar diversas mídias sociais em busca de menções ao produto e seus respectivos sentimentos. Eles poderiam revisar as tendências de sentimento em suas reuniões de produto semanais.

  • Use o Resumo para extrair informações importantes de artigos de notícias públicas. Para produzir insights como tendências e destaques de notícias.

  • Use a Extração de Frases-Chave para exibir tendências de agregação em dados de texto. Por exemplo, uma nuvem de palavras pode ser gerada com frases-chave para ajudar a visualizar os principais conceitos em comentários ou feedback de texto. Por exemplo, um hotel pode gerar uma nuvem de palavras com base em frases-chave identificadas em seus comentários e pode ver que as pessoas estão comentando com mais frequência sobre o local, a limpeza e a equipe útil.

  • Use Análise de Texto para Saúde para extração de insights e estatísticas. Identifique entidades médicas como sintomas, medicamentos e diagnósticos em notas clínicas e diversos documentos clínicos. Use essas informações para produzir insights e estatísticas sobre populações de pacientes, pesquisar documentos clínicos, documentos de pesquisa e publicações.

  • Use a Classificação de Texto Personalizada para triagem automática de e-mails ou tickets. Os centros de suporte de todos os tipos recebem um alto volume de emails ou tíquetes contendo textos e anexos não estruturados e de forma livre. A revisão oportuna, a confirmação e o roteamento para especialistas no assunto dentro das equipes internas são críticos. A triagem de email nessa escala exige que as pessoas revisem e roteiem para os departamentos certos, o que leva tempo e recursos. A classificação de texto personalizado pode ser usada para analisar o texto de entrada e fazer a triagem e categorizar o conteúdo a ser roteado automaticamente para os departamentos relevantes para outras ações.

  • Use o entendimento de linguagem conversacional para criar bots conversacionais de ponta a ponta. Use a CLU para criar e treinar um modelo de compreensão de linguagem natural personalizado com base em um domínio específico e nos enunciados dos usuários esperados. Integre-o a qualquer bot de conversa de ponta a ponta para que ele possa processar e analisar o texto de entrada em tempo real para identificar a intenção do texto e extrair informações importantes dele. Faça com que o bot execute a ação desejada com base na intenção e nas informações extraídas. Um exemplo seria um bot de varejo personalizado para compras online ou pedidos de comida.

  • Use a resposta a perguntas para o suporte ao cliente. Na maioria dos cenários de suporte ao cliente, perguntas comuns são feitas com frequência. A Resposta a Perguntas permite criar instantaneamente um chat bot com base no conteúdo de suporte existente, e esse bot pode atuar como o sistema de linha de frente para lidar com consultas de clientes. Se as perguntas não puderem ser respondidas pelo bot, componentes adicionais poderão ajudar a identificar e sinalizar a questão da intervenção humana.

Limitações

A qualidade do texto de entrada para o sistema afetará seus resultados.

Os recursos de linguagem processam apenas texto. A fidelidade e a formatação do texto de entrada afetarão o desempenho do sistema. Considere o seguinte:

  • A qualidade da transcrição de fala pode afetar a qualidade dos resultados. Se os dados de origem forem de voz, use a combinação de alta qualidade de transcrição automática e humana para garantir o melhor desempenho. Considere usar modelos de fala personalizados para obter resultados de melhor qualidade.

  • A falta de pontuação ou maiúsculas e minúsculas padrão pode afetar a qualidade dos seus resultados. Se você estiver usando um sistema de fala, como a Fala do Azure no Foundry Tools to Text, selecione a opção para incluir pontuação.

  • A qualidade do OCR (reconhecimento óptico de caracteres) pode afetar a qualidade do sistema. Se os dados de origem forem imagens e você usar a tecnologia OCR para gerar o texto, o texto gerado incorretamente poderá afetar o desempenho do sistema. Considere usar modelos OCR personalizados para ajudar a melhorar a qualidade dos resultados.

  • Se seus dados incluirem erros ortográficos frequentes, considere usar a Verificação Ortográfica do Bing para corrigir erros ortográficos.

  • Os dados tabulares podem não ser identificados corretamente dependendo de como você envia o texto da tabela para o sistema. Avalie como enviar texto de tabelas em documentos de origem para o serviço. Para tabelas em documentos, considere usar o Azure Document Intelligence no Foundry Tools ou em um serviço similar. Isso permitirá que você obtenha as chaves e os valores apropriados para enviar ao Idioma com chaves contextuais próximas o suficiente dos valores para o sistema reconhecer corretamente as entidades.

  • Microsoft treinou seus modelos de recursos de linguagem (com exceção da detecção de idioma) usando dados de texto de linguagem natural que são compostos principalmente por frases e parágrafos totalmente formados. Portanto, usar esse serviço para dados que mais se assemelham a esse tipo de texto produzirá o melhor desempenho. Recomendamos evitar o uso desse serviço para avaliar frases e frases incompletas sempre que possível, pois o desempenho pode ser reduzido.

  • O serviço só dá suporte a texto de idioma único. Se o seu texto incluir vários idiomas, por exemplo, "o sanduíche estava bom", a saída pode não ser precisa.

  • O código de idioma deve corresponder ao idioma de texto de entrada para obter resultados precisos. Se você não tiver certeza sobre o idioma de entrada, poderá usar o recurso de detecção de idioma.

Práticas recomendadas para melhorar o desempenho do sistema

Alguns recursos da linguagem retornam pontuações de confiança e podem ser avaliados usando a abordagem descrita nas seções a seguir. Outros recursos que não retornam uma pontuação de confiança (como extração e resumo de palavras-chave) precisarão ser avaliados usando métodos diferentes.

Entender as pontuações de confiança para análise de sentimento, reconhecimento de entidade nomeada, detecção de idioma e funções de saúde

As funções de análise de sentimentos, reconhecimento de entidades nomeadas, detecção de idioma e integridade retornam uma pontuação de confiança como parte da resposta do sistema. Esse é um indicador de quão confiante o serviço está com a resposta do sistema. Um valor mais alto indica que o serviço está mais confiante de que o resultado é preciso. Por exemplo, o sistema reconhece a entidade da categoria Número da Carteira de Habilitação dos EUA no texto 555 555 555 quando dado o texto "Meu número de carteira de habilitação de NY é 555 555 555", com uma pontuação de 0,75, e pode reconhecer a categoria Número da Carteira de Habilitação dos EUA no texto 555 555 555 com uma pontuação de 0,65 quando dado o texto "Meu número de carteira de habilitação de NY é 555 555 555". Dado o contexto mais específico no primeiro exemplo, o sistema está mais confiante em sua resposta. Em muitos casos, a resposta do sistema pode ser usada sem examinar a pontuação de confiança. Em outros casos, você pode optar por usar uma resposta somente se sua pontuação de confiança estiver acima de um limite de pontuação de confiança especificado.

Entender e medir o desempenho

O desempenho dos recursos de linguagem é medido examinando quão bem o sistema reconhece os conceitos de PNL suportados (em um determinado valor limite comparado ao julgamento de um avaliador humano). Por exemplo, na extração de entidades nomeadas (NER), pode-se determinar o número exato de entidades correspondentes a números de telefone em um texto com base no julgamento humano, para então comparar com a saída gerada pelo sistema ao processar o mesmo texto. Comparar o julgamento humano com as entidades reconhecidas pelo sistema permitiria classificar os eventos em dois tipos de eventos corretos (ou "true") e dois tipos de eventos incorretos (ou "false")..

Resultado Correto/incorreto Definição Exemplo
Verdadeiro Positivo Correto O sistema retorna o mesmo resultado que seria esperado de um juiz humano. O sistema reconhece corretamente a entidade PII da categoria Número de Telefone no texto 1-234-567-8910 quando dado o texto: "Você pode me contatar no meu número de escritório 1-234-567-9810."
Verdadeiro Negativo Correto O sistema não retorna um resultado, e isso se alinha com o que seria esperado do juiz humano. O sistema não reconhece nenhuma entidade PII quando recebe o texto: "Você pode me alcançar no número do meu escritório".
Falso Positivo Incorreto O sistema retorna um resultado onde um juiz humano não o faria. O sistema reconhece incorretamente a entidade PII da categoria Número de Telefone para o texto "número do escritório" quando o texto fornecido é: "Você pode me contatar pelo número do meu escritório."
Falso Negativo Incorreto O sistema não retorna um resultado quando um juiz humano o faria. O sistema não reconhece incorretamente uma entidade PII Número de Telefone no texto 1-234-567-8910 quando o texto fornecido é: "Você pode me contatar pelo número do meu escritório 1-234-567-9810."

As funções de linguagem nem sempre estarão corretas. Você provavelmente experimentará erros falsos negativos e falsos positivos. É importante considerar como cada tipo de erro afetará seu sistema. Pense cuidadosamente em cenários nos quais eventos verdadeiros não serão reconhecidos, e eventos incorretos serão reconhecidos, e quais efeitos subsequentes isso pode ter em sua implementação. Crie maneiras de identificar, relatar e responder a cada tipo de erro. Planeje revisar periodicamente o desempenho do sistema implantado para garantir que os erros estejam sendo tratados adequadamente.

Como definir limites de pontuação de confiança

Você pode optar por tomar decisões em seu sistema com base na pontuação de confiança retornada pelo sistema. Você pode ajustar o limite de pontuação de confiança que seu sistema usa para atender às suas necessidades. Se for mais importante identificar todas as instâncias potenciais dos conceitos nlp desejados, você poderá usar um limite inferior. Isso significa que você pode obter mais falsos positivos, mas menos falsos negativos. Se for mais importante para o sistema reconhecer apenas instâncias verdadeiras do recurso que você está chamando, você poderá usar um limite mais alto. Se você usar um limite mais alto, poderá obter menos falsos positivos, mas mais falsos negativos. Cenários diferentes exigem abordagens diferentes. Além disso, os valores de limite podem não ter um comportamento consistente entre recursos individuais de Linguagem e categorias de entidades. Por exemplo, não faça suposições de que o uso de um determinado limite para o número de telefone da categoria NER seria suficiente para outra categoria de NER ou que um limite usado no NER funcionaria de forma semelhante para a Análise de Sentimento. Portanto, é fundamental que você teste seu sistema com quaisquer limites que esteja considerando usar com dados reais para determinar os efeitos de vários valores de limite do seu sistema no contexto em que ele será usado.

Justiça

No Microsoft, nos esforçamos para capacitar cada pessoa do planeta a conseguir mais. Uma parte essencial desse objetivo é trabalhar para criar tecnologias e produtos que sejam justos e inclusivos. A imparcialidade é um tópico sociotécnico multidimensional e afeta muitos aspectos diferentes do nosso desenvolvimento de produtos. Você pode saber mais sobre a abordagem de Microsoft para a imparcialidade a.

Uma dimensão que precisamos considerar é o desempenho do sistema para diferentes grupos de pessoas. Isso pode incluir examinar a precisão do modelo, bem como medir o desempenho do sistema completo. Pesquisas mostraram que, sem esforço consciente focado na melhoria do desempenho de todos os grupos, muitas vezes é possível que o desempenho de um sistema de IA varie entre grupos com base em fatores como raça, etnia, linguagem, gênero e idade.

Cada serviço e recurso é diferente, e nossos testes podem não corresponder perfeitamente ao contexto ou abranger todos os cenários necessários para seu caso de uso. Incentivamos os desenvolvedores a avaliar minuciosamente as taxas de erro do serviço com dados do mundo real que refletem seu caso de uso, incluindo testes com usuários de diferentes grupos demográficos.

Em relação ao idioma, certos dialetos e variedades linguísticas dentro dos idiomas suportados e textos de alguns grupos demográficos podem ainda não ter representação suficiente em nossos conjuntos de dados de treinamento atuais. Recomendamos que você examine nossas diretrizes de uso responsável e, se encontrar diferenças de desempenho, recomendamos que você nos informe.

O desempenho varia entre recursos e idiomas

Há suporte para vários idiomas em cada recurso linguístico. Você pode achar que o desempenho de um recurso específico não é consistente com outro recurso. Além disso, você pode achar que, para um recurso específico, o desempenho não é consistente em vários idiomas.

Próximas etapas

Se você estiver usando qualquer um dos recursos abaixo, examine as informações específicas desse recurso.

Consulte também

Além disso, certifique-se de examinar:

  • Last updated on