Texto e linguagem natural

Processamento de linguagem natural (PLN) é um termo abrangente que abrange modelos e técnicas de IA para compreender a linguagem. O PLN é a base sobre a qual se constroem grandes modelos de linguagem (LLMs) de IA generativa.

As técnicas sobre as quais o PLN é construído permitem soluções de análise de texto capazes de analisar e resumir textos em linguagem natural. Por exemplo, o site de história da computação poderia permitir aos utilizadores resumir artigos sobre eventos históricos-chave e extrair nomes, locais e datas específicos deles.

Técnicas de análise de texto

Embora muitos cenários de processamento de linguagem natural sejam atualmente tratados por modelos de IA generativa, existem casos comuns de análise de texto em que ferramentas especializadas em PLN são usadas para produzir resultados previsíveis ou aplicar regras personalizadas.

• Deteção de línguas - determinar em que língua (ou línguas) um documento está escrito. A deteção de linguagem é frequentemente o primeiro passo num fluxo de trabalho de processamento de texto em múltiplas etapas.
• Classificação de texto - atribuição de documento a uma categoria específica; incluindo análise de sentimento para determinar se um corpo de texto é positivo, negativo ou neutro.
• Extração de termos-chave e deteção de entidades – identificar palavras-chave ou frases-chave num documento e encontrar menções a entidades como pessoas, lugares e organizações. Uma forma particularmente especializada de deteção de entidades é detetar e redigir informações pessoais identificáveis (PII); como nomes, moradas, números de telefone e outros dados privados.
• Resumo - Reduzir o volume de texto enquanto ainda encapsula os pontos principais.

Cenários de análise de texto

Utilizações comuns das tecnologias de PLN para análise de texto incluem:

• Analisar documentos ou transcrições de chamadas e reuniões para determinar assuntos-chave e identificar menções específicas de pessoas, lugares, organizações, produtos ou outras entidades.
• Analisar publicações em redes sociais, avaliações de produtos ou artigos para avaliar o sentimento e a opinião.
• Implementar chatbots que possam responder a perguntas frequentes ou orquestrar diálogos conversacionais previsíveis que não exijam a complexidade da IA generativa.
• Remoção de informações de identificação pessoal (PII) antes da partilha ou análise de dados para cumprir as políticas e legislação de privacidade.