Texto e linguagem natural

O NLP (processamento de linguagem natural) é um termo amplo que aborda modelos de IA e técnicas para dar sentido à linguagem. O NLP é a base sobre a qual os LLMs (modelos de linguagem de grande porte) de IA generativa são construídos.

As técnicas em que o NLP se baseia permitem soluções de análise de texto que podem analisar e resumir texto de linguagem natural. Por exemplo, o site de histórico de computação poderia permitir que os usuários resumissem artigos sobre os principais eventos históricos e extraíssem nomes, locais e datas específicos deles.

Técnicas de análise de texto

Embora muitos cenários de processamento de linguagem natural sejam tratados por modelos de IA generativos atualmente, há casos comuns de uso de análise de texto em que ferramentas NLP especializadas são usadas para produzir resultados previsíveis ou aplicar regras personalizadas.

• Detecção de idioma – determinando em qual idioma (ou idiomas) um documento é escrito. A detecção de idioma geralmente é a primeira etapa em um fluxo de trabalho de processamento de texto de vários estágios.
• Classificação de texto – atribuindo documento a uma categoria específica; incluindo a análise de sentimento para determinar se um corpo de texto é positivo, negativo ou neutro.
• Extração de termos-chave e detecção de entidade – identificar palavras-chave ou frases em um documento e encontrar menções de entidades como pessoas, locais e organizações. Uma forma particularmente especializada de detecção de entidade é detectar e redigir informações de identificação pessoal (PII); como nomes, endereços, números de telefone e outros detalhes privados.
• Resumo – Reduzindo o volume de texto enquanto ainda encapsula os pontos principais.

Cenários de análise de texto

Os usos comuns de tecnologias NLP para análise de texto incluem:

• Analisando documentos ou transcrições de chamadas e reuniões para determinar os principais assuntos e identificar menções específicas de pessoas, locais, organizações, produtos ou outras entidades.
• Analisando postagens nas redes sociais, revisões de produtos ou artigos para avaliar o sentimento e a opinião.
• Implementar chatbots que podem responder a perguntas frequentes ou orquestrar diálogos de conversa previsíveis que não exigem a complexidade da IA gerativa.
• Redigir a PII antes de compartilhar ou analisar dados para cumprir as políticas de privacidade e a legislação.