Introdução ao Processamento da Linguagem Natural: o que é o Processamento da Linguagem Natural (PNL)?

O que é Processamento de Linguagem Natural (PNL)?

O Processamento da Linguagem Natural é um subcampo da linguística, da informática e da inteligência artificial. Este é o processamento de linguagem, palavras e discurso, por um computador.

Trata-se de desenvolver interacções entre computadores e a linguagem humana, e especialmente sobre como programar computadores para processar e analisar grandes quantidades de dados em linguagem natural.

Não cometa o erro: O Processamento de Linguagem Natural não é apenas linguística! A Linguística visa a compreensão de línguas estrangeiras através de programas informáticos.

O Processamento de Linguagem Natural é baseado em regras. Mas as regras não são suficientes: o contexto também é muito importante. Quando um amigo lhe diz: « What a wonderful spring! », é a estação do ano ou a água? Aqui está outro exemplo: « I go to the bank. ». Trata-se de caminhar ao longo da margem do rio ou de levar dinheiro para a margem?

Assim, o Processamento de Linguagem Natural necessita de muitas regras e dicionários.

Para que serve o Processamento de Linguagem Natural?

Graças ao Processamento de Linguagem Natural, uma máquina pode "compreender" o conteúdo de documentos, incluindo as nuances contextuais de a língua dentro deles. Uma máquina pode também extrair informações e conhecimentos contidos nos documentos bem como categorizar e organizar os próprios documentos.

Os desafios no processamento da linguagem natural envolvem frequentemente o reconhecimento da fala, linguagem natural compreensão (NLU), e geração de linguagem natural (NLG).

Porque é que o Processamento de Linguagem Natural é interessante?

O mundo está cheio de dados não estruturados (ou seja, dados que não estão formatados para máquinas): ele equivale a 70-90% dos dados digitais. O Processamento de Linguagem Natural é uma óptima forma de processar estes enormes volumes de dados.

Para as empresas, o Processamento de Linguagem Natural é uma forma de conhecer os seus clientes de forma automatizada e de criar novas oportunidades (melhor conhecimento, melhor segmentação,...).

Casos de utilização de processamento de linguagem natural

Aqui estão alguns casos típicos de utilização de Processamento de Linguagem Natural:

• • Análise dos sentimentos: como CEO, quer medir automaticamente a felicidade dos seus clientes através analisando as suas mensagens
• • Classificação do texto: saber automaticamente do que um texto está a falar
• • Reconhecimento da fala: conversão de áudio em texto para processamento posterior
• • Chatbots: fornecendo apoio ao cliente 24/7/365
• • Tradução automática: alcançar novos mercados noutras línguas com um investimento mínimo
• • Texto de auto-completar: semelhante ao que o Gmail faz para o ajudar a aumentar a eficiência dos seus funcionários através de uma base de conhecimentos centralizada, ou para melhorar a forma como os seus clientes interagem com o seu produto ou website
• • Verificação ortográfica: certificando-se de que os documentos não contêm erros. Especialmente relevante em indústrias com elevados requisitos de conformidade, tais como bancos, seguros e finanças.
• • Pesquisa por palavra-chave: localização mais rápida da informação relevante em todas as instalações de dados, levando a uma maior eficiência
• • Correspondência da publicidade
• • Extracção da entidade: extraindo informação de grandes volumes de dados não estruturados
• • Detecção de Spam:
• • Geração de texto: criação automática de novos textos, por exemplo, contratos de clientes, documentos de pesquisa, materiais de formação, etc.
• • Sumarização automática: adição de resumos a documentos existentes
• • Perguntas a responder: responder a perguntas específicas com base em fontes de informação díspares
• • Legenda de imagens: Anotando imagens
• • Legenda de vídeo: Os vídeos podem demorar muito tempo a ver. Sometine é mais rápido extrair deles informação sob a forma de texto e depois processá-la mais tarde utilizando outras técnicas de Processamento de Linguagem Natural, como o resumo

O Processamento de Linguagem Natural não é novidade!

Durante a 2ª Guerra Mundial, Alan Turing criou uma máquina para compreender as mensagens codificadas enviadas pelos nazis, chamada máquina de Turing.

Mais tarde, a experiência Georgetown-IBM foi uma demonstração influente da tradução automática, que foi realizada durante o dia 7 de Janeiro de 1954. Desenvolvida conjuntamente pela Universidade de Georgetown e pela IBM, a experiência envolveu a tradução completamente automática de mais de sessenta frases russas para inglês. Tinha apenas seis regras gramaticais e 250 itens léxicos no seu vocabulário.

Outro marco interessante foi o software ELIZA, desenvolvido em 1966 pelo Laboratório de Inteligência Artificial do MIT por Joseph Weizenbaum. O guião mais famoso, DOCTOR, simulou um psicoterapeuta e usou regras, ditadas no guião, para responder com perguntas não direccionais às entradas dos utilizadores. Como tal, ELIZA foi um dos primeiros chatbots e um dos primeiros programas capazes de tentar o teste de Turing.

Conclusão

Neste post, descobriu o que é o processamento da linguagem natural e como pode ser usada na vida real. Muitos desafios ainda existem mas grandes progressos foram feitos nestes últimos anos no campo do processamento da linguagem natural. Hoje, a maturidade do Processamento da Linguagem Natural encoraja cada vez mais empresas a alavancar o Processamento da Linguagem Natural no seu produto ou em a sua organização interna.

Sylvie Krupsky
CMO no NLP Cloud