Natural Language Processing Introduktion: Hvad er Natural Language Processing (NLP)?

Hvad er naturlig sprogbehandling (NLP)?

Naturlig sprogbehandling er et delområde inden for lingvistik, datalogi og kunstig intelligens. Det er behandling af sprog, ord og tale, af en computer.

Det handler om at udvikle interaktioner mellem computere og menneskeligt sprog og især om, hvordan man kan programmere computere til at behandle og analysere store mængder af naturlige sprogdata.

Begå ikke den fejl: Natural Language Processing er ikke kun lingvistik! Lingvistik har til formål at forstå fremmedsprog gennem software.

Behandling af naturligt sprog er baseret på regler. Men regler er ikke nok: kontekst er også meget vigtig. Når en ven fortæller dig: « What a wonderful spring! », Er det årstiden eller vandet? Her er et andet eksempel: « I go to the bank. ». Handler det om at gå langs flodbredden eller om at tage penge med til banken?

Derfor er der brug for masser af regler og ordbøger til behandling af naturligt sprog.

Hvad er Natural Language Processing til?

Takket være Natural Language Processing kan en maskine "forstå" indholdet af dokumenter, herunder de kontekstuelle nuancer af sproget i dem. En maskine kan også udtrække oplysninger og indsigt, der er indeholdt i dokumenterne samt kategorisere og organisere selve dokumenterne.

Udfordringer inden for behandling af naturligt sprog omfatter ofte talegenkendelse, naturligt sprog forståelse (NLU) og generering af naturlige sprog (NLG).

Hvorfor er Natural Language Processing interessant?

Verden er fuld af ustrukturerede data (dvs. data, der ikke er formateret til maskiner): det drejer sig om 70-90 % af de digitale data. Natural Language Processing er en fantastisk måde at behandle disse enorme datamængder på.

For virksomheder er Natural Language Processing en måde at lære deres kunder at kende på en automatiseret måde og skabe nye muligheder (bedre viden, bedre målretning,...).

Anvendelsestilfælde for behandling af naturligt sprog

Her er nogle typiske tilfælde af brug af Natural Language Processing:

• • Sentimentanalyse: som administrerende direktør ønsker du automatisk at måle dine kunders tilfredshed ved at analysere deres beskeder
• • Klassificering af tekst: automatisk at vide, hvad et stykke tekst handler om
• • Tale-genkendelse: konvertering af lyd til tekst med henblik på viderebehandling
• • Chatbots: yde 24/7/365 kundesupport
• • Maskinoversættelse: at nå nye markeder på andre sprog med minimale investeringer
• • Autocomplettering af tekst: i lighed med hvad Gmail gør for at hjælpe dig med at øge dine medarbejderes effektivitet gennem en centraliseret vidensbase, eller for at forbedre den måde, dine kunder interagerer med dit produkt eller websted
• • Kontrol af stavemåde: at sikre, at dokumenterne ikke indeholder fejl. Det er især relevant i brancher med høje krav til overholdelse af reglerne, f.eks. bank-, forsikrings- og finanssektoren.
• • Søgning efter nøgleord: hurtigere at finde relevante oplysninger på tværs af alle datafaciliteter, hvilket fører til øget effektivitet
• • Annonce matching
• • Udvinding af enheder: udtrækning af oplysninger fra store mængder ustrukturerede data
• • Registrering af spam:
• • Tekstgenerering: automatisk at oprette nye tekster, f.eks. kundekontrakter, forskningsdokumenter, uddannelsesmateriale osv.
• • Automatisk opsummering: tilføjelse af resuméer til eksisterende dokumenter
• • Besvarelse af spørgsmål: besvarelse af specifikke spørgsmål på grundlag af forskellige informationskilder
• • Billedtekstning: annotering af billeder
• • Videotekstning: videoer kan tage lang tid at se. Nogle gange er det hurtigere at udtrække oplysninger fra dem i form af tekst og derefter behandle dem yderligere ved hjælp af andre Natural Language Processing-teknikker som f.eks. opsummering.

Naturlig sprogbehandling er ikke nyt!

Under 2. verdenskrig skabte Alan Turing en maskine til at forstå de kodede beskeder, som nazisterne sendte, kaldet Turings maskine.

Senere var Georgetown-IBM-eksperimentet en indflydelsesrig demonstration af maskinoversættelse, som blev udført den 7. januar 1954. Eksperimentet, der blev udviklet i fællesskab af Georgetown University og IBM, omfattede en fuldstændig automatisk oversættelse af mere end 60 russiske sætninger til engelsk. Den havde kun seks grammatiske regler og 250 leksikalske elementer i sit ordforråd.

En anden interessant milepæl var ELIZA-softwaren, som blev udviklet i 1966 af Joseph Weizenbaum på MIT Artificial Intelligence Laboratory. Det mest berømte script, DOCTOR, simulerede en psykoterapeut og brugte regler, der var dikteret i scriptet, til at svare med ikke-direktionelle spørgsmål på brugerens input. ELIZA var som sådan en af de første chatbots og et af de første programmer, der kunne forsøge at gennemføre Turing-testen.

Konklusion

I dette indlæg har du fundet ud af, hvad naturlig sprogbehandling er, og hvordan det kan bruges i det virkelige liv. Der er stadig mange udfordringer, men der er sket store fremskridt i de seneste år inden for Natural Language Processing. I dag tilskynder modenheden inden for Natural Language Processing flere og flere virksomheder til at udnytte Natural Language Processing i deres produkt eller i deres interne organisation.

Sylvie Krupsky
CMO hos NLP Cloud