Natural Language Processing Introduksjon: Hva er Natural Language Processing (NLP)?

Hva er naturlig språkbehandling (NLP)?

Naturlig språkbehandling er et underfelt av lingvistikk, informatikk og kunstig intelligens. Dette er behandling av språk, ord og tale av språk, ord og tale, av en datamaskin.

Det handler om å utvikle samspillet mellom datamaskiner og menneskelig språk, og særlig om hvordan man kan programmere datamaskiner til å behandle og analysere store mengder naturlige språkdata.

Ikke gjør den feilen: Naturlig språkbehandling er ikke bare lingvistikk! Lingvistikk tar sikte på å forstå fremmedspråk gjennom programvare.

Naturlig språkbehandling er basert på regler. Men regler er ikke nok: konteksten er også svært viktig. Når en venn forteller deg: « What a wonderful spring! », Er det årstiden eller vannet? Her er et annet eksempel: « I go to the bank. ». Handler det om å gå langs elvebredden eller om å ta med penger til banken?

Naturlig språkbehandling trenger derfor mange regler og ordbøker.

Hva brukes naturlig språkbehandling til?

Takket være naturlig språkbehandling kan en maskin "forstå" innholdet i dokumenter, inkludert de kontekstuelle nyansene i språket i dem. språket i dem. En maskin kan også trekke ut informasjon og innsikt i dokumentene, samt kategorisere og organisere dokumentene selv. samt kategorisere og organisere selve dokumentene.

Utfordringer i naturlig språkbehandling involverer ofte talegjenkjenning, naturlig språkforståelse (NLU) og generering av naturlig språk (NLG). (NLU) og generering av naturlig språk (NLG).

Hvorfor er Natural Language Processing interessant?

Verden er full av ustrukturerte data (dvs. data som ikke er formatert for maskiner): de utgjør til sammen 70-90 % av alle digitale data. Naturlig språkbehandling er en flott måte å behandle disse enorme datamengdene på.

For bedrifter er naturlig språkbehandling en måte å bli kjent med kundene sine på en automatisert måte og å skape nye muligheter på (bedre kunnskap, bedre målretting, ...).

Bruksområder for naturlig språkbehandling

Her er noen typiske bruksområder for naturlig språkbehandling:

• • Sentimentanalyse: som administrerende direktør ønsker du å måle kundenes tilfredshet automatisk ved å analysere meldingene deres
• • Tekstklassifisering: automatisk å vite hva et stykke tekst handler om
• • Talegjenkjenning: konvertering av lyd til tekst for videre behandling
• • Chatbots: yte kundestøtte 24/7/365
• • Maskinoversettelse: nå nye markeder på andre språk med minimale investeringer
• • Automatisk utfylling av tekst: i likhet med det Gmail gjør for å hjelpe deg med å øke de ansattes effektivitet gjennom en sentralisert kunnskapsbase, eller for å forbedre hvordan kundene dine samhandler med produktet eller nettstedet ditt.
• • Stavekontroll: sørge for at dokumenter ikke inneholder feil. Dette er særlig relevant i bransjer med høye krav til etterlevelse, som bank, forsikring og finans.
• • Søk på nøkkelord: å finne relevant informasjon raskere på tvers av alle datafasiliteter, noe som fører til økt effektivitet
• • Matching av annonser
• • Enhetsuttrekk: ekstrahering av informasjon fra store mengder ustrukturerte data
• • Deteksjon av spam:
• • Tekstgenerering: automatisk oppretting av ny tekst, f.eks. kundekontrakter, forskningsdokumenter, opplæringsmateriell osv.
• • Automatisk oppsummering: legge til sammendrag i eksisterende dokumenter
• • Svar på spørsmål: svare på spesifikke spørsmål basert på ulike informasjonskilder
• • Bildeteksting: kommentere bilder
• • Teksting av video: videoer kan ta lang tid å se på. Noen ganger er det raskere å trekke ut informasjon fra dem i form av tekst og deretter behandle den videre ved hjelp av andre teknikker for naturlig språkbehandling, for eksempel oppsummering.

Naturlig språkbehandling er ikke nytt!

Under 2. verdenskrig skapte Alan Turing en maskin for å forstå de kodede meldingene som ble sendt av nazistene, kalt Turings maskin.

Senere var Georgetown-IBM-eksperimentet en innflytelsesrik demonstrasjon av maskinoversettelse, som ble utført 7. januar 1954. Eksperimentet, som ble utviklet av Georgetown University og IBM i fellesskap, innebar fullstendig automatisk oversettelse av mer enn seksti russiske setninger til engelsk. Det hadde bare seks grammatikkregler og 250 leksikalske elementer i sitt ordforråd.

En annen interessant milepæl var programvaren ELIZA, utviklet i 1966 av Joseph Weizenbaum ved MIT Artificial Intelligence Laboratory. Det mest kjente skriptet, DOCTOR, simulerte en psykoterapeut og brukte regler, diktert i skriptet, for å svare med ikke-retningsbestemte spørsmål på brukerinnganger. Som sådan var ELIZA en av de første chatbotene og et av de første programmene som var i stand til å gjennomføre Turing-testen.

Konklusjon

I dette innlegget oppdaget du hva naturlig språkbehandling er og hvordan det kan brukes i det virkelige liv. Det finnes fortsatt mange utfordringer, men de siste årene har det blitt gjort store fremskritt innen naturlig språkbehandling. I dag oppmuntrer modenheten til naturlig språkbehandling flere og flere selskaper til å utnytte naturlig språkbehandling i sitt produkt eller i sin interne organisasjon. deres interne organisasjon. Prøv gjerne naturlig språkbehandling på NLP Cloud!

Sylvie
CMO hos NLP Cloud