Natural Language Processing Introduktion: Vad är Natural Language Processing (NLP)?

Vad är Natural Language Processing (NLP)?

Behandling av naturliga språk är ett delområde inom lingvistik, datavetenskap och artificiell intelligens. Detta är behandling av av språk, ord och tal, av en dator.

Det handlar om att utveckla samspelet mellan datorer och mänskligt språk, och särskilt om hur man kan programmera datorer för att bearbeta och analysera stora mängder data på naturligt språk.

Gör inte det misstaget: Natural Language Processing är inte bara lingvistik! Lingvistik syftar till att förstå främmande språk. med hjälp av programvaror.

Behandling av naturligt språk bygger på regler. Men det räcker inte med regler: kontexten är också mycket viktig. När en vän berättar för dig: « What a wonderful spring! », Är det säsongen eller vattnet? Här är ett annat exempel: « I go to the bank. ». Handlar det om att gå längs floden eller om att ta med sig pengar till banken?

Naturlig språkbehandling kräver alltså många regler och ordböcker.

Vad är Natural Language Processing till för?

Tack vare Natural Language Processing kan en maskin "förstå" innehållet i dokumenten, inklusive de kontextuella nyanserna av språket i dem. En maskin kan också extrahera information och insikter som finns i dokumenten. samt kategorisera och organisera själva dokumenten.

Utmaningar inom behandling av naturliga språk omfattar ofta taligenkänning, naturligt språk och förståelse (NLU) och generering av naturliga språk (NLG).

Varför är Natural Language Processing intressant?

Världen är full av ostrukturerade data (dvs. data som inte är formaterade för maskiner). 70-90 % av de digitala uppgifterna. Behandling av naturligt språk är ett utmärkt sätt att bearbeta dessa enorma datamängder.

För företag är Natural Language Processing ett sätt att lära känna sina kunder på ett automatiserat sätt och skapa nya möjligheter. (bättre kunskap, bättre inriktning,...).

Användningsfall för behandling av naturligt språk

Här är några typiska användningsområden för behandling av naturligt språk:

• • Sentimentanalys: som VD vill du automatiskt mäta dina kunders lycka genom att analysera deras meddelanden
• • Klassificering av text: automatiskt veta vad en text handlar om
• • Taligenkänning: omvandling av ljud till text för vidare bearbetning
• • Chatbots: tillhandahålla kundsupport dygnet runt, dygnet runt, 365 dagar om året
• • Maskinell översättning: nå nya marknader på andra språk med minimala investeringar
• • Automatisk komplettering av text: liknande vad Gmail gör för att hjälpa dig att öka effektiviteten hos dina anställda genom en centraliserad kunskapsbas, eller för att förbättra hur dina kunder interagerar med din produkt eller webbplats.
• • Kontroll av stavning: se till att dokumenten inte innehåller några fel. Särskilt relevant i branscher med höga krav på efterlevnad, t.ex. bank-, försäkrings- och finansbranschen.
• • Sök efter nyckelord: snabbare lokalisering av relevant information i alla dataanläggningar, vilket leder till ökad effektivitet.
• • Matchning av annonser
• • Extraktion av entiteter: utvinning av information från stora mängder ostrukturerade data
• • Spammottagning:
• • Generering av text: automatiskt skapa ny text, t.ex. kundkontrakt, forskningsdokument, utbildningsmaterial osv.
• • Automatisk sammanfattning: lägga till sammanfattningar till befintliga dokument
• • Frågor som besvaras: besvara specifika frågor utifrån olika informationskällor
• • Bildtextning: kommentera bilder
• • Textning av videor: Det kan ta lång tid att titta på videor. Ibland är det snabbare att extrahera information från dem i form av text och sedan bearbeta den vidare med hjälp av andra tekniker för behandling av naturligt språk, t.ex. sammanfattning.

Behandling av naturligt språk är inte nytt!

Under andra världskriget skapade Alan Turing en maskin för att förstå de kodade meddelanden som skickades av nazisterna, kallad Turings maskin.

Senare var Georgetown-IBM-experimentet en inflytelserik demonstration av maskinöversättning, som utfördes den 7 januari 1954. Experimentet, som utvecklades gemensamt av Georgetown University och IBM, innebar en helt automatisk översättning av mer än 60 ryska meningar till engelska. Det hade endast sex grammatiska regler och 250 lexikala objekt i sitt ordförråd.

En annan intressant milstolpe var programmet ELIZA, som utvecklades 1966 vid MIT Artificial Intelligence Laboratory av Joseph Weizenbaum. Det mest kända skriptet, DOCTOR, simulerade en psykoterapeut och använde sig av regler som dikterades i skriptet för att svara med icke-direktiva frågor på användarens inmatningar. Som sådan var ELIZA en av de första chattrobotarna och ett av de första programmen som kunde göra Turing-testet.

Slutsats

I det här inlägget fick du reda på vad naturlig språkbehandling är och hur det kan användas i verkligheten. Det finns fortfarande många utmaningar, men stora framsteg har gjorts under de senaste åren inom området Natural Language Processing. I dag uppmuntrar mognaden av Natural Language Processing fler och fler företag att utnyttja Natural Language Processing i sina produkter eller i deras interna organisation.

Sylvie Krupsky
CMO på NLP Cloud