Luonnollisen kielen prosessointi Johdanto: mitä on luonnollisen kielen prosessointi (NLP)?

Olet kuullut luonnollisesta kielenkäsittelystä (Natural Language Processing, NLP), mutta et tiedä, mitä se tarkalleen ottaen on ja mitä se on. mihin sitä käytetään? Tässä viestissä yritän auttaa sinua ymmärtämään luonnollisen kielen prosessointia muutamien esimerkkien avulla.

Mitä on luonnollinen kielenkäsittely (NLP)?

Luonnollisen kielen käsittely on kielitieteen, tietojenkäsittelytieteen ja tekoälyn osa-alue. Se on kielenkäsittelyä kielen, sanojen ja puheen käsittely tietokoneella.

Kyse on tietokoneiden ja ihmisen kielen vuorovaikutuksen kehittämisestä ja erityisesti siitä, miten ohjelmoida tietokoneita käsittelemään ja analysoimaan suuria määriä luonnollisen kielen tietoja.

Älä tee sitä virhettä: Luonnollisen kielen käsittely ei ole vain kielitiedettä! Kielitieteen tavoitteena on ymmärtää vieraita kieliä. ohjelmistojen avulla.

Luonnollisen kielen käsittely perustuu sääntöihin. Säännöt eivät kuitenkaan riitä: myös konteksti on erittäin tärkeä. Kun ystävä kertoo sinulle: « What a wonderful spring! », johtuuko se vuodenajasta vai vedestä ? Tässä on toinen esimerkki: « I go to the bank. ». Onko kyse joen rannalla kulkemisesta vai rahan viemisestä pankkiin?

Luonnollisen kielen käsittelyyn tarvitaan siis paljon sääntöjä ja sanakirjoja.

Konteksti on avainasemassa luonnollisen kielen käsittelyssä

Mitä varten luonnollisen kielen prosessointi on?

Luonnollisen kielenkäsittelyn ansiosta kone voi "ymmärtää" asiakirjojen sisältöä, mukaan lukien asiayhteyteen liittyvät vivahteet. kielen sisällöstä. Kone voi myös poimia asiakirjojen sisältämää tietoa ja oivalluksia. sekä luokittelemaan ja järjestämään itse asiakirjoja.

Luonnollisen kielen prosessoinnin haasteet liittyvät usein puheen tunnistamiseen, luonnollisen kielen ymmärtäminen (NLU) ja luonnollisen kielen tuottaminen (NLG).

Miksi luonnollisen kielen käsittely on kiinnostavaa?

Maailma on täynnä strukturoimatonta dataa (eli dataa, jota ei ole muotoiltu koneita varten). 70-90 prosenttia digitaalisesta datasta. Luonnollisen kielen prosessointi on erinomainen tapa käsitellä näitä valtavia tietomääriä.

" Vuoteen 2025 mennessä tekoäly hallitsee 95 prosenttia asiakaskohtaamisista."

Gartner

Yrityksille luonnollisen kielen prosessointi on keino tuntea asiakkaansa automatisoidusti ja luoda uusia mahdollisuuksia. (parempi tietämys, parempi kohdentaminen,...).

Luonnollisen kielen käsittelyn käyttötapaukset

Seuraavassa on joitakin tyypillisiä luonnollisen kielen käsittelyn käyttötapauksia:

Luonnollisen kielen käsittely ei ole uutta!

Toisen maailmansodan aikana Alan Turing loi koneen, jota kutsuttiin Turingin koneeksi, ymmärtämään natsien lähettämiä koodattuja viestejä.

Turingin kone

Myöhemmin Georgetown-IBM-kokeilu oli vaikutusvaltainen konekääntämisen esittely, joka suoritettiin 7. tammikuuta 1954. Georgetownin yliopiston ja IBM:n yhdessä kehittämässä kokeessa käännettiin täysin automaattisesti yli kuusikymmentä venäläistä lausetta englanniksi. Sen sanavarastossa oli vain kuusi kielioppisääntöä ja 250 leksikaalista nimikettä.

Toinen mielenkiintoinen virstanpylväs oli ELIZA-ohjelmisto, jonka Joseph Weizenbaum kehitti vuonna 1966 MIT:n tekoälylaboratoriossa. Kuuluisin skripti, DOCTOR, simuloi psykoterapeuttia ja käytti skriptissä saneltuja sääntöjä vastatakseen käyttäjän syötteisiin ei-suuntautuneilla kysymyksillä. ELIZA oli näin ollen yksi ensimmäisistä chat-roboteista ja yksi ensimmäisistä ohjelmista, jotka pystyivät yrittämään Turingin testiä.

Päätelmä

Tässä viestissä kerrotaan, mitä luonnollisen kielen käsittely on ja miten sitä voidaan käyttää tosielämässä. Luonnollisen kielen prosessoinnin alalla on vielä paljon haasteita, mutta viime vuosina on tapahtunut suurta edistystä. Nykyään luonnollisen kielen prosessoinnin kypsyys kannustaa yhä useampia yrityksiä hyödyntämään luonnollisen kielen prosessointia tuotteissaan tai tuotteissa. sisäisessä organisaatiossaan.

Sylvie Krupsky
CMO, NLP Cloud