Įvardytų esybių atpažinimo (NER) API, naudojant generatyvinį dirbtinį intelektą

Kas yra NER?

NER reiškia įvardytų subjektų atpažinimą. Tai dalinis uždavinys, apimantis įvardytų esybių tekste identifikavimą ir klasifikavimą į iš anksto nustatytas kategorijas, pavyzdžiui, asmenų, organizacijų, vietovių pavadinimus, laiko išraiškas, kiekius, pinigines vertes, procentus ir pan.

Generatyviniai modeliai, tokie kaip GPT-5, GPT-OSS 120B, LLaMA 3, Yi 34B arba Mixtral 8x7B, labai gerai atlieka esybių išskyrimą.

NER yra labai svarbus daugeliui NLP programų, pavyzdžiui, atsakant į klausimus, apibendrinant tekstą ir atliekant mašininį vertimą, nes jis suteikia išsamios informacijos apie pagrindinius teksto elementus, todėl jį galima geriau suprasti ir apdoroti. Pavyzdžiui, žinojimas, kad žodis "Paryžius" tam tikrame tekste reiškia vietovę, gali turėti didelės įtakos to teksto interpretacijai ir NLP sistemos generuojamam atsakymui.

Tarkime, turite tokį sakinį:

Nepažįstamasis John Doe yra "Google" žiniatinklio programuotojas.

Norėtumėte automatiškai nustatyti, kad "John Doe" yra vardas, "web developer" - pareigos, o "Google" - įmonė. Būtent tai ir padarys NER.

NER anotacija

Kai kurie subjektų išskyrimo naudojimo atvejai

Pasaulyje, ypač internete, gausu nestruktūrizuotų duomenų. Gebėjimas iš jų išgauti struktūrizuotą informaciją gali suteikti prieigą prie daug vertingos informacijos. Štai keletas pavyzdžių.

Rūšiuoti klientų užklausas

Kai tvarkoma daug klientų užklausų (palaikymo, pardavimo, ...), neabejotinai naudinga taikyti NER, kad būtų galima automatiškai rūšiuoti gaunamas užklausas. Pavyzdžiui, galite automatiškai išskirti užklausoje nurodyto produkto tipą ir atitinkamai nukreipti jį į reikiamą tarnybą.

Ištraukti finansinius duomenis

Finansinių duomenų išgavimas ir konsolidavimas gali būti ilgas ir varginantis. NER gali neabejotinai padidinti jūsų produktyvumą, nes padės per sekundę išgauti reikiamus duomenis.

Išankstinis CV / paraiškų apdorojimas

Žmogiškųjų išteklių tarnyboms kartais sunku perskaityti visas šias paraiškas. Joms gali būti įdomu automatiškai išskirti įdomius dalykus, pavyzdžiui, įmonių pavadinimus, įgūdžius ir t. t., kad sutaupytų laiko.

Ištraukti vadovus

Daug B2B potencialių klientų galima rasti viešosiose svetainėse arba įmonių brošiūrose, tačiau kartais juos išgauti rankiniu būdu gali būti varginantis darbas. Naudodami NER galite automatiškai išskirti asmenį, jo pareigų pavadinimą ir įmonę, jei jie egzistuoja.

"NLP Cloud" NER API

"NLP Cloud" siūlo esybių išskyrimo API, kuri leidžia atlikti įvardytų esybių atpažinimą iškart, remiantis spaCy, Ginza arba pažangesniais generatyviniais AI modeliais, lygiaverčiais GPT-5 arba GPT-4, tokiais kaip GPT-OSS 120B, LLaMA 3, Dolphin, Yi 34B, Mixtral 8x7B ir kt. Norint atlikti pažangų esybių išskyrimą iš konkrečių dokumentų, rekomenduojame tikslinti savo generatyvinius modelius, skirtus NER NLP debesyje.

Daugiau informacijos rasite mūsų dokumentuose apie esybių išskyrimą čia. Dėl išplėstinio naudojimo žr. teksto generavimo API galinį tašką čia. Ir lengvai išbandykite esybių išskyrimą mūsų žaidimų aikštelėje.

Vienas dalykas yra vietinis NER testavimas, kitas - patikimas naudojimas gamyboje. Naudodami NLP Cloud galite atlikti abu šiuos veiksmus!

Išbandykite NER
nemokamai

Dažnai užduodami klausimai

Kas yra įvardytų subjektų atpažinimas (NER)?

Įvardytų esybių atpažinimas (NER) - tai informacijos gavybos dalinis uždavinys, kurio metu įvardytos esybės tekste identifikuojamos ir klasifikuojamos į iš anksto nustatytas kategorijas, pvz., asmenų, organizacijų, vietovių pavadinimus, laiko išraiškas, kiekius, pinigines vertes, procentus ir pan. Tai pagrindinis natūralios kalbos apdorojimo (NLP) metodas, naudojamas informacijos paieškai, atsakymų į klausimus sistemoms ir žinių gavybai.

Kokios kategorijos dažniausiai naudojamos NER?

Įvardytų esybių atpažinimui (NER) dažniausiai naudojamos šios kategorijos: asmenų vardai, organizacijų pavadinimai, vietovės, datos, laikas, piniginės vertės, procentai ir kiekiai. Šios kategorijos padeda identifikuoti ir klasifikuoti pagrindinius teksto elementus, kad būtų galima išgauti ir analizuoti informaciją.

Kaip šiuolaikinės NER sistemos susidoroja su kalbos dviprasmybėmis ir sudėtingomis struktūromis?

Šiuolaikinėse įvardytų esybių atpažinimo (angl. Named Entity Recognition, NER) sistemose naudojami pažangūs mašininio mokymosi algoritmai, ypač giliojo mokymosi architektūros, pavyzdžiui, pasikartojantys neuroniniai tinklai (angl. recurrent neuron networks, RNN) ir transformatoriai, kad būtų galima analizuoti teksto kontekstą ir semantinius ryšius, o tai leidžia valdyti dviprasmybes ir sudėtingas kalbines struktūras. Jie naudoja didelius anotuotų mokymo duomenų kiekius ir iš anksto apmokytus kalbos modelius, kad tiksliai nuspėtų subjektus net esant dviprasmiškoms ar sudėtingoms konstrukcijoms.

Ar NER sistemos gali atpažinti naujus arba nežinomus subjektus?

NER (angl. Named Entity Recognition) sistemos visų pirma atpažįsta esybes, kurioms buvo išmokytos, tačiau jų gebėjimas atpažinti naujas ar nežinomas esybes priklauso nuo mokymo duomenų bendrumo ir algoritmų pritaikomumo. Kai kurios pažangios sistemos, ypač tos, kuriose naudojamas gilusis mokymasis ir konteksto supratimas, gali daryti išvadas arba apibendrintai atpažinti anksčiau nematytas esybes, mokydamosi iš konteksto, kuriame jos atsiranda. NLP debesyje galite puikiai atpažinti naujus ar nežinomus subjektus!

Kokias kalbas palaiko jūsų AI API subjektų išskyrimui?

Palaikome subjektų išskyrimą 100 kalbų

Kaip greitai AI API grąžina subjektus?

Tai priklauso nuo teksto dydžio ir naudojamo dirbtinio intelekto modelio. Apskritai atsako laikas yra maždaug pora sekundžių.

Kaip įvertinti NER tikslumą?

Norint įvertinti įvardytų esybių atpažinimo (NER) sistemos tikslumą, paprastai naudojamas tikslumas, atšaukimas ir F1 balas, pagrįstas tikrais teigiamais, klaidingai teigiamais ir klaidingai neigiamais rezultatais. Pagal šiuos rodiklius sistemos rezultatai lyginami su rankiniu standartu arba pagrindine tiesa, siekiant nustatyti, kaip gerai sistema identifikuoja ir klasifikuoja įvardytas esybes.

Ar galiu nemokamai išbandyti jūsų NER API?

Taip, kaip ir visus "NLP Cloud" modelius, NER API galinį tašką galima išbandyti nemokamai.

Kaip jūsų AI API tvarko duomenų privatumą ir saugumą subjekto išskyrimo proceso metu?

"NLP Cloud" yra orientuota į duomenų privatumą: mes neregistruojame ir nesaugome užklausų, kurias atliekate naudodamiesi mūsų API, turinio. "NLP Cloud" atitinka HIPAA ir BDAR reikalavimus.