Kas ir mācīšanās ar nulles uzņemšanas metodi un kā to var efektīvi izmantot dabiskās valodas apstrādē, lai klasificētu tekstu, pateicoties. apskāvienu sejas transformatoru?
Pateicoties jaunākajiem, uz transformatoriem balstītiem dabiskās valodas apstrādes modeļiem, nulles bildes mācīšanās ir ieguvusi daudz vairāk. popularitāti dabiskās valodas apstrādes pasaulē. Ideja ir tāda, ka modelis tagad var atpazīt dažas klases, pat ja tas vēl nav ir apmācīts.
Cilvēki to dara dabiski. Piemēram, ja jūsu bērns zina, kas ir kamielis. jāpasaka viņam, ka ir vēl viens dzīvnieks, ko sauc par dromedāru, kas ir ļoti līdzīgs kamielim, tikai tam ir 1 kupris uz muguras. mugurā ir tikai viens kupris, nevis divi! Nākamreiz, kad jūsu bērns redzēs dromedāra attēlu, viņš zinās, kas tas ir, kamēr viņš to redz pirmo reizi!
Nulles kadru metodes sasaista novērotās un nenovērotās klases, izmantojot kādu no tā sauktajām "nulles kadru" metodēm. "palīginformācijas", kas kodē objektu atšķirīgās īpašības. Tas ir bijis ļoti populārs datora redzes tehnika, ko tagad arvien vairāk izmanto dabiskās valodas apstrādē.
Teksta klasifikācijā lieliski darbojas nulles šāvienu mācīšanās. Teksta klasifikācija ir saistīta ar viena vai vairāku kategorijas teksta daļai (kosmosa, biznesa, sporta u. c.).
Vēl nesen teksta klasifikācijas modeļi varēja kategorizēt tikai teksta fragmentus ar iepriekš noteiktu skaitu. kandidātkategorijām. Šīs kategorijas bija jānosaka iepriekš apmācības laikā. Tas bija sāpīgi jo tas nozīmēja, ka ikreiz, kad bija nepieciešams pievienot jaunu kategoriju, bija no jauna jāapmāca modelis, izmantojot vairāk kategoriju. piemēriem.
Kopš daudz lielāku dabiskās valodas apstrādes modeļu (lielākoties balstītu uz transformatoriem) izveides, tas ir iespējams apmācīt modeļus tikai ar konkrētu kategoriju sarakstu, un pēc tam ļaut lietotājiem izveidot jaunas kategorijas. kategorijas bez atkārtotas modeļa apmācīšanas.
Piemēram, pieņemsim, ka jūsu teksta klasifikācijas modelis ar nulles attēlu tika apmācīts atpazīt tikai 3 kategorijas: kosmoss, daba un sports. Jūs joprojām varat to izmantot, lai kategorizētu tekstus citām kategorijām, piemēram, uzņēmējdarbība, pārtika vai zinātne.
Šī ir ļoti spēcīga metode, kas nodrošina lielu elastību, vienlaikus sniedzot lieliskus rezultātus.
Ir pieejami lieliski atvērtā koda dabiskās valodas apstrādes modeļi, kas balstīti uz apskāviena sejas transformatoriem un darbojas. ļoti labi piemēroti teksta klasifikācijai, izmantojot nulles attēlu.
Uzņēmumā NLP Cloud mēs izvēlējāmies šos 2 modeļus, kas, mūsuprāt, ir labākie mūsdienīgie modeļi. teksta klasifikācijas modeļiem, kas pašlaik ir nulles attēla modeļi:
Pat ja to precizitāte ir iespaidīga un latentums ir diezgan labs, šie 2 modeļi joprojām ir. modeļi, kas prasa daudz aprēķinu, un latentums var viegli palielināties, ja analizējamais teksts kļūst pārāk liels. liels vai kandidātu kategoriju skaits ir pārāk liels. Ja precizitāte nav jūsu galvenā problēma un jūs vēlaties ātrāku un mazāk resursu ietilpīgu modeli, varat viegli izvēlēties citu modeli. Par Piemēram, ir izstrādātas destilētas Barta versijas, ko sauc par "DistilBart", un tās ir lieliski piemērotas šim nolūkam.
Mācīšanās ar nulles šāvienu un mācīšanās ar dažiem šāvieniem, ir mūsdienīgas metodes, kas parādījās līdz ar lielu dabiskās valodas apstrādes modeļu izveidi. (skatīt vairāk par mācīšanos ar dažiem kadriem šeit). Tie nodrošina lielu elastību un padara dabiskās valodas apstrādi arvien iespaidīgāku!
Izmēģiniet nulles šāvienu klasifikāciju un pārliecinieties, vai arī jums tā patīk.
Julien Salinas
NLP Cloud tehniskais direktors