Hva er nullskuddslæring, og hvordan kan det brukes effektivt i naturlig språkbehandling til tekstklassifisering, takket være Hugging Face Transformers? til Hugging Face Transformers?
Takket være de siste toppmoderne transformatorbaserte Natural Language Processing-modellene har zero-shot-læring vunnet mye popularitet i Natural Language Processing-verdenen. popularitet i Natural Language Processing-verdenen. Tanken er at en modell nå kan gjenkjenne noen klasser, selv om den ikke har det blitt trent for det.
Dette er hva mennesker naturlig gjør. For eksempel, hvis barnet ditt vet hva en kamel er, trenger du bare å fortelle ham at det er et annet dyr som heter dromedar, veldig lik en kamel, bortsett fra at det har 1 pukkel på ryggen i stedet for 2! Neste gang barnet ditt ser et bilde av en dromedar, vil han vite hva det er mens det er første gang han ser en!
Nullskuddsteknikker knytter sammen observerte og ikke-observerte klasser gjennom en eller annen form for såkalt "hjelpeinformasjon", som koder egenskaper ved objekter som skiller dem fra hverandre. Det har vært en veldig populær teknikk innen datasyn i lang tid, som nå brukes mer og mer i naturlig språkbehandling.
Nullskuddslæring fungerer utmerket for tekstklassifisering. Tekstklassifisering handler om å bruke en eller flere kategorier på en tekst (romfart, næringsliv, sport osv.).
Inntil nylig kunne tekstklassifiseringsmodeller bare kategorisere tekststykker med et forhåndsdefinert antall kandidatkategorier. Disse kategoriene måtte fastsettes på forhånd under opplæringen. Dette var smertefullt fordi det betydde at hver gang du ønsket å legge til en kategori, måtte du trene modellen på nytt med flere eksempler. eksempler.
Siden opprettelsen av mye større modeller for naturlig språkbehandling (for det meste basert på Transformers), har det vært mulig å trene modellene bare på en spesifikk liste over kategorier, og deretter la brukerne opprette nye kategorier på farten uten å måtte trene modellen på nytt.
La oss for eksempel si at tekstklassifiseringsmodellen din med null skudd ble trent til å gjenkjenne bare 3 kategorier: rom, natur og sport. Du kan fortsatt bruke den til å kategorisere tekster for andre kategorier, som for eksempel næringsliv, mat eller vitenskap.
Dette er en svært kraftig teknikk som gir stor fleksibilitet samtidig som den gir gode resultater.
Det finnes utmerkede modeller for naturlig språkbehandling med åpen kildekode der ute, basert på Hugging Face Transformers, som fungerer veldig bra for null-skudd tekstklassifisering.
Hos NLP Cloud har vi valgt ut disse to modellene som etter vår mening er de beste toppmoderne modellene for null-skudd tekstklassifisering for øyeblikket:
Selv om deres nøyaktighet er imponerende og deres latenstid er ganske god, er disse to modellene fortsatt beregningsintensive modeller, og latenstiden kan lett øke hvis teksten du vil analysere, blir for stor eller antallet kandidatkategorier er for høyt. Hvis nøyaktighet ikke er den viktigste bekymringen din, og du foretrekker en raskere og mindre ressurskrevende modell, kan du enkelt velge en annen modell. For For eksempel finnes det destillerte versjoner av Bart, kalt "DistilBart", og de er perfekte for dette.
Null-skudd læring, sammen med få-skudd læring, er moderne teknikker som dukket opp med opprettelsen av store Natural Language Processing-modeller. (se mer om læring med få skudd her). De gir mye fleksibilitet og gjør Natural Language Processing mer og mer imponerende!
Prøv gjerne nullskuddsklassifisering og se om du også liker det. Du kan enkelt prøve det på NLP Cloud!
François
Fullstack-ingeniør hos NLP Cloud