Sıfır vuruşlu öğrenme nedir ve Doğal Dil İşleme'de metin sınıflandırmaya nasıl etkili bir şekilde uygulanabilir? Kucaklaşan Yüz Transformatörlerine?
Son zamanlardaki son teknoloji ürünü dönüştürücü tabanlı Doğal Dil İşleme modelleri sayesinde, sıfır vuruşlu öğrenme çok fazla Doğal Dil İşleme dünyasında popülerlik. Buradaki fikir, bir modelin henüz tanımamış olsa bile bazı sınıfları tanıyabilmesidir. bunun için eğitildim.
Bu, insanların doğal olarak yaptığı bir şeydir. Örneğin, eğer çocuğunuz devenin ne olduğunu biliyorsa, tek yapmanız gereken Ona tek hörgüçlü deve adında başka bir hayvan olduğunu, deveye çok benzediğini, sadece bir hörgücü olduğunu söyleyin. 2 yerine geri döndü! Çocuğunuz bir dahaki sefere bir tek hörgüçlü deve resmi gördüğünde ne olduğunu anlayacaktır. ilk kez bir tane görüyor!
Sıfır atış teknikleri, gözlenen ve gözlenmeyen sınıfları bir çeşit sözde sınıflandırma yoluyla ilişkilendirir. Nesnelerin ayırt edici özelliklerini kodlayan "yardımcı" bilgiler. Bu çok popüler bir bilgi olmuştur. Bilgisayarlı görü alanında uzun süredir kullanılan bu teknik, artık Doğal Dil İşleme alanında da giderek daha fazla kullanılıyor.
Sıfır vuruşlu öğrenme, metin sınıflandırması için harika çalışır. Metin sınıflandırma, bir veya daha fazla Bir metin parçasına kategoriler (alan, iş, spor vb.).
Yakın zamana kadar, metin sınıflandırma modelleri yalnızca önceden tanımlanmış sayıda metin parçasını kategorize edebiliyordu. aday kategorileri. Bu kategorilerin eğitim sırasında önceden belirlenmesi gerekiyordu. Bu acı vericiydi Çünkü bu, her kategori eklemek istediğinizde modelinizi daha fazla kategori ile yeniden eğitmeniz gerektiği anlamına geliyordu. Örnekler.
Çok daha büyük Doğal Dil İşleme modellerinin (çoğu zaman Transformer'lara dayalı) oluşturulmasından bu yana modelleri yalnızca belirli bir kategori listesi üzerinde eğitmek ve ardından kullanıcıların yeni kategoriler oluşturmasına izin vermek mümkündür. modeli yeniden eğitmek zorunda kalmadan anında kategoriler.
Örneğin, sıfır çekim metin sınıflandırma modelinizin yalnızca 3 tanesini tanıyacak şekilde eğitildiğini varsayalım kategoriler: uzay, doğa ve spor. Diğer kategoriler için metinleri kategorize etmek için hala kullanabilirsiniz, Örneğin iş, gıda veya bilim gibi.
Bu, çok fazla esneklik sağlarken yine de harika sonuçlar veren çok güçlü bir tekniktir.
Hugging Face Transformers'a dayalı olarak çalışan mükemmel açık kaynaklı Doğal Dil İşleme modelleri mevcuttur sıfır vuruşlu metin sınıflandırması için gerçekten iyi.
NLP Cloud'da, bize göre, aşağıdakiler için en iyi son teknoloji modeller olan bu 2 modeli seçtik Şu an için sıfır çekim metin sınıflandırması:
Doğrulukları etkileyici ve gecikme süreleri oldukça iyi olsa bile, bu 2 model hala hesaplama yoğun modellerdir ve analiz etmek istediğiniz metin çok fazla büyürse gecikme süresi kolayca artabilir. büyük veya aday kategori sayısı çok fazla. Doğruluk birincil endişeniz değilse ve daha hızlı ve daha az kaynak yoğun bir model tercih ederseniz, kolayca başka bir model seçebilirsiniz. İçin Örneğin, Bart'ın "DistilBart" adı verilen damıtılmış versiyonları mevcuttur ve bunun için mükemmeldir.
Sıfır atışlı öğrenme, birkaç atışlı öğrenme ile birlikte, büyük Doğal Dil İşleme modellerinin oluşturulmasıyla ortaya çıkan modern tekniklerdir (az atışlı öğrenme hakkında daha fazla bilgi için buraya bakın). Çok fazla esneklik sağlarlar ve Doğal Dil İşlemeyi gittikçe daha etkileyici hale getirin!
Sıfır atış sınıflandırmasını denemekten çekinmeyin ve sizin de hoşunuza gidip gitmediğini görün. NLP Cloud üzerinde kolayca deneyebilirsiniz!
Julien Salinas
NLP Cloud'da CTO