GPT-3 açık kaynak alternatifi GPT-J'ye ince ayar yapma

GPT-J'nin Gücü

GPT-J, Haziran 2021'de piyasaya sürüldüğünden bu yana tonlarca Doğal Dil İşleme kullanıcısının ilgisini çekti - veri bilimcileri veya geliştiriciler - bu güçlü Doğal Dil İşleme modelinin yapay zeka uygulamalarını bir üst seviyeye taşımalarına yardımcı olacağına inananlar sonraki seviye (EleutherAI'nin web sitesine bakın).

EleutherAI'nin logosu

GPT-J'nin bu kadar güçlü olmasının nedeni 6 milyar parametre üzerinde eğitilmiş olmasıdır. Sonuç olarak bu bir Neredeyse tüm gelişmiş Doğal Dil İşleme kullanım durumları için kullanabileceğiniz çok yönlü bir model (duygu analizi, metin sınıflandırma, sohbet robotları, çeviri, kod oluşturma, paraphrase oluşturma ve çok daha fazlası). Düzgün ayarlandığında, GPT-J o kadar akıcı ki, metnin bir makine tarafından oluşturulduğunu söylemek imkansız...

Sözde tekniği kullanarak GPT-J'yi kullanım durumunuza anında kolayca uyarlamak mümkündür (nasıl kullanılacağını buradan görebilirsiniz). Ancak, eğer az sayıda atışla öğrenme yeterli değilse, daha gelişmiş bir teknik kullanmanız gerekir: ince ayar.

İnce Ayar Nedir?

Kendi modelinizi oluşturmak söz konusu olduğunda, geleneksel teknik yeni bir modelin Kendi verilerinizle sıfırdan. Sorun şu ki, GPT-J gibi modern modeller o kadar büyük ki, neredeyse Herkesin bu modeli sıfırdan eğitmesi imkansız. EleutherAI, eğitmenin 5 hafta sürdüğünü söyledi TPU'larda GPT-J v3-256, yani yüz binlerce dolara mal oldu...

İyi haber şu ki, GPT-J'yi yeniden eğitmek gerekli değil çünkü ince ayarımız var! İnce ayar şu anlama gelir Mevcut GPT-J modelini alarak ve biraz uyarlayarak. Geçmişte, geleneksel Doğal Dil İşleme modellerini eğitmek eskiden tonlarca örnek alırdı. Yeni nesil Transformer tabanlı modeller ile farklı: daha az örnek gereklidir ve harika sonuçlara yol açabilir. Eğer daha önce "transfer-öğrenme", işte bununla ilgili.

GPT-J'ye Nasıl İnce Ayar Yapılır?

GPT-J'ye ince ayar yapmak, modeli sıfırdan eğitmekten çok daha kolay olsa bile, yine de zorlu bir iştir birkaç nedenden dolayı:

• • GPU'da acı verici derecede uzun olabilen çok yoğun bir işlemdir. En iyi seçenek bunun için TPU kullanmak.
• • İnce ayar işlemi biraz pratik gerektirir, bazı parametrelerin ayarlanması gerekir ve şunları yapabilirsiniz kolayca optimumun altında bir doğrulukla sonuçlanabilir.
• • Yepyeni ince ayarlı modelinize sahip olduğunuzda işiniz bitmiyor: onu dağıtmanız ve üretimde güvenilir bir şekilde kullanın.

GPT-J'ye kendi başınıza ince ayar yapmak istiyorsanız, bunu şu şekilde yapabilirsiniz:

• • Nasıl yapılır izleyin Mesh Transformer Jax ekibinden Burada.
• • TPU V2'de belleğiniz tükeneceğinden ince ayarları TPU V3 üzerinde yaptığınızdan emin olun. TPU araştırma bulutu (TRC) programı sayesinde 1 ay boyunca ücretsiz TPU erişimi isteyebilirsiniz.
• • Elde ettiğiniz sonucu üretim için daha uygun olan ince bir GPT-J sürümüne dönüştürmeyi unutmayın çıkarım.

NLP Bulutunda GPT-J'ye İnce Ayar Yapma

NLP Cloud'da GPT-J için bir ince ayar platformu üzerinde çok çalıştık. Artık kolayca ince ayar yapmak mümkün GPT-J: örneklerinizi içeren veri setinizi yükleyin ve bırakın ince ayar yapıp dağıtalım sizin için model. İşlem tamamlandığında, yeni modelinizi API'mizde özel bir model olarak kullanabilirsiniz.

NLP Bulutunda GPT-J İnce Ayarı

İnce ayar işleminin kendisi ücretsizdir ve daha sonra aşağıdakilere bağlı olarak bir ince ayar planı seçmeniz gerekir Yeni dağıtılan modelinizde yapmak istediğiniz taleplerin hacmi.

İnce ayar ve dağıtım işlemleri için çok fazla zaman harcamak istemiyorsanız, bu bir seçenektir düşünmek isteyebilirsiniz.

Sonuç

GPT-J inanılmaz bir Doğal Dil İşleme modelidir. Bunu az sayıda öğrenme ve ince ayar ile karıştırın ve son teknoloji bir yapay zeka uygulaması elde edin!

Sorularınız varsa, lütfen bizimle iletişime geçmekten çekinmeyin. GPT-J ince ayarını NLP Cloud üzerinde denemekten çekinmeyin!

Julien Salinas
NLP Cloud'da CTO