GPT-3に代わるオープンソースのGPT-Jを微調整する。

GPT-Jは、現在最も強力なオープンソースの自然言語処理モデルかもしれません（GPT-3と競合する唯一のオープンソースの代替モデルです）。 GPT-3と競合する唯一のオープンソースモデルです）。そのような場合には 自分のデータを使ってGPT-Jを微調整することが重要です。

GPT-Jの実力

2021年6月にリリースされて以来、GPT-Jは多くの自然言語処理ユーザー（データサイエンティストや開発者）を魅了してきました。 データサイエンティストや開発者などの自然言語処理ユーザーが、この強力な自然言語処理モデルによって、AIアプリケーションを次のレベルに引き上げることができると確信しています。 次のレベル (EleutherAIのウェブサイトを見る).

EleutherAIのロゴ
EleutherAIのロゴ

GPT-Jが強力なのは、60億個のパラメータで学習したからです。その結果、これは非常に汎用性の高いモデルとなりました。 感情分析、テキスト分類、チャットボット、翻訳、コード生成、言い換え生成など、高度な自然言語処理のほとんどすべての用途に使用できる、非常に汎用性の高いモデルです。 感情分析、テキスト分類、チャットボット、翻訳、コード生成、言い換え生成など）。適切にチューニングした場合。 GPT-Jは、テキストが機械によって生成されているとは言えないほど流暢です...。

GPT-Jは、いわゆるテクニックを使って、お客様のユースケースにその場で簡単に適合させることができます。 (使用方法はこちら). しかし、数撃ちゃ当たるでは物足りない。 もっと高度なテクニック、つまり微調整が必要になります。

ファインチューンとは？

独自のモデルを作るとなると、従来の手法では、自分のデータを使って新しいモデルを一から学習して 従来の手法では、自分のデータを使って新しいモデルを一から学習していました。しかし、GPT-Jのような最新のモデルは非常に巨大で、誰もが一からモデルを学習することは不可能です。 GPT-Jのような最新のモデルは非常に巨大で、誰もが一からこのモデルを学習することは不可能です。EleutherAIによると、次のようなトレーニングに5週間かかったそうです。 GPT-JをTPU v3-256で学習させるのに5週間かかったと言っていますが、これは何十万ドルもかかったということになります。

朗報は、GPT-Jを再トレーニングする必要がないということです。ファインチューンとは 既存のGPT-Jモデルに少し手を加えることです。従来の自然言語処理モデルを一から学習するとなると 従来の自然言語処理モデルを一から学習するには、膨大な量のサンプルが必要でした。新世代のTransformerベースのモデルでは、それが違います。 新世代のTransformerベースのモデルでは、それとは異なり、必要な例数が少なくて済み、素晴らしい結果を得ることができます。伝達学習」という言葉を聞いたことがあれば 「トランスファー・ラーニング」という言葉を聞いたことがあるとしたら、それはこういうことです。

GPT-Jの微調整は？

GPT-Jを微調整することは、モデルをゼロからトレーニングするよりもはるかに簡単だとしても、それは依然として困難なことです。 いくつかの理由があります。

自分でGPT-Jを微調整したい場合は、以下の方法があります。

NLPクラウドでのGPT-Jの微調整

NLPクラウドでは、GPT-Jの微調整プラットフォームに力を入れました。GPT-Jを簡単に微調整することができるようになりました。 例文を含むデータセットをアップロードするだけで、GPT-Jのモデルを微調整してデプロイすることができます。 モデルの微調整を行います。このプロセスが終了すると、私たちのAPI上で新しいモデルをプライベートモデルとして使用することができます。

NLPクラウド上でのGPT-Jのファインチューニング
NLPクラウド上でのGPT-Jのファインチューニング

ファインチューニングのプロセス自体は無料で、新たにデプロイされたモデルへのリクエスト量に応じてファインチューニングのプランを選択する必要があります。 微調整プランを選択する必要があります。

微調整やデプロイ作業にあまり時間をかけたくない場合は、選択肢の一つとして を検討してみてはいかがでしょうか。

結論

GPT-Jは素晴らしい自然言語処理モデルです。それを数回の学習と微調整で混ぜ合わせれば、最先端のAIアプリケーションが出来上がります!

ご不明な点がございましたら、お気軽にお問い合わせください。

Julien Salinas
NLP CloudのCTO