GPT-4とChatGPTのオープンソース代替：LLaMA 3とMixtral 8x7b

ChatGPT/GPT-4の躍進

ChatGPTとGPT-4は、OpenAIによって開発された高度な言語モデルです。ChatGPTは、自然言語処理を使用して、ユーザーの入力に対して人間のような応答を生成する会話AIモデルであり、GPT-4は、事実上人間の文章と見分けがつかないテキストを生成することができる、より強力で複雑なモデルです。

どちらのモデルも膨大な量のテキストデータで学習されており、様々な質問やプロンプトに対して、非常に正確で文脈に適した応答を生成することができる。両モデルは、カスタマーサービス、コンテンツ生成、言語翻訳などの分野で幅広く応用されており、テクノロジーの進歩に伴い、進化と改善を続けている。

ChatGPTとGPT-4の限界

OpenAIが人工知能の分野、特に自然言語処理の分野で革命を起こしたことは間違いないが、LLaMA 3やMixtral 8x7bのようなオープンソースの代替モデルと比較すると、彼らのモデルにはいくつかの欠点がある。

大きな欠点のひとつは、OpenAIのサービスを利用する際にサブスクリプションや利用ごとの支払いが必要なため、個人や組織によっては法外なコストがかかることだ。

ChatGPTとGPT-4に関するもう一つの懸念は、データプライバシーの側面である：OpenAIは、顧客のデータがどのように処理されるかについて強力な保証を提供しておらず、これは医療や金融アプリケーションのような機密性の高いアプリケーションにとっては問題である。

最後に、OpenAIはChatGPTとGPT-4にコンテンツ制限を実装し、AIが生成するテキストがガイドラインを遵守することを保証しています。いくつかのユースケースはOpenAIのモデルと単純に互換性がなく、これらの制限がChatGPTとGPT-4を、制限のない対応するものよりも独創的で正確なものにしていないと考える人もいます。

ChatGPTとGPT-4に代わる選択肢を見てみましょう。

LLaMA 3

Meta社からリリースされたLLaMA 3モデルファミリーは、オリジナルのLLaMa 1モデルの後継として、ベースとなる基礎モデルと微調整された「チャット」モデルの両方を提供します。2022年に非商用ライセンスでリリースされたLLaMa 1モデルとは異なり、LLaMA 3モデルは、AI研究および商用利用の両方に無料で利用できます。

MetaのLlamaモデルは、コードとモデルの重みを自由に利用できるようにし、パラメータ数を増やす代わりに小規模なモデルの性能能力を向上させることに重点を置くことで、生成AIのエコシステムを民主化することを目指しています。70億、130億、または700億のパラメータを持つ小規模な組織は、高価な計算時間やインフラ投資を必要とせずに、LLaMA 3モデルまたはAIコミュニティによって開発されたLlamaベースのモデルのローカルインスタンスを展開することができます。

LLaMA 3は、プロプライエタリなモデルと比較して、安全性や事実の正しさといった面で優れた性能を示している。LLaMA 3は、はるかに大きなモデルのような包括的な能力は持っていないかもしれないが、そのオープンな性質と効率性の向上は、際立った利点を提供する。

LLaMA 3は、オンプレミスで手動でデプロイすることも、NLPクラウドのような専用APIを通じて使用することもできる。

ミクストラル 8x7b

フランスのスタートアップMistral AIが発表したMixtralは、複数の専門家の機能を1つのモデルに統合したネットワークだ。デコーダのみのモデルであり、情報をデコードするだけで、エンコードすることはない。モデル内には8つの異なるパラメータ・グループがあり、各レイヤーと各トークンに対して、ルーター・ネットワークがこれらのグループの中から2つを選択してトークンを処理し、その出力を組み合わせる。

このアプローチでは、トークンごとに使われるパラメータは全パラメータのほんの一部なので、コストとレイテンシをコントロールしながらパラメータ数を増やすことができる。例えば、Mixtralのパラメータ総数は467億だが、トークン1つあたりに使用されるのは129億に過ぎない。つまり、129億パラメータのモデルと同じスピードとコストで入力を処理し、出力を生成する。

他のモデルと比較すると、MixtralはほとんどのベンチマークでLLaMA 3 70Bを上回り、推論が6倍速くなった。Mixtralは、パーミッシブ・ライセンスを持つ最強のオープンウェイト・モデルであり、コストと性能のトレードオフが最も優れています。また、ほとんどのベンチマークでGPT3.5と同等かそれ以上の性能を発揮します。

Mixtral 8x7bは、オンプレミスで手動でデプロイすることも、NLPクラウドのような専用APIを通じて使用することもできる。

LLaMA 3とMixtral 8x7bの使い方は？

LLaMA 3やMixtralのような大規模言語モデルは、自分で導入することも、これらのモデルをすぐに提供してくれるAIベンダーを活用することもできるので、興味深い選択肢だ。

LLaMA 3とMixtralを自分でデプロイするのは、チームに適切なデブオプスとAIのスキルがあり、適切なハードウェアにアクセスできる幸運に恵まれていれば、面白いことだ。クラウドプロバイダーとデータを共有する必要がないので、アプリケーションの高度なデータプライバシーを維持することができる。

しかし、ジェネレイティブ・モデルをデプロイするのは面倒なことであり、LLMが本番で確実に動作するようにメンテナンスするのはさらに難しいことを覚えておいてほしい。このような仕事に適したエンジニアを見つけるのは難しいことだ。例えば、量子化なしのfp16モードでLLaMA 3 70bをインストールするためのハードウェア要件は、少なくとも140GBのvRAMとなります。NVIDIA GPUに対する現在の高い需要を考えると、140GBまたはvRAMを搭載した高度なGPUのプロビジョニングは非常に複雑です。

データのプライバシーを犠牲にすることなく、マネージドAI APIを通じてLLaMA 3やMixtralを使用したい場合は、ぜひ弊社のNLP Cloud APIをお試しください。 (NLPクラウドのジェネレーティブAI APIはこちら)! また、NLPクラウド上でLLaMA 3とMixtral 8x7bを微調整できるため、モデルをユースケースに完璧に合わせることができます。

結論

GPT-4とChatGPTは、AIのゲームを大きく変えた素晴らしいAIモデルです。AIの歴史上初めて、生成されたコンテンツが人間によるものなのか機械によるものなのかがわからなくなり、多くの企業がGPT-4とChatGPTを製品や社内のワークフローに組み込むようになった。

しかし、GPT-4とChatGPTは、データ・プライバシーの保証が乏しく、OpenAIの制限によるユースケースの制約があるため、期待はずれになる可能性があります。オープンソースコミュニティは、LLaMA 3やMixtral 8x7bのようなGPT-4やChatGPTに代わるオープンソースを設計する上で素晴らしい仕事をしました。

LLaMA 3とMixtralを活用したい場合は、NLPクラウドAPIをお試しください。 (こちらから)!

Juliette
NLPクラウドのマーケティング・マネージャー