Mixtral 8x7B von Mistral AI
Mixtral übertrifft LLaMA 3 70B in der Mehrzahl der Bewertungen und liefert sechsmal schnellere Inferenzraten. Es ist das leistungsfähigste Modell mit offenem Zugang und die erste Wahl, wenn es um Kosteneffizienz geht. Insbesondere erreicht oder übertrifft es die Leistung von GPT3.5 in den meisten anerkannten Tests.
Zu den Fähigkeiten von Mixtral gehören die reibungslose Verwaltung von bis zu 32k Token, die Unterstützung mehrerer Sprachen wie Englisch, Französisch, Italienisch, Deutsch und Spanisch, die außergewöhnliche Fähigkeit zur Codegenerierung und die Fähigkeit, Anweisungen zu befolgen, was zu einer Note von 8,3 auf MT-Bench führte.
Im Kern ist Mixtral ein spärliches Mixed-of-Experts-Netz, das als reines Decoder-Modell funktioniert. Seine Struktur ermöglicht die Auswahl von 8 verschiedenen Parametergruppen innerhalb des Feedforward-Blocks. Ein spezielles Routernetzwerk in jeder Schicht wählt zwei dieser Gruppen oder "Experten" aus, um jedes Token zu verarbeiten, und kombiniert ihre Ergebnisse auf additive Weise.
Diese Methode ermöglicht die Erweiterung der Parameter eines Modells bei gleichzeitiger effizienter Verwaltung von Kosten und Latenz, indem nur ein Teil der verfügbaren Parameter für jedes Token verwendet wird. Konkret verfügt Mixtral über insgesamt 46,7B Parameter, wendet aber nur 12,9B Parameter pro Token an und erreicht damit die Verarbeitungsgeschwindigkeit und die Kosten, die einem 12,9B-Modell entsprechen.
Mixtral wurde unter Verwendung von Daten aus dem öffentlichen Internet entwickelt, wobei die Ausbildung von Experten und Routern gleichzeitig stattfand.
Sie können Mixtral 8x7B ganz einfach auf NLP Cloud ausprobieren: Versuchen Sie es hier.
