Mixtral 8x7B van Mistral AI
Mixtral overtreft LLaMA 3 70B in de meeste beoordelingen en levert zes keer snellere inferentiesnelheden. Het onderscheidt zich als het krachtigste model met open toegang en de beste keuze als het gaat om kostenefficiëntie. Het evenaart of overtreft met name de prestaties van GPT3.5 in de meeste erkende tests.
De mogelijkheden van Mixtral omvatten het probleemloos beheren van tot 32k tokens, de ondersteuning van meerdere talen zoals Engels, Frans, Italiaans, Duits en Spaans, uitzonderlijke mogelijkheden voor het genereren van code en de mogelijkheid om instructies nauwkeurig op te volgen, wat resulteerde in een score van 8,3 op MT-Bench.
In de kern is Mixtral een dun mixture-of-experts-netwerk, dat functioneert als een model dat alleen decodert. De structuur maakt het mogelijk om 8 verschillende parametergroepen te selecteren binnen het feedforward blok. Een speciaal router-netwerk op elke laag selecteert twee van deze groepen, of "experts", om elk token te verwerken, waarbij hun resultaten op een additieve manier worden gecombineerd.
Deze methode maakt het mogelijk om de parameters van een model uit te breiden en tegelijkertijd de kosten en latentie efficiënt te beheren door slechts een deel van de beschikbare parameters voor elk token te gebruiken. Specifiek beschikt Mixtral over een totaal van 46,7B parameters, maar past slechts 12,9B parameters toe per token, waardoor de verwerkingssnelheid en kosten gelijk zijn aan een 12,9B model.
Mixtral is ontwikkeld met behulp van gegevens van het openbare internet, waarbij de training van experts en routers gelijktijdig plaatsvond.
Je kunt Mixtral 8x7B eenvoudig uitproberen op NLP Cloud: probeer het hier.
