ChatGPT-alternativer med åpen kildekode

Generative AI-modeller: Hvordan de fungerer

ChatGPT er avledet fra GPT-3.5 og GPT-4, moderne generative AI-modeller basert på Transformer-arkitekturen. Transformer-arkitekturen er en bestemt type nevrale nettverk som ble oppfunnet av Google i 2017. Se mer her.

Generative AI-modeller er i utgangspunktet gode til å generere tekst basert på en spesifikk input. Avhengig av inndataene kan du be AI-modellen om å gjøre ulike ting for deg. Du kan for eksempel be modellen om å kategorisere en tekst, trekke ut spesifikke enheter fra en tekst, oppsummere et stort innhold, omskrive innhold, svare på spørsmål ... og selvfølgelig fungere som en chatbot.

Alle modellene som presenteres nedenfor, er "grunnleggende" modeller, noe som betyr at de er råmodeller som vanligvis krever noen få forsøk på læring eller finjustering for å kunne følge instruksjonene dine. Det betyr også at disse modellene ikke implementerer noen form for begrensninger som standard.

For å forstå hvordan du kan utnytte disse generative AI-modellene bedre, anbefaler vi at du leser guiden vår om hvordan du bruker generative modeller med few-shot learning: Les den her.

ChatGPT er en generativ modell som er spesielt instruert til å oppføre seg som en chatbot. I resten av denne artikkelen skal vi se nærmere på åpen kildekode-alternativer til ChatGPT. For å kunne bruke dem i samtalemodus må du enten bruke få-skudds læring for samtale-AI eller finjustering. Her kan du lese mer om few-shot-læring for samtale-AI. Les mer om finjustering her.

LLaMA 3 by Meta

Meta har lansert LLaMA 3-serien med store språkmodeller (LLM), som er en serie generative tekstmodeller som er ferdig opplært og finjustert, og som varierer i størrelse fra 7 til 70 milliarder parametere. Versjonene av disse modellene som er spesielt finjustert for samtaler, kjent som Llama-2-Chat, er utviklet for dialogapplikasjoner. Sammenlignet med fritt tilgjengelige chat-modeller viser Llama-2-Chat-modellene overlegen ytelse i de fleste evaluerte benchmarks, og basert på våre vurderinger av nytteverdi og sikkerhet, matcher de ytelsen til noen velkjente proprietære modeller som ChatGPT og PaLM.

LLaMA 3 inneholder en autoregressiv språkmodell som bygger på et forbedret transformatorrammeverk. De forbedrede versjonene gjennomgår overvåket finjustering (SFT) og forsterkningslæring med menneskelig tilbakemelding (RLHF) for å bedre tilpasse seg menneskets forventninger til nytte og sikkerhet.

Utviklingen av LLaMA 3 strakte seg fra januar til juli 2023, og i opptreningsfasen ble det brukt over 2 billioner tokens fra offentlig tilgjengelige data. Finjusteringsfasen benyttet offentlig tilgjengelige instruksjonsdatasett og inkluderte mer enn en million nye eksempler annotert av mennesker. Ingen av dataene som ble brukt i før- eller finjusteringsfasen, kommer fra Metas brukerdata. Mens dataene fra føropplæringen ble samlet inn frem til september 2022, er noen av dataene for finjusteringen nyere og strekker seg frem til juli 2023.

LLaMA 3 er utviklet for både kommersielle applikasjoner og forskningsapplikasjoner, primært på engelsk. De finjusterte modellene er skreddersydd for å lage chatteapplikasjoner som ligner på digitale assistenter, mens de forhåndstrente modellene er allsidige nok til å kunne tilpasses ulike bruksområder for generering av naturlig språk.

Du kan enkelt bruke LLaMA 3 på NLP Cloud: prøv det her.

Mixtral 8x7B fra Mistral AI

Mixtral overgår LLaMA 3 70B i de fleste vurderinger og leverer seks ganger raskere inferensrater. Mixtral skiller seg ut som den kraftigste modellen med åpen tilgang og er det beste valget med tanke på kostnadseffektivitet. Spesielt er den like god eller bedre enn GPT3.5 i de fleste anerkjente tester.

Mixtral kan håndtere opptil 32 000 tokens uten problemer, støtter flere språk som engelsk, fransk, italiensk, tysk og spansk, har eksepsjonell evne til å generere kode og kan finjusteres til å følge instruksjoner, og oppnådde en score på 8,3 på MT-Bench.

Kjernen i Mixtral er et sparsomt "mixture-of-experts"-nettverk som fungerer som en ren dekodermodell. Strukturen gjør det mulig å velge mellom 8 ulike parametergrupper i feedforward-blokken. Et dedikert ruternettverk i hvert lag velger to av disse gruppene, eller "ekspertene", til å behandle hvert token, og kombinerer resultatene deres på en additiv måte.

Denne metoden gjør det mulig å utvide modellens parametere samtidig som kostnader og ventetid håndteres effektivt ved å bruke bare en del av de tilgjengelige parameterne for hvert token. Mixtral har totalt 46,7 B parametere, men bruker bare 12,9 B parametere per token, og oppnår dermed en prosesseringshastighet og kostnad som tilsvarer en 12,9 B-modell.

Mixtral ble utviklet ved hjelp av data fra det offentlige Internett, og opplæringen av eksperter og rutere foregikk samtidig.

Du kan enkelt prøve Mixtral 8x7B på NLP Cloud: prøv det her.

Yi 34B av 01 AI

Yi-seriens modeller representerer det siste fremskrittet innen store språkmodeller med åpen kildekode som er utviklet fra grunnen av av 01.AI. Disse modellene, som er rettet mot tospråklig bruk, er trent på et enormt flerspråklig datasett på 3 terabyte, noe som gjør dem til noen av de kraftigste store språkmodellene i verden med sterke evner innen språkforståelse, resonnering og leseforståelse.

Yi-34B-Chat-modellen sikret seg andreplassen, like bak GPT-4 Turbo, og overgikk andre store språkmodeller som GPT-4, Mixtral og Claude på AlpacaEval Leaderboard, med denne rangeringen basert på data frem til januar 2024. Når det gjelder modeller med åpen kildekode, tok Yi-34B topplasseringen for både engelsk- og kinesiskspråklige oppgaver i flere benchmarks, og overgikk modeller som Falcon-180B, Llama-70B og Claude, ifølge rangeringene på Hugging Face Open LLM Leaderboard (pre-trained) og C-Eval, med data frem til november 2023.

Yi-serien er strukturert på samme måte som Llama-modellarkitekturen, og gir brukerne tilgang til og mulighet til å bruke det eksisterende økosystemet av verktøy, biblioteker og ressurser som er utviklet for Llama. Denne kompatibiliteten forenkler prosessen for utviklere, eliminerer behovet for utvikling av nye verktøy og øker produktiviteten i utviklingsprosessene.

Du kan enkelt prøve Yi 34B på NLP Cloud: prøv det her.

DBRX fra Databricks

DBRX er en stor språkmodell som er bygget på en transformatorarkitektur som utelukkende fokuserer på dekoding, og som bruker en metode som kalles next-token prediction til trening. Den har en detaljert MoE-struktur (mixture-of-experts) med totalt 132 milliarder parametere, hvorav 36 milliarder brukes for en gitt input. Modellen gjennomgikk forhåndstrening på et stort korpus på 12 billioner tokens, som omfatter både tekst og kode, frem til en cutoff i desember 2023. Denne blandingen av treningsdata omfatter både naturlig språk og kodeeksempler, hvorav en betydelig del er på engelsk.

DBRX skiller seg ut med sin finkornede tilnærming til bruk av eksperter. Den opererer med 16 eksperter og velger 4 for hver oppgave, i motsetning til andre MoE-modeller som Mixtral-8x7B og Grok-1, som har 8 eksperter, men bare velger 2. Denne tilnærmingen gir 65 ganger flere potensielle ekspertkombinasjoner, noe som fører til en betydelig forbedring av modellens ytelse. DBRX har avanserte funksjoner som roterende posisjonskoding (RoPE), gated linear units (GLU) og grouped query attention (GQA) for sine operasjoner.

DBRX ble fôret med 12 billioner tokens fra et omhyggelig sammensatt datasett, med et kontekstområde som strekker seg opp til 32 000 tokens. Databricks, som står bak, mener at dette datasettet gir dobbelt så høy kvalitet per token sammenlignet med dataene som brukes i MPT-modellfamilien.

Datasettet ble opprettet ved hjelp av Databricks' omfattende verktøykasse, som inkluderer Apache Spark™ og Databricks notebooks for behandling av dataene, samt Unity Catalog for administrasjon og styring av dataene. Databricks implementerte en tilnærming til læreplanlæring i pre-treningsfasen, og justerte datamiksen på en måte som hevet modellens kvalitet betydelig.

DBRX er programmert til kun å behandle tekstbaserte inndata og kan håndtere inndata med en lengde på opptil 32 768 tokens.

Konklusjon

ChatGPT er en fantastisk chatbot-motor som kan svare på svært avanserte spørsmål. Denne AI-motoren er faktisk mer relevant enn de fleste mennesker på mange områder.

ChatGPT kan imidlertid føre til personvernproblemer og er begrenset for mange bruksområder. Det er interessant å sammenligne ChatGPT med de mest avanserte alternativene med åpen kildekode: LLaMA 3, Mixtral 8x7B, Yi 34B og DBRX. Og det er ingen tvil om at det snart kommer enda mer avanserte AI-modeller med åpen kildekode.

Hvis du ønsker å bruke LLaMA 3, Yi 34B og Mixtral 8x7B i produksjon, er det bare å prøve NLP Cloud API. (prøv det her)!

Juliette
Markedssjef i NLP Cloud