Historien om sproglig AI

Transcript

Hej, det er Julien Salinas fra NLP Cloud, en avanceret AI-platform til dit næste AI-projekt.

Det er interessant for AI-praktikere at forstå AI's historie og se, hvilke vigtige milepæle der førte til de banebrydende generative modeller, vi alle bruger i dag.

På dette kursus vil jeg hurtigt gennemgå sprogmodellernes historie fra det 20. århundrede til i dag.

AI er ikke en ny ting.

Ingeniører og lingvister begyndte at arbejde med kunstig intelligens til tekstforståelse omkring 1950.

Dette var æraen for symbolsk naturlig sprogbehandling indtil 90'erne.

På det tidspunkt var hovedmotivationen maskinoversættelse, og AI var baseret på et sæt regler.

At forbedre en AI-algoritme handlede primært om at tilføje flere regler til programmet.

Forskerne var ret begejstrede for deres første resultater, og de mente, at maskinoversættelse ville være et løst problem i løbet af et par år.

Det er stadig ikke helt løst i dag.

Disse regelbaserede systemer førte også til den første, meget simple chatbot ved navn Elisa.

Fra 1990 gik vi ind i æraen med statistisk NLP.

At bruge AI med statistik i stedet for foruddefinerede regler betød, at vi kunne begynde at bygge meget mere kraftfulde systemer uden at skulle tænke over alle scenarier på forhånd.

Dette blev gjort muligt af matematiske forskningsfremskridt, men også af den øgede regnekraft, som de nye CPU'er gav.

Systemerne vil lære baseret på feedback fra mennesker, også kendt som supervised learning, og senere endda uden nogen menneskelig indblanding overhovedet, også kendt som unsupervised learning.

Så det var muligt at træne interessante modeller baseret på den enorme mængde ustrukturerede data, der kommer fra internettet.

Nye virksomheder brugte faktisk maskinlæring i produktionen på det tidspunkt, og den mest populære use case var genkendelse af navngivne enheder, også kendt som enhedsekstraktion.

Neurale netværk er ikke noget nyt.

I midten af det 20. århundrede havde nogle forskere allerede intuitionen om at skabe et AI-system lavet af neuroner, der ville efterligne den menneskelige hjerne.

Men neurale netværk begyndte først at give interessante resultater omkring 2010.

Takket være GPU'er var det derefter muligt at træne meget større neurale netværk.

Det var begyndelsen på den såkaldte deep learning-æra.

De første imponerende resultater kom fra computer vision takket være convolutional neural networks, som muliggjorde avanceret billedklassificering.

Først lidt senere fik sproget for alvor gavn af deep learning.

Indtil 2010 og fremkomsten af deep learning var sprog-AI hovedsageligt et forskningsområde, og kun få virksomheder brugte naturlig sprogbehandling i deres produkter.

Lad os nu se, hvilket nyligt gennembrud der førte til den generative AI-teknologi, vi alle kender i dag.

Det virkelige gennembrud for sprogmodeller kom i 2017, da nogle Google-forskere udgav en artikel med titlen Attention is All You Need.

Denne artikel beskriver en ny type neuralt netværksarkitektur kaldet transformatoren, der er baseret på et nyt princip kaldet selvopmærksomhed.

Transformator-arkitekturen er kernen i alle de imponerende sprogmodeller, vi har set siden 2017.

Meget hurtigt derefter blev den første model trænet af Google efter transformer-arkitekturen.

Denne model blev kaldt BERT.

BERT var den første sprogmodel i produktionskvalitet, der kunne bruges til alle mulige use cases, opsummering, udtrækning af entiteter, besvarelse af spørgsmål, oversættelse og meget mere.

BERT var virkelig interessant, fordi man for første gang skabte en model, der var god til transfer learning.

Grundlæggende blev modellen trænet på forhånd på et stort sæt ukommenterede data, og den var derefter i stand til hurtigt at lære mange slags brugssager takket være hurtige finjusteringer, der krævede meget lidt ekstra data.

OpenAI var oprindeligt en non-profit AI-startup, der udgav en ny slags arkitektur, GPT, baseret på transformatoren.

Da de udgav GPT-2 i 2019, var alle imponerede over mulighederne i denne tekstgenerationsmodel.

GPT-2 var den første generative model i produktionsklassen.

Den var især god til tekstudfyldning.

For eksempel blev det brugt af Microsoft til automatisk udfyldning i Microsoft Office.

Den blev trænet på 8 millioner websider og 7.000 bøger og indeholdt 1,5 milliarder parametre, hvilket selvfølgelig ikke er meget sammenlignet med de modeller, vi har i dag.

I 2020 gennemførte OpenAI endnu en revolution.

De blev en profitorienteret virksomhed og udgav en kraftfuld generativ model kaldet GPT-3.

GPT-3 var stadig baseret på GPT-arkitekturen, men trænede på mere indhold.

Den indeholdt 175 milliarder parametre og krævede tusindvis af GPU'er til at træne i flere måneder.

Selv om det ikke er officielt, mener forskerne, at fortræningen til GPT-3 kostede omkring 5 millioner dollars.

Det var den første alsidige generative model, der var i stand til at håndtere alle mulige brugssituationer.

For at få mest muligt ud af denne model var der ikke engang brug for finjustering længere.

Det meste af tiden var det nok at lære med få skud, og det fungerede faktisk endda meget godt i nul-skud-indlæringstilstand.

I samme ånd kom så ChatGPT og GPT-4.

Kort tid efter lancerede OpenAI andre former for disruptive modeller.

Takket være DALI var det muligt at skabe smukke billeder ud af tekst.

Og de har hævet barren dramatisk i tale-til-tekst-branchen takket være Whisper.

Du har måske bemærket mange forskellige udtryk i dette kursus.

Machine learning, deep learning, neurale netværk, naturlig sprogbehandling, AI, generativ AI.

Nogle er specifikke tekniske termer, mens andre blot er trendy buzzwords.

Personligt mener jeg, at naturlig sprogbehandling er den rigtige betegnelse for den sproglige AI-teknologi, vi bruger i dag.

Men det er ikke så vigtigt.

Du har nu en grundlæggende forståelse af, hvor vores AI-modeller kommer fra.