Historie om språklig AI

Transcript

Hei, dette er Julien Salinas fra NLP Cloud, en avansert AI-plattform for ditt neste AI-prosjekt.

Det er interessant for AI-utøvere å forstå AI-historien og se hvilke viktige milepæler som førte til de banebrytende generative modellene vi alle bruker i dag.

I dette kurset vil jeg raskt gå gjennom språkmodellenes historie fra 1900-tallet og frem til i dag.

KI er ikke noe nytt.

Ingeniører og lingvister begynte å jobbe med kunstig intelligens for tekstforståelse rundt 1950.

Dette var epoken med symbolsk naturlig språkbehandling frem til 90-tallet.

På den tiden var hovedmotivasjonen maskinoversettelse, og AI var basert på et sett med regler.

Å forbedre en AI-algoritme handlet hovedsakelig om å legge til flere regler i programmet.

Forskerne var svært begeistret for de første resultatene, og de trodde at maskinoversettelse ville være et løst problem i løpet av et par år.

Vel, det er fortsatt ikke helt løst i dag.

Disse regelbaserte systemene førte også til den første, svært enkle chatboten kalt Elisa.

Fra 1990 gikk vi inn i den statistiske NLP-æraen.

Ved å bruke AI med statistikk i stedet for forhåndsdefinerte regler kunne vi begynne å bygge mye kraftigere systemer uten å måtte tenke ut alle scenarier på forhånd.

Dette var mulig på grunn av fremskritt innen matematisk forskning, men også på grunn av den økte regnekraften som de nye prosessorene ga.

Systemene vil lære basert på tilbakemeldinger fra mennesker, også kjent som veiledet læring, og senere til og med uten menneskelig inngripen i det hele tatt, også kjent som ikke-veiledet læring.

Dermed var det mulig å trene opp interessante modeller basert på det enorme volumet av ustrukturerte data fra Internett.

På den tiden var det faktisk nye bedrifter som tok i bruk maskinlæring i produksjon, og det mest populære bruksområdet var gjenkjenning av navngitte enheter, også kjent som entitetsekstraksjon.

Nevrale nettverk er ikke noe nytt.

Allerede på midten av 1900-tallet hadde noen forskere en idé om å skape et AI-system bestående av nevroner som kunne imitere menneskehjernen.

Men det var først rundt 2010 at nevrale nettverk begynte å gi interessante resultater.

Takket være GPU-er ble det mulig å trene opp mye større nevrale nettverk.

Dette var begynnelsen på den såkalte deep learning-epoken.

De første imponerende resultatene kom fra datasyn takket være konvolusjonelle nevrale nettverk, som muliggjorde avansert bildeklassifisering.

Først litt senere fikk språket virkelig nytte av dyp læring.

Frem til 2010 og fremveksten av dyp læring var språklig AI i hovedsak et forskningsområde, og få bedrifter brukte naturlig språkbehandling i produktene sine.

La oss nå se hvilket gjennombrudd som førte til den generative AI-teknologien vi alle kjenner i dag.

Det virkelige gjennombruddet for språkmodeller kom i 2017, da noen Google-forskere publiserte en artikkel kalt Attention is All You Need.

Denne artikkelen beskriver en ny type nevrale nettverksarkitektur kalt transformatoren, basert på et nytt prinsipp kalt selvoppmerksomhet.

Transformator-arkitekturen er kjernen i alle de imponerende språkmodellene vi har sett siden 2017.

Svært raskt etter det ble den første modellen trent av Google etter transformatorarkitekturen.

Denne modellen ble kalt BERT.

BERT var den første språkmodellen i produksjonskvalitet som kunne brukes til alle slags bruksområder, oppsummering, entitetsekstraksjon, spørsmålssvar, oversettelse og mye mer.

BERT var veldig interessant fordi det for første gang ble laget en modell som var god på transfer learning.

I utgangspunktet ble modellen forhåndstrent på et stort sett med ukommenterte data, og den var deretter i stand til raskt å lære seg mange ulike brukstilfeller takket være raske finjusteringer som krever svært lite tilleggsdata.

OpenAI var opprinnelig en non-profit AI-startup som lanserte en ny type arkitektur, GPT, basert på transformatoren.

Da de lanserte GPT-2 i 2019, ble alle imponert over egenskapene til denne tekstgenerasjonsmodellen.

GPT-2 var den første generative modellen i produksjonsklasse.

Det var spesielt bra for utfylling av tekst.

Den ble for eksempel brukt av Microsoft til automatisk utfylling i Microsoft Office.

Den ble trent på 8 millioner nettsider og 7000 bøker og inneholdt 1,5 milliarder parametere, noe som selvsagt ikke er mye sammenlignet med de modellene vi har i dag.

I 2020 gjennomførte OpenAI en ny revolusjon.

De ble et profittbasert selskap og lanserte en kraftig generativ modell kalt GPT-3.

GPT-3 var fortsatt basert på GPT-arkitekturen, men ble trent på mer innhold.

Den inneholdt 175 milliarder parametere og krevde tusenvis av GPU-er for å trene i flere måneder.

Selv om det ikke er offisielt, tror forskerne at GPT-3 koster rundt 5 millioner dollar.

Det var den første allsidige generative modellen som kunne brukes til alle slags bruksområder.

For å få mest mulig ut av denne modellen var det ikke engang nødvendig med finjustering lenger.

For det meste var det nok med noen få skudd, og det fungerte til og med veldig bra i innlæringsmodus med null skudd.

Deretter kom ChatGPT og GPT-4 i samme ånd.

Kort tid etter lanserte OpenAI andre typer disruptive modeller.

Takket være DALI var det mulig å generere vakre bilder av tekst.

Med Whisper har de hevet standarden for tale-til-tekst-teknologi betraktelig.

Du har kanskje lagt merke til mange forskjellige begreper i dette kurset.

Maskinlæring, dyp læring, nevrale nettverk, naturlig språkbehandling, AI, generativ AI.

Noen er spesifikke faguttrykk, mens andre bare er trendy moteord.

Personlig mener jeg at naturlig språkbehandling er den riktige betegnelsen på den AI-teknologien vi bruker i dag.

Men dette er ikke så viktig.

Du har nå en grunnleggende forståelse av hvor AI-modellene våre kommer fra.