Selles NLP Cloud kursuses selgitame, miks on masinõppe töökoormuste töötlemise kiirendamiseks sageli vaja spetsiaalset riistvara. Samuti vaatame üle, millised on parimad turul saadaolevad kiirendid aastal 2023: GPU-d, TPU-d, IPU-d, Inferentia, Habana Gaudi...
Kursuse ülesehitus on järgmine:
Tere kõigile, siin on Julien Salinas NLP Cloudist.
Sellel kursusel vaatame, milliseid riistvarakiirendeid saame tänapäeval kasutada, et kiirendada meie järelduste tegemise töökoormust.
Riistvarakiirenduse mõistmiseks on oluline meeles pidada, et tehisintellekti rakendused põhinevad tänapäeval enamasti neuronivõrkudel, mida nimetatakse ka süvaõppeks.
Maatriksi korrutamine on neuronivõrkudes oluline operatsioon, sest see võimaldab neil õppida keerulisi andmeid ja andmete keerulisi esitusi.
Neuronivõrgus esitatakse sisendandmed maatriksiga ja neuronite vaheliste ühenduste kaalud samuti maatriksiga.
Kui need kaks maatriksit korrutatakse, saadakse uus maatriks, mis kujutab neuronite väljundit.
Seda protsessi korratakse mitme neuronikihtide kaudu, mis võimaldab võrgul õppida sisendandmete üha abstraktsemaid ja keerulisemaid omadusi.
Maatriksid on tehisintellekti mudelite põhikomponendid, seega on oluline kasutada riistvara, mis on väga hea maatriksitega tehtavate operatsioonide sooritamisel.
Teine oluline aspekt on ujukomaarvud.
Ujuvpunktid on närvivõrkudes olulised, sest need võimaldavad murdarvude esitamist.
Nagu me just ütlesime, on neuronvõrkude puhul tegemist suurte, paljude kirjetega maatriksitega.
Ainult täisarvuliste väärtuste kasutamine viiks kiiresti ülevooluvigade tekkimiseni.
Kasutades ujukoma väärtusi, saavad neurovõrgud esitada väärtusi paljude kümnendkohtadega, mis võimaldab täpsemaid arvutusi ja paremat täpsust väljundites.
Seega kokkuvõttes võib öelda, et selleks, et tõhusalt töödelda töökoormusi, tehisintellekti töökoormusi, vajame riistvara, mis on hea maatrikskordistuste ja ujukomaarvutustega.
Kaks peamist võimalust, mida saate täna oma masinõppe töökoormuste jaoks kaaluda, on protsessorid ja graafilised protsessorid.
CPU ehk keskprotsessor on üldotstarbeline protsessor, mis täidab arvutisüsteemis mitmesuguseid ülesandeid, sealhulgas rakenduste käivitamist, operatsioonisüsteemi haldamist ja matemaatilisi arvutusi.
Protsessorid on loodud mitmekülgselt ja saavad hakkama mitut tüüpi ülesannetega, kuid neid ei ole optimeeritud ühegi konkreetse töökoormuse jaoks.
GPU ehk graafikaprotsessor on spetsiaalne protsessor, mis on mõeldud keeruliste paralleelsete töökoormuste, näiteks graafika renderdamise ja masinõppe jaoks.
GPUdel on tuhandeid väiksemaid südamikke, mis töötavad koos, et töödelda korraga suuri andmemahte, mis teeb need teatud tüüpi töökoormuste puhul palju kiiremaks kui protsessorid.
Maatriksoperatsioone saab hõlpsasti paralleliseerida mitmel väikesel tuumal, mistõttu GPUd paistavad selles valdkonnas silma.
Samuti on graafikaprotsessoritel tavaliselt palju rohkem ujukomaühikuid kui protsessoritel, mis võimaldab neil teha ujukomaoperatsioone palju kiiremini.
Nüüd te teate, miks protsessorist ei piisa tänapäeva tehisintellekti töökoormuste jaoks tihtipeale ja miks konkreetne riistvara on sageli väga oluline.
Nüüd vaatleme, milliseid valikuid teil on konkreetsete riistvarakiirendite puhul.
NVIDIA graafikaprotsessorid on võimsad graafilise töötlemise vahendid ning pakuvad mitmeid funktsioone, mis muudavad need ideaalseks mängude, masinõppe, videotöötluse ning disaini ja insenerirakenduste jaoks.
Tehisintellekti tarkvara insenerina peate kahtlemata mängima NVIDIA GPUdega, sest neil on täna GPUde turul keskne positsioon.
Nende kõige võimsamad AI-kaardid 2023. aastal on A100 ja H100.
AMD pakub ka mitmesuguseid GPUsid, sealhulgas masinõppe jaoks.
Nende RockM tootevalik on huvitav ja ma soovitan teil sellega tutvuda.
Google ehitab ka omaenda AI-kiipe, mida nimetatakse TPU-deks (TensorFlow Processing Unit).
Nad kasutavad neid kiipe ettevõttesiseselt, kuid pakuvad neid ka oma Google Cloudi pakkumises.
Te ei saa aga TPU-d endale osta.
TPUd töötavad veidi teisiti kui GPUd, kuid see on teise spetsiaalse video teema.
Graphcore on Ühendkuningriigis asuv ettevõte, mis valmistab spetsiifilist AI riistvara nimega IPU, mis on samaväärne Google TPUdega.
Saate nii osta IPUsid kui ka kasutada neid pilves ühe nende partneri kaudu.
AWS ehitab oma tehisintellekti kiibid.
Neil on üks kiip, mis on pühendatud järelduste tegemisele, mille nimi on Inferentia, ja teine, mis on pühendatud treenimisele, mille nimi on Tranium.
Need kiibid on suhteliselt odavad.
Selliseid kiipe ei saa endale osta, kuid neid saab kasutada AWS EC2-s või Sage Makeris.
Intel ehitab ka oma tehisintellekti kiipi, mida nimetatakse Habana Gaudi, mis on väga võimas, kuid väga kallis alternatiiv.
Riistvarakiirendid on võimsad, kuid ka väga kallid ja neid ei ole lihtne osta, sest pooljuhtide osas valitseb ülemaailmne puudus.
Seetõttu on mõistlik töötada oma tehisintellekti töökoormuse optimeerimise kallal nii palju kui võimalik, et see töötaks väiksemal riistvaral.
Protsessorid võivad paljudes olukordades olla isegi korralik valik paljude masinõppe töökoormuste jaoks.
Nagu näete, on 2023. aastal NVIDIA de facto lahendus, kui tegemist on riistvara kiirendamisega tehisintellekti ja masinõppe valdkonnas.
Kuid huvitaval kombel on ilmumas mõned alternatiivid.
Nii et võib-olla kasutate paari aasta pärast oma järgmistes tehisintellekti projektides teist tüüpi kiirendeid.
Loodan, et see kursus oli kasulik ja soovin teile meeldivat päeva.