V tem tečaju NLP v oblaku pojasnjujemo, zakaj je za pospešitev obdelave delovnih obremenitev strojnega učenja pogosto potrebna posebna strojna oprema. Pregledamo tudi, kateri so najboljši pospeševalniki, ki bodo na voljo na trgu leta 2023: Inferentia, Habana Gaudi...
Struktura tečaja je naslednja:
Pozdravljeni vsi, to je Julien Salinas iz NLP Cloud.
V tem tečaju si bomo ogledali, katere vrste strojnih pospeševalnikov lahko danes uporabimo za pospešitev delovnih obremenitev pri sklepanju.
Da bi razumeli strojno pospeševanje, se je treba zavedati, da aplikacije umetne inteligence danes večinoma temeljijo na nevronskih omrežjih, znanih tudi kot globoko učenje.
Množenje matrik je bistvena operacija v nevronskih omrežjih, saj jim omogoča učenje kompleksnih podatkov in kompleksnih predstavitev podatkov.
V nevronski mreži so vhodni podatki predstavljeni z matriko, uteži povezav med nevroni pa so prav tako predstavljene z matriko.
Ko ti dve matriki pomnožimo, dobimo novo matriko, ki predstavlja izhod nevronov.
Ta postopek se ponovi v več plasteh nevronov, tako da se omrežje nauči vedno bolj abstraktnih in zapletenih lastnosti vhodnih podatkov.
Matrike so ključne sestavine modelov umetne inteligence, zato je pomembno, da uporabite strojno opremo, ki je zelo dobra pri izvajanju operacij z matrikami.
Drug pomemben vidik so števila s plavajočo vejico.
Plavajoča vejica je v nevronskih omrežjih pomembna, ker omogoča prikazovanje ulomkovnih vrednosti.
Kot smo pravkar povedali, nevronske mreže vključujejo velike matrike z veliko vnosi.
Uporaba samo celoštevilskih vrednosti bi hitro privedla do napak zaradi prelivanja.
Z uporabo vrednosti s plavajočo vejico lahko nevronske mreže predstavljajo vrednosti z več decimalnimi mesti, kar omogoča natančnejše izračune in večjo natančnost rezultatov.
Če torej želimo učinkovito obdelovati delovne obremenitve, delovne obremenitve umetne inteligence, potrebujemo strojno opremo, ki se dobro spopada z množenjem matrik in izračuni s plavajočo vejico.
Dve glavni možnosti, ki ju danes lahko upoštevate za delovne obremenitve strojnega učenja, sta centralni in grafični procesorji.
Procesor ali centralna procesna enota je procesor za splošne namene, ki v računalniškem sistemu opravlja številne naloge, vključno z izvajanjem aplikacij, upravljanjem operacijskega sistema in matematičnimi izračuni.
Procesorji so zasnovani tako, da so vsestranski in lahko opravljajo številne vrste opravil, vendar niso optimizirani za določeno vrsto delovne obremenitve.
Grafični procesor ali grafična procesna enota je specializiran procesor, ki je zasnovan za kompleksne, vzporedne delovne obremenitve, kot sta upodabljanje grafike in strojno učenje.
Grafični procesorji imajo na tisoče manjših jeder, ki skupaj obdelujejo velike količine podatkov naenkrat, zato so pri določenih vrstah delovnih obremenitev veliko hitrejši od centralnih procesorjev.
Matrične operacije je mogoče enostavno vzporediti na več majhnih jedrih, zato so grafični procesorji na tem področju odlični.
Poleg tega imajo grafični procesorji običajno veliko več enot s plavajočo vejico kot centralni procesorji, zato lahko operacije s plavajočo vejico izvajajo veliko hitreje.
Zdaj veste, zakaj procesor pogosto ni dovolj za današnje delovne obremenitve umetne inteligence in zakaj je posebna strojna oprema pogosto zelo pomembna.
Zdaj pa se poglobimo v možnosti, ki jih imate pri izbiri posebnih pospeševalnikov strojne opreme.
Grafični procesorji NVIDIA so zmogljivo orodje za grafično obdelavo in ponujajo vrsto funkcij, zaradi katerih so idealni za igranje iger, strojno učenje, urejanje videoposnetkov ter oblikovalske in inženirske aplikacije.
Kot inženir programske opreme za umetno inteligenco se boste nedvomno ukvarjali z grafičnimi procesorji NVIDIA, saj imajo danes osrednji položaj na trgu grafičnih procesorjev.
Najzmogljivejši kartici za umetno inteligenco v letu 2023 sta A100 in H100.
AMD ponuja tudi široko paleto grafičnih procesorjev, tudi za strojno učenje.
Njihova ponudba izdelkov RockM je zanimiva in priporočam vam, da si jo ogledate.
Google izdeluje tudi lastne čipe umetne inteligence, imenovane TPU (TensorFlow Processing Unit).
Te čipe uporabljajo interno, ponujajo pa jih tudi v svoji ponudbi Google Cloud.
TPU-ja pa ne morete kupiti zase.
TPU delujejo nekoliko drugače kot grafični procesorji, vendar bo to tema za drug videoposnetek.
Graphcore je podjetje s sedežem v Združenem kraljestvu, ki izdeluje posebno strojno opremo za umetno inteligenco, imenovano IPU, enakovredno Googlovim TPU-jem.
IPU lahko kupite ali jih uporabljate v oblaku prek enega od njihovih partnerjev.
AWS izdeluje lastne čipe umetne inteligence.
Imajo čip, namenjen sklepanju, imenovan Inferentia, in čip, namenjen usposabljanju, imenovan Tranium.
Ti čipi so razmeroma poceni.
Takšnih čipov ne morete kupiti zase, lahko pa jih uporabite v sistemu AWS EC2 ali Sage Maker.
Intel izdeluje tudi lasten čip z umetno inteligenco, imenovan Habana Gaudi, ki je zelo zmogljiva, vendar zelo draga alternativa.
Strojni pospeševalniki so zmogljivi, vendar so tudi zelo dragi in jih zaradi globalnega pomanjkanja polprevodnikov ni lahko kupiti.
Zato je pametno čim bolj optimizirati delovno obremenitev umetne inteligence, da bo lahko delovala na manjši strojni opremi.
Procesorji so lahko v mnogih primerih celo primerna možnost za številne delovne obremenitve strojnega učenja.
Kot lahko vidite, bo NVIDIA leta 2023 dejanska rešitev za strojno pospeševanje umetne inteligence in strojnega učenja.
Zanimivo pa je, da se pojavljajo tudi druge možnosti.
Zato boste morda čez nekaj let za naslednje projekte umetne inteligence uporabili druge vrste pospeševalnikov.
Upam, da je bil ta tečaj koristen, in vam želim prijeten dan.