V tomto kurze NLP Cloud vysvetlíme, prečo je často potrebný špecifický hardvér na urýchlenie spracovania úloh strojového učenia. Preskúmame tiež, ktoré sú najlepšie akcelerátory dostupné na trhu v roku 2023: GPU, TPU, IPU, Inferentia, Habana Gaudi...
Tu je štruktúra kurzu:
Dobrý deň, tu je Julien Salinas z NLP Cloud.
V tomto kurze sa pozrieme na to, aké hardvérové akcelerátory môžeme dnes použiť na zrýchlenie našich inferenčných úloh.
Aby sme pochopili hardvérovú akceleráciu, je dôležité si uvedomiť, že aplikácie umelej inteligencie sú v súčasnosti väčšinou založené na neurónových sieťach, známych aj ako hlboké učenie.
Násobenie matíc je základnou operáciou v neurónových sieťach, pretože im umožňuje učiť sa komplexné údaje a zložité reprezentácie údajov.
V neurónovej sieti sú vstupné údaje reprezentované maticou a váhy spojení medzi neurónmi sú tiež reprezentované maticou.
Keď sa tieto dve matice vynásobia, výsledkom je nová matica, ktorá predstavuje výstup neurónov.
Tento proces sa opakuje vo viacerých vrstvách neurónov, čo umožňuje sieti učiť sa čoraz abstraktnejšie a zložitejšie vlastnosti vstupných údajov.
Matice sú základnými zložkami modelov umelej inteligencie, preto je dôležité používať hardvér, ktorý je veľmi dobrý pri vykonávaní operácií s maticami.
Ďalším dôležitým aspektom sú čísla s pohyblivou rádovou čiarkou.
Pohyblivé body sú v neurónových sieťach dôležité, pretože umožňujú reprezentáciu zlomkových hodnôt.
Ako sme práve povedali, neurónové siete obsahujú veľké matice s mnohými vstupmi.
Použitie iba celočíselných hodnôt by rýchlo viedlo k chybám pretečenia.
Vďaka použitiu hodnôt s pohyblivou desatinnou čiarkou môžu neurónové siete reprezentovať hodnoty s mnohými desatinnými miestami, čo umožňuje presnejšie výpočty a lepšiu presnosť výstupov.
Aby sme teda mohli efektívne spracovať pracovné zaťaženie, pracovné zaťaženie umelej inteligencie, potrebujeme hardvér, ktorý si dobre poradí s násobením matíc a výpočtami s pohyblivou desatinnou čiarkou.
Dve hlavné možnosti, ktoré dnes môžete zvážiť pre pracovné zaťaženie strojového učenia, sú CPU a GPU.
CPU alebo centrálna procesorová jednotka je procesor na všeobecné účely, ktorý v počítačovom systéme vykonáva širokú škálu úloh vrátane spúšťania aplikácií, správy operačného systému a vykonávania matematických výpočtov.
Procesory sú navrhnuté tak, aby boli všestranné a zvládali mnoho typov úloh, ale nie sú optimalizované pre žiadny konkrétny typ pracovného zaťaženia.
GPU alebo grafická procesorová jednotka je špecializovaný procesor, ktorý je navrhnutý na zvládanie komplexných paralelných úloh, ako je vykresľovanie grafiky a strojové učenie.
Grafické procesory majú tisíce menších jadier, ktoré spolupracujú na spracovaní veľkého množstva údajov naraz, vďaka čomu sú pri určitých typoch pracovného zaťaženia oveľa rýchlejšie ako CPU.
Maticové operácie sa dajú ľahko paralelizovať na niekoľkých malých jadrách, preto v tejto oblasti vynikajú GPU.
Okrem toho majú GPU zvyčajne oveľa viac jednotiek s pohyblivou rádovou čiarkou ako CPU, čo im umožňuje vykonávať operácie s pohyblivou rádovou čiarkou oveľa rýchlejšie.
Teraz už viete, prečo procesor často nestačí na súčasné pracovné zaťaženie umelej inteligencie a prečo je špecifický hardvér často veľmi dôležitý.
Teraz sa poďme venovať možnostiam, ktoré máte k dispozícii, pokiaľ ide o konkrétne hardvérové akcelerátory.
Grafické procesory NVIDIA sú výkonným nástrojom na spracovanie grafiky a ponúkajú celý rad funkcií, vďaka ktorým sú ideálne na hranie hier, strojové učenie, strih videa a na konštrukčné a inžinierske aplikácie.
Ako softvérový inžinier AI sa nepochybne budete musieť hrať s grafickými procesormi NVIDIA, pretože v súčasnosti majú na trhu s grafickými procesormi ústredné postavenie.
Ich najvýkonnejšie karty pre AI v roku 2023 sú A100 a H100.
Spoločnosť AMD ponúka aj širokú škálu grafických procesorov vrátane tých na strojové učenie.
Ich sortiment produktov RockM je zaujímavý a odporúčam vám, aby ste si ho pozreli.
Spoločnosť Google vytvára aj vlastné čipy AI, ktoré sa nazývajú TPU (TensorFlow Processing Unit).
Tieto čipy používajú interne, ale ponúkajú ich aj v ponuke služby Google Cloud.
TPU si však nemôžete kúpiť sami.
TPU fungujú trochu inak ako GPU, ale to bude téma na ďalšie špecializované video.
Graphcore je spoločnosť so sídlom v Spojenom kráľovstve, ktorá vyrába špecifický hardvér umelej inteligencie nazývaný IPU, ktorý je ekvivalentom TPU spoločnosti Google.
Jednotky IPU si môžete zakúpiť alebo ich používať v cloude prostredníctvom niektorého z ich partnerov.
AWS si vytvára vlastné čipy s umelou inteligenciou.
Majú čip určený na odvodzovanie, ktorý sa nazýva Inferentia, a ďalší čip určený na tréning, ktorý sa nazýva Tranium.
Tieto čipy sú pomerne lacné.
Takéto čipy si nemôžete zakúpiť, ale môžete ich používať v systéme AWS EC2 alebo Sage Maker.
Spoločnosť Intel vytvorila aj vlastný čip AI s názvom Habana Gaudi, ktorý je veľmi výkonnou, ale veľmi drahou alternatívou.
Hardvérové akcelerátory sú výkonné, ale aj veľmi drahé a nie je ľahké ich kúpiť kvôli celosvetovému nedostatku polovodičov.
Preto je rozumné pracovať na čo najväčšej optimalizácii pracovnej záťaže AI, aby mohla bežať na menšom hardvéri.
Procesory môžu byť v mnohých situáciách dokonca vhodnou voľbou pre mnohé pracovné zaťaženia strojového učenia.
Ako vidíte v súčasnosti, v roku 2023 je NVIDIA de facto riešením, pokiaľ ide o hardvérovú akceleráciu v oblasti umelej inteligencie a strojového učenia.
Zaujímavé však je, že sa objavujú niektoré alternatívy.
Takže možno o pár rokov budete pre svoje ďalšie projekty AI používať iné typy akcelerátorov.
Dúfam, že tento kurz bol užitočný a prajem vám príjemný deň.