V tomto kurzu NLP Cloud vysvětlíme, proč je pro urychlení zpracování úloh strojového učení často nutný specifický hardware. Také si projdeme, které jsou nejlepší akcelerátory dostupné na trhu v roce 2023: GPU, TPU, IPU, Inferentia, Habana Gaudi...
Zde je struktura kurzu:
Dobrý den, tady Julien Salinas z NLP Cloud.
V tomto kurzu se podíváme, jaké hardwarové akcelerátory můžeme dnes použít k urychlení inferenčních úloh.
Pro pochopení hardwarové akcelerace je důležité si uvědomit, že aplikace umělé inteligence jsou dnes většinou založeny na neuronových sítích, známých také jako hluboké učení.
Násobení matic je v neuronových sítích zásadní operací, protože jim umožňuje učit se komplexní data a jejich složité reprezentace.
V neuronové síti jsou vstupní data reprezentována maticí a váhy spojení mezi neurony jsou rovněž reprezentovány maticí.
Po vynásobení těchto dvou matic vznikne nová matice, která představuje výstup neuronů.
Tento proces se opakuje ve více vrstvách neuronů, což síti umožňuje učit se stále abstraktnější a složitější funkce vstupních dat.
Matice jsou základními součástmi modelů umělé inteligence, a proto je důležité používat hardware, který umí velmi dobře provádět operace s maticemi.
Dalším důležitým aspektem jsou čísla s pohyblivou řádovou čárkou.
Pohyblivá desetinná čárka je v neuronových sítích důležitá, protože umožňuje reprezentaci zlomkových hodnot.
Jak jsme si právě řekli, neuronové sítě zahrnují velké matice s mnoha položkami.
Použití pouze celočíselných hodnot by rychle vedlo k chybám přetečení.
Díky použití hodnot s pohyblivou desetinnou čárkou mohou neuronové sítě reprezentovat hodnoty s mnoha desetinnými místy, což umožňuje přesnější výpočty a lepší přesnost výstupů.
Abychom tedy mohli efektivně zpracovávat pracovní zátěž, zátěž umělé inteligence, potřebujeme hardware, který si dobře poradí s násobením matic a výpočty s plovoucí desetinnou čárkou.
Dvěma hlavními možnostmi, které dnes můžete pro své úlohy strojového učení zvážit, jsou CPU a GPU.
CPU neboli centrální procesorová jednotka je procesor pro všeobecné použití, který v počítačovém systému zpracovává celou řadu úloh, včetně spouštění aplikací, správy operačního systému a provádění matematických výpočtů.
Procesory jsou navrženy tak, aby byly univerzální a zvládaly mnoho typů úloh, ale nejsou optimalizovány pro žádný konkrétní typ zátěže.
GPU neboli grafická procesorová jednotka je specializovaný procesor, který je navržen tak, aby zvládal složité paralelní úlohy, jako je vykreslování grafiky a strojové učení.
Grafické procesory mají tisíce menších jader, která společně zpracovávají velké množství dat najednou, takže jsou pro určité typy úloh mnohem rychlejší než procesory.
Maticové operace lze snadno paralelizovat na několika malých jádrech, a proto v této oblasti vynikají grafické procesory.
Grafické procesory mají také obvykle mnohem více jednotek s plovoucí desetinnou čárkou než CPU, což jim umožňuje provádět operace s plovoucí desetinnou čárkou mnohem rychleji.
Nyní už víte, proč pro dnešní zátěž umělé inteligence často nestačí procesor a proč je často velmi důležitý specifický hardware.
Nyní se ponoříme do možností, které máte, pokud jde o konkrétní hardwarové akcelerátory.
Grafické procesory NVIDIA jsou výkonným nástrojem pro zpracování grafiky a nabízejí řadu funkcí, které jsou ideální pro hraní her, strojové učení, střih videa a konstrukční a inženýrské aplikace.
Jako softwarový inženýr zabývající se umělou inteligencí si bezpochyby budete muset hrát s grafickými procesory NVIDIA, které dnes zaujímají ústřední postavení na trhu grafických procesorů.
Jejich nejvýkonnějšími kartami pro umělou inteligenci v roce 2023 jsou A100 a H100.
Společnost AMD nabízí také širokou škálu grafických procesorů, včetně těch pro strojové učení.
Jejich řada produktů RockM je zajímavá a doporučuji vám, abyste se na ni podívali.
Google také vyrábí vlastní čipy umělé inteligence, které se nazývají TPU (TensorFlow Processing Unit).
Tyto čipy používají interně, ale nabízejí je také ve své nabídce Google Cloud.
TPU si však nemůžete zakoupit sami.
Procesory TPU fungují trochu jinak než GPU, ale to bude téma pro další video.
Graphcore je britská společnost vyrábějící specifický hardware pro umělou inteligenci zvaný IPU, který je obdobou procesorů Google TPU.
Jednotky IPU si můžete zakoupit nebo je používat v cloudu prostřednictvím některého z jejich partnerů.
AWS vytváří vlastní čipy s umělou inteligencí.
Mají čip určený k odvozování, nazvaný Inferentia, a další čip určený k tréninku, nazvaný Tranium.
Tyto čipy jsou relativně levné.
Takové čipy si nemůžete koupit pro sebe, ale můžete je použít v AWS EC2 nebo v Sage Makeru.
Společnost Intel také vyrábí vlastní čip s umělou inteligencí s názvem Habana Gaudi, který je velmi výkonnou, ale velmi drahou alternativou.
Hardwarové akcelerátory jsou výkonné, ale také velmi drahé a není snadné je pořídit kvůli celosvětovému nedostatku polovodičů.
Proto je rozumné pracovat na co největší optimalizaci pracovní zátěže umělé inteligence, aby mohla běžet na menším hardwaru.
Procesory mohou být v mnoha situacích dokonce vhodnou volbou pro mnoho úloh strojového učení.
Jak je vidět, v roce 2023 je NVIDIA de facto řešením, pokud jde o hardwarovou akceleraci v oblasti umělé inteligence a strojového učení.
Je však zajímavé, že se objevují i alternativy.
Takže možná za pár let budete pro své další projekty v oblasti umělé inteligence používat jiné typy akcelerátorů.
Doufám, že tento kurz byl užitečný, a přeji vám příjemný den.