Ebben az NLP Cloud kurzusban elmagyarázzuk, hogy miért van gyakran szükség speciális hardverre ahhoz, hogy felgyorsítsuk a gépi tanulási munkaterhelések feldolgozását. Azt is áttekintjük, hogy melyek a piacon elérhető legjobb gyorsítók 2023-ban: GPU-k, TPU-k, IPU-k, Inferentia, Habana Gaudi...
A tanfolyam felépítése a következő:
Üdvözlök mindenkit, itt Julien Salinas az NLP Cloudtól.
Ebben a kurzusban megnézzük, hogy milyen hardveres gyorsítókkal gyorsíthatjuk fel a következtetési munkaterhelésünket.
A hardveres gyorsítás megértéséhez fontos megjegyezni, hogy az AI-alkalmazások manapság többnyire neurális hálózatokon, más néven mélytanuláson alapulnak.
A mátrixszorzás alapvető művelet a neurális hálózatokban, mivel lehetővé teszi számukra, hogy összetett adatokat és az adatok összetett reprezentációit megtanulják.
Egy neurális hálózatban a bemeneti adatokat egy mátrix reprezentálja, és a neuronok közötti kapcsolatok súlyait szintén egy mátrix reprezentálja.
Amikor ezt a két mátrixot megszorozzuk, az eredmény egy új mátrix lesz, amely a neuronok kimenetét reprezentálja.
Ez a folyamat több neuronrétegen keresztül ismétlődik, lehetővé téve a hálózat számára, hogy a bemeneti adatok egyre absztraktabb és összetettebb jellemzőit megtanulja.
A mátrixok a mesterséges intelligencia modellek központi elemei, ezért fontos, hogy olyan hardvert használjunk, amely nagyon jól végzi a mátrixokkal végzett műveleteket.
Egy másik fontos szempont a lebegőpontos számok.
A lebegőpontok azért fontosak a neurális hálózatokban, mert lehetővé teszik a tört értékek ábrázolását.
Ahogy az imént említettük, a neurális hálózatok nagy, sok bejegyzéssel rendelkező mátrixokat tartalmaznak.
Ha csak egész számokat használnánk, az gyorsan túlcsordulási hibákhoz vezetne.
A lebegőpontos értékek használatával a neurális hálózatok sok tizedesjegyű értékeket tudnak ábrázolni, ami pontosabb számításokat és nagyobb pontosságot tesz lehetővé a kimenetekben.
Összefoglalva tehát, a munkaterhek, az AI-munkaterhek hatékony feldolgozásához olyan hardverre van szükségünk, amely jól kezeli a mátrixszorzásokat és a lebegőpontos számításokat.
A két fő lehetőség, amelyet ma a gépi tanulási munkaterhelésekhez mérlegelhet, a CPU-k és a GPU-k.
A CPU vagy Central Processing Unit (központi feldolgozó egység) egy általános célú processzor, amely a számítógépes rendszerben a feladatok széles körét látja el, beleértve az alkalmazások futtatását, az operációs rendszer kezelését és a matematikai számítások elvégzését.
A CPU-kat úgy tervezték, hogy sokoldalúak legyenek, és sokféle feladattípusra képesek legyenek, de nem optimalizálták őket egy adott típusú munkaterhelésre.
A GPU vagy Graphic Processing Unit (grafikus feldolgozó egység) egy speciális processzor, amelyet olyan összetett, párhuzamos munkaterhelések kezelésére terveztek, mint a grafikus renderelés és a gépi tanulás.
A GPU-k több ezer kisebb maggal rendelkeznek, amelyek egyszerre nagy mennyiségű adatot dolgoznak fel, így bizonyos típusú munkaterheléseknél sokkal gyorsabbak, mint a CPU-k.
A mátrixműveletek könnyen párhuzamosíthatók több kis magon, ezért a GPU-k kiválóak ezen a területen.
A GPU-k jellemzően sokkal több lebegőpontos egységgel rendelkeznek, mint a CPU-k, ami lehetővé teszi számukra, hogy sokkal gyorsabban hajtsák végre a lebegőpontos műveleteket.
Most már tudja, hogy miért nem elég egy CPU a mai mesterséges intelligencia munkaterheléshez, és hogy miért nagyon fontos a speciális hardver.
Most pedig nézzük meg, milyen választási lehetőségei vannak, ha konkrét hardveres gyorsítókról van szó.
Az NVIDIA GPU-k a grafikus feldolgozás nagy teljesítményű eszközei, és számos olyan funkciót kínálnak, amelyek ideálisak a játékhoz, a gépi tanuláshoz, a videoszerkesztéshez, valamint a tervezési és mérnöki alkalmazásokhoz.
AI szoftvermérnökként kétségtelen, hogy az NVIDIA GPU-kkal kell játszania, mivel ma központi szerepet töltenek be a GPU-piacon.
A legerősebb kártyáik az A100 és a H100 az AI számára 2023-ban.
Az AMD a GPU-k széles választékát kínálja, többek között a gépi tanuláshoz is.
A RockM termékcsaládjuk érdekes, és arra bátorítom Önt, hogy nézze meg.
A Google saját AI-chipeket is készít, amelyeket TPU-knak (TensorFlow Processing Unit) neveznek.
Ezeket a chipeket belsőleg használják, de a Google Cloud kínálatában is kínálják őket.
TPU-t azonban nem vásárolhatsz magadnak.
A TPU-k kissé másképp működnek, mint a GPU-k, de ez egy másik, külön erre a célra szánt videó témája lesz.
A Graphcore egy brit székhelyű vállalat, amely a Google TPU-ival egyenértékű, IPU-nak nevezett speciális AI-hardvereket gyárt.
Az IPU-kat megvásárolhatja, vagy valamelyik partnerükön keresztül a felhőben is használhatja őket.
Az AWS saját AI-chipeket épít.
Van egy, a következtetésre szánt chipjük, az Inferentia, és egy másik, a képzésre szánt, a Tranium.
Ezek a chipek viszonylag olcsók.
Ilyen chipeket nem vásárolhatsz magadnak, de használhatod őket az AWS EC2-n, vagy a Sage Maker-en.
Az Intel saját mesterséges intelligencia chipet is épít, Habana Gaudi néven, ami egy nagyon erős, de nagyon drága alternatíva.
A hardveres gyorsítók nagy teljesítményűek, de nagyon drágák is, és a globális félvezetőhiány miatt nem könnyű beszerezni őket.
Következésképpen ezért bölcs dolog a lehető legnagyobb mértékben optimalizálni a mesterséges intelligencia munkaterhelését, hogy az kisebb hardveren is fusson.
A CPU-k sok esetben még a gépi tanulási munkaterheléshez is megfelelő opciót jelenthetnek.
Ahogy jelenleg is látható, 2023-ban az NVIDIA a de facto megoldás, ha a hardveres gyorsításról van szó az AI és a gépi tanulás területén.
Érdekes módon azonban néhány alternatíva is megjelenik.
Tehát lehet, hogy néhány év múlva, a következő mesterséges intelligencia projektjeikhez más típusú gyorsítókat fognak használni.
Remélem, hogy ez a tanfolyam hasznos volt, és kellemes napot kívánok.