Tällä NLP Cloud -kurssilla selitämme, miksi erityinen laitteisto on usein tarpeen koneoppimisen työmäärän käsittelyn nopeuttamiseksi. Käymme myös läpi, mitkä ovat markkinoiden parhaat kiihdyttimet vuonna 2023: GPU:t, TPU:t, IPU:t, Inferentia, Habana Gaudi...
Tässä on kurssin rakenne:
Hei kaikille, tässä on Julien Salinas NLP Cloudista.
Tällä kurssilla käymme läpi, millaisia laitteistokiihdyttimiä voimme nykyään käyttää nopeuttaaksemme päätelmien tekemistä.
Laitteistokiihdytyksen ymmärtämiseksi on tärkeää muistaa, että tekoälysovellukset perustuvat nykyään enimmäkseen neuroverkkoihin, joita kutsutaan myös syväoppimiseksi.
Matriisien kertominen on olennainen operaatio neuroverkoissa, koska sen avulla ne voivat oppia monimutkaisia tietoja ja monimutkaisia esityksiä tiedoista.
Neuroverkossa syöttötiedot esitetään matriisina ja neuronien välisten yhteyksien painot myös matriisina.
Kun nämä kaksi matriisia kerrotaan, tuloksena on uusi matriisi, joka edustaa neuronien ulostuloa.
Tämä prosessi toistuu useiden neuronikerrosten kautta, jolloin verkko oppii yhä abstraktimpia ja monimutkaisempia piirteitä syötetystä datasta.
Matriisit ovat tekoälymallien ydinkomponentteja, joten on tärkeää käyttää laitteistoa, joka on erittäin hyvä suorittamaan operaatioita matriiseilla.
Toinen tärkeä näkökohta ovat liukuluvut.
Liukulukupisteet ovat tärkeitä neuroverkoissa, koska ne mahdollistavat murtolukujen esittämisen.
Kuten juuri sanoimme, neuroverkoissa on suuria matriiseja, joissa on paljon merkintöjä.
Pelkkien kokonaislukujen käyttö johtaisi nopeasti ylivuotovirheisiin.
Käyttämällä liukulukuarvoja neuroverkot voivat esittää arvoja, joissa on useita desimaaleja, mikä mahdollistaa tarkemmat laskutoimitukset ja paremman tarkkuuden tuloksissa.
Yhteenvetona voidaan siis todeta, että työtaakkojen, tekoälyn työtaakkojen, tehokkaaseen käsittelyyn tarvitaan laitteistoja, jotka pystyvät käsittelemään matriisikertoja ja liukulukulaskentaa.
Kaksi päävaihtoehtoa, joita voit nykyään harkita koneoppimisen työmäärääsi varten, ovat suorittimet ja näytönohjaimet.
CPU eli keskusyksikkö on yleiskäyttöinen prosessori, joka huolehtii monenlaisista tietokonejärjestelmän tehtävistä, kuten sovellusten suorittamisesta, käyttöjärjestelmän hallinnasta ja matemaattisista laskutoimituksista.
Suorittimet on suunniteltu monipuolisiksi, ja ne pystyvät hoitamaan monenlaisia tehtäviä, mutta niitä ei ole optimoitu minkään tietynlaista työmäärää varten.
GPU eli grafiikkasuorittimen yksikkö on erikoistunut prosessori, joka on suunniteltu käsittelemään monimutkaisia, rinnakkaisia työtehtäviä, kuten grafiikan renderöintiä ja koneoppimista.
Näytönohjaimissa on tuhansia pienempiä ytimiä, jotka käsittelevät yhdessä suuria tietomääriä kerralla, mikä tekee niistä paljon nopeampia kuin suorittimista tietyntyyppisissä työtehtävissä.
Matriisioperaatiot voidaan helposti rinnakkaistaa useilla pienillä ytimillä, minkä vuoksi grafiikkasuorittimet ovat erinomaisia tällä alalla.
Lisäksi näytönohjaimissa on yleensä paljon enemmän liukulukuyksiköitä kuin suorittimissa, minkä ansiosta ne voivat suorittaa liukulukuoperaatioita paljon nopeammin.
Tiedät nyt, miksi suoritin ei useinkaan riitä nykypäivän tekoälytehtäviin ja miksi erityinen laitteisto on usein hyvin tärkeä.
Tutustutaan nyt valintamahdollisuuksiin, joita sinulla on tiettyjen laitteistokiihdyttimien suhteen.
NVIDIAn näytönohjaimet ovat tehokas työkalu graafiseen prosessointiin, ja ne tarjoavat monia ominaisuuksia, joiden ansiosta ne soveltuvat erinomaisesti pelaamiseen, koneoppimiseen, videoeditointiin sekä suunnittelu- ja insinöörisovelluksiin.
Tekoälyohjelmistoinsinöörinä sinun on epäilemättä pelattava NVIDIAn näytönohjaimilla, sillä niillä on keskeinen asema näytönohjainmarkkinoilla nykyään.
Heidän tehokkaimmat korttinsa tekoälyä varten vuonna 2023 ovat A100 ja H100.
AMD tarjoaa myös laajan valikoiman näytönohjaimia, myös koneoppimiseen.
Heidän RockM-tuotevalikoimansa on mielenkiintoinen, ja kehotan teitä tutustumaan siihen.
Google rakentaa myös omia tekoälysirujaan, joita kutsutaan TPU:ksi (TensorFlow Processing Unit).
Se käyttää näitä siruja sisäisesti, mutta tarjoaa niitä myös Google Cloud -palvelussaan.
TPU:ta ei kuitenkaan voi ostaa itselleen.
TPU:t toimivat hieman eri tavalla kuin näytönohjaimet, mutta se on toisen videon aihe.
Graphcore on brittiläinen yritys, joka valmistaa erityistä tekoälylaitteistoa nimeltä IPU, joka vastaa Googlen TPU:ta.
Voit sekä ostaa IPU:t että käyttää niitä pilvipalveluna jonkin kumppanin kautta.
AWS rakentaa omia tekoälysirujaan.
Heillä on päätelmille omistettu siru, nimeltään Inferentia, ja toinen koulutukseen omistettu siru, nimeltään Tranium.
Nämä sirut ovat suhteellisen halpoja.
Et voi ostaa tällaisia siruja itsellesi, mutta voit käyttää niitä AWS EC2:ssa tai Sage Makerissa.
Intel rakentaa myös oman tekoälypiirinsä, nimeltään Habana Gaudi, joka on erittäin tehokas mutta erittäin kallis vaihtoehto.
Laitteistokiihdyttimet ovat tehokkaita, mutta myös erittäin kalliita, eikä niitä ole helppo hankkia maailmanlaajuisen puolijohdepulan vuoksi.
Tämän vuoksi on viisasta optimoida tekoälyn työmäärää mahdollisimman paljon, jotta se toimisi pienemmällä laitteistolla.
Suorittimet voivat monissa tilanteissa olla jopa hyvä vaihtoehto monille koneoppimisen työtehtäville.
Kuten tällä hetkellä, vuonna 2023 NVIDIA on de facto ratkaisu, kun on kyse tekoälyn ja koneoppimisen laitteistokiihdytyksestä.
Mielenkiintoista on kuitenkin se, että joitakin vaihtoehtoja on ilmaantumassa.
Joten ehkä parin vuoden kuluttua, seuraavissa tekoälyhankkeissanne, käytätte mahdollisesti muunlaisia kiihdyttimiä.
Toivottavasti tämä kurssi oli hyödyllinen ja toivotan teille mukavaa päivänjatkoa.