У цьому курсі про NLP Cloud ми пояснюємо, чому для прискорення обробки робочих навантажень машинного навчання часто потрібне спеціальне обладнання. Ми також розглянемо, які найкращі прискорювачі будуть доступні на ринку в 2023 році: GPU, TPU, IPU, Inferentia, Habana Gaudi...
Ось структура курсу:
Всім привіт, це Джуліан Салінас з NLP Cloud.
У цьому курсі ми розглянемо, які апаратні прискорювачі ми можемо використовувати сьогодні для прискорення робочих навантажень виведення.
Щоб зрозуміти, що таке апаратне прискорення, важливо пам'ятати, що сьогодні додатки ШІ здебільшого базуються на нейронних мережах, також відомих як глибинне навчання.
Множення матриць є важливою операцією в нейронних мережах, оскільки вона дозволяє їм вивчати складні дані і складні представлення даних.
У нейронній мережі вхідні дані представлені у вигляді матриці, і ваги зв'язків між нейронами також представлені у вигляді матриці.
Коли ці дві матриці перемножуються, результатом є нова матриця, яка представляє вихід нейронів.
Цей процес повторюється через кілька шарів нейронів, що дозволяє мережі вивчати все більш абстрактні та складні характеристики вхідних даних.
Матриці є основними компонентами моделей ШІ, тому важливо використовувати апаратне забезпечення, яке дуже добре виконує операції з матрицями.
Іншим важливим аспектом є числа з плаваючою комою.
Плаваючі точки важливі в нейронних мережах, оскільки вони дозволяють представляти дробові значення.
Як ми щойно говорили, нейронні мережі використовують великі матриці з багатьма елементами.
Використання лише цілих значень швидко призведе до помилок переповнення.
Використовуючи значення з плаваючою комою, нейронні мережі можуть представляти значення з багатьма десятковими знаками, що дозволяє проводити більш точні обчислення і підвищує точність вихідних даних.
Отже, щоб ефективно обробляти робочі навантаження, робочі навантаження ШІ, нам потрібне обладнання, яке добре справляється з множенням матриць і обчисленнями з плаваючою комою.
Два основних варіанти, які ви можете розглянути сьогодні для своїх робочих навантажень машинного навчання, - це CPU і GPU.
Центральний процесор, або центральний процесор, - це процесор загального призначення, який виконує широкий спектр завдань у комп'ютерній системі, включаючи запуск додатків, управління операційною системою та виконання математичних розрахунків.
Процесори розроблені таким чином, щоб бути універсальними і виконувати багато типів завдань, але вони не оптимізовані під якийсь конкретний тип робочого навантаження.
Графічний процесор (GPU) - це спеціалізований процесор, призначений для обробки складних паралельних робочих навантажень, таких як рендеринг графіки та машинне навчання.
Графічні процесори мають тисячі менших ядер, які працюють разом для обробки великих обсягів даних за один раз, що робить їх набагато швидшими за CPU для певних типів робочих навантажень.
Матричні операції можна легко розпаралелити на декількох невеликих ядрах, саме тому графічні процесори чудово справляються з цією задачею.
Крім того, графічні процесори зазвичай мають набагато більше одиниць з плаваючою комою, ніж центральні процесори, що дозволяє їм виконувати операції з плаваючою комою набагато швидше.
Тепер ви знаєте, чому процесора часто недостатньо для сучасних робочих навантажень штучного інтелекту, і чому конкретне обладнання часто дуже важливе.
Тепер давайте зануримося у вибір, який у вас є, коли справа доходить до конкретних апаратних прискорювачів.
Графічні процесори NVIDIA - це потужний інструмент для обробки графіки, який пропонує широкий спектр можливостей, що роблять їх ідеальними для ігор, машинного навчання, редагування відео, дизайну та інженерних додатків.
Як інженеру з розробки програмного забезпечення для ШІ, без сумніву, вам доведеться працювати з графічними процесорами NVIDIA, оскільки вони займають центральне місце на ринку графічних процесорів сьогодні.
Їхні найпотужніші карти для ШІ в 2023 році - A100 і H100.
AMD також пропонує широкий вибір графічних процесорів, у тому числі для машинного навчання.
Асортимент їхньої продукції RockM цікавий, і я рекомендую вам ознайомитися з ним.
Google також будує свої власні ШІ-чіпи, які називаються TPU (TensorFlow Processing Unit).
Вони використовують ці фішки всередині компанії, а також пропонують їх у своїй пропозиції Google Cloud.
Однак, ви не можете придбати TPU для себе.
TPU працюють трохи інакше, ніж GPU, але це буде темою окремого відео.
Graphcore - це британська компанія, яка виробляє спеціальне обладнання для штучного інтелекту, яке називається IPU, еквівалент Google TPU.
Ви можете як придбати IPU, так і використовувати їх у хмарі через одного з їхніх партнерів.
AWS створюють власні мікросхеми ШІ.
У них є чіп, присвячений висновкам, який називається Inferentia, і ще один, присвячений навчанню, який називається Tranium.
Ці чіпси відносно дешеві.
Ви не можете придбати такі чіпи для себе, але можете використовувати їх в AWS EC2 або Sage Maker.
Intel також створила власний ШІ-чіп під назвою Habana Gaudi, який є дуже потужною, але дуже дорогою альтернативою.
Апаратні прискорювачі потужні, але також дуже дорогі, і їх нелегко придбати через глобальний дефіцит напівпровідників.
Отже, саме тому розумно працювати над оптимізацією робочого навантаження вашого ШІ, щоб він працював на меншому обладнанні.
Процесори насправді можуть бути навіть непоганим варіантом для багатьох робочих навантажень машинного навчання в багатьох ситуаціях.
Як бачите, у 2023 році NVIDIA є фактичним рішенням, коли мова йде про апаратне прискорення в ШІ та машинному навчанні.
Але, що цікаво, з'являються деякі альтернативи.
Тож, можливо, через пару років для своїх наступних ШІ-проектів ви будете використовувати інші типи акселераторів.
Сподіваюся, цей курс був корисним і бажаю вам приємного дня.