AI 워크로드를 위한 하드웨어 가속화

Transcript

안녕하세요, NLP Cloud의 줄리엔 살리나스입니다.

이 과정에서는 추론 워크로드의 속도를 높이기 위해 현재 어떤 종류의 하드웨어 가속기를 사용할 수 있는지 알아보겠습니다.

하드웨어 가속을 이해하려면 오늘날 AI 애플리케이션은 대부분 딥 러닝이라고도 하는 신경망을 기반으로 한다는 점을 기억하는 것이 중요합니다.

행렬 곱셈은 신경망에서 필수적인 연산으로, 복잡한 데이터와 데이터의 복잡한 표현을 학습할 수 있게 해주기 때문입니다.

신경망에서 입력 데이터는 행렬로 표현되며 뉴런 간 연결의 가중치도 행렬로 표현됩니다.

이 두 행렬을 곱하면 뉴런의 출력을 나타내는 새로운 행렬이 생성됩니다.

이 과정은 여러 층의 뉴런을 통해 반복되어 네트워크가 입력 데이터의 점점 더 추상적이고 복잡한 특징을 학습할 수 있게 해줍니다.

행렬은 AI 모델의 핵심 구성 요소이므로 행렬에 대한 연산을 매우 잘 수행하는 하드웨어를 사용하는 것이 중요합니다.

또 다른 중요한 측면은 부동 소수점 숫자입니다.

부동 소수점은 분수 값을 표현할 수 있기 때문에 신경망에서 중요합니다.

앞서 말했듯이 신경망은 많은 항목이 포함된 큰 행렬을 포함합니다.

정수 값만 사용하면 오버플로 오류가 빠르게 발생할 수 있습니다.

부동 소수점 값을 사용하면 신경망은 소수점 이하 자릿수가 많은 값을 표현할 수 있으므로 보다 정밀한 계산과 출력의 정확도를 높일 수 있습니다.

요약하자면, 워크로드, 즉 AI 워크로드를 효율적으로 처리하려면 행렬 곱셈과 부동 소수점 계산을 잘 처리할 수 있는 하드웨어가 필요합니다.

현재 머신 러닝 워크로드에 대해 고려할 수 있는 두 가지 주요 옵션은 CPU와 GPU입니다.

CPU(중앙 처리 장치)는 애플리케이션 실행, 운영 체제 관리, 수학적 계산 수행 등 컴퓨터 시스템에서 다양한 작업을 처리하는 범용 프로세서입니다.

CPU는 다용도로 설계되어 다양한 유형의 작업을 처리할 수 있지만 특정 유형의 워크로드에 최적화되어 있지는 않습니다.

GPU(그래픽 처리 장치)는 그래픽 렌더링 및 머신 러닝과 같은 복잡한 병렬 워크로드를 처리하도록 설계된 특수 프로세서입니다.

GPU는 수천 개의 작은 코어가 함께 작동하여 대량의 데이터를 한 번에 처리하므로 특정 유형의 워크로드에서 CPU보다 훨씬 빠릅니다.

행렬 연산은 여러 개의 작은 코어에서 쉽게 병렬화할 수 있기 때문에 이 영역에서 GPU가 뛰어난 성능을 발휘합니다.

또한 GPU는 일반적으로 CPU보다 부동 소수점 단위가 훨씬 많기 때문에 부동 소수점 연산을 훨씬 더 빠르게 수행할 수 있습니다.

이제 CPU만으로는 오늘날의 AI 워크로드에 충분하지 않은 이유와 특정 하드웨어가 매우 중요한 이유를 알 수 있습니다.

이제 특정 하드웨어 가속기와 관련하여 선택할 수 있는 옵션에 대해 자세히 알아보겠습니다.

NVIDIA GPU는 그래픽 처리를 위한 강력한 도구로, 게임, 머신 러닝, 비디오 편집, 디자인 및 엔지니어링 애플리케이션에 이상적인 다양한 기능을 제공합니다.

AI 소프트웨어 엔지니어로서 오늘날 GPU 시장에서 중심적인 위치를 차지하고 있는 NVIDIA GPU를 사용해야 한다는 것은 의심의 여지가 없습니다.

2023년 AI를 위한 가장 강력한 카드는 A100과 H100입니다.

AMD는 또한 머신 러닝을 포함한 다양한 GPU를 제공합니다.

RockM 제품군은 흥미롭기 때문에 한 번 살펴보는 것을 추천합니다.

또한 Google은 텐서플로우 처리 장치용 TPU라고 하는 자체 AI 칩을 제작합니다.

내부적으로 이러한 칩을 사용할 뿐만 아니라 Google 클라우드 서비스에서도 이러한 칩을 제안합니다.

하지만 직접 TPU를 구매할 수는 없습니다.

TPU는 GPU와 약간 다르게 작동하지만, 이는 다른 전용 동영상에서 다룰 주제입니다.

그래프코어는 영국에 본사를 둔 회사로, 구글 TPU에 해당하는 IPU라는 특정 AI 하드웨어를 제작합니다.

IPU를 구매하거나 파트너를 통해 클라우드에서 사용할 수 있습니다.

AWS는 자체 AI 칩을 구축합니다.

이 칩에는 추론 전용 칩인 인페르렌티아(Inferentia)와 훈련 전용 칩인 트라늄(Tranium)이 있습니다.

이 칩은 비교적 저렴합니다.

이러한 칩을 직접 구매할 수는 없지만 AWS EC2 또는 Sage Maker에서 사용할 수 있습니다.

인텔은 또한 매우 강력하지만 매우 비싼 대안인 하바나 가우디라는 자체 AI 칩을 개발했습니다.

하드웨어 가속기는 강력하지만 매우 비싸고 전 세계적인 반도체 부족으로 인해 구매하기가 쉽지 않습니다.

따라서 더 작은 하드웨어에서 실행할 수 있도록 AI 워크로드를 최대한 최적화하는 것이 현명합니다.

CPU는 실제로 많은 상황에서 많은 머신 러닝 워크로드에 적합한 옵션이 될 수도 있습니다.

현재 보시다시피, 2023년 AI 및 머신 러닝의 하드웨어 가속과 관련해서는 NVIDIA가 사실상 유일한 솔루션입니다.

하지만 흥미롭게도 몇 가지 대안이 등장하고 있습니다.

따라서 몇 년 후에는 다음 AI 프로젝트에 다른 유형의 액셀러레이터를 사용하게 될 수도 있습니다.

이 강좌가 도움이 되었기를 바라며 즐거운 하루 되시길 바랍니다.