많은 조직이 데이터 프라이버시를 희생하지 않으면서 AI를 제품이나 내부 프로세스에 통합하기를 원합니다. 이러한 조직의 경우, 데이터를 클라우드로 전송하는 대신 자체 서버에 AI 모델을 다운로드하여 배포하는 것이 해결책입니다. 이 글에서는 이 온프레미스 전략('엣지 AI'라고도 함)에 대해 설명합니다.
많은 조직이 데이터 프라이버시를 희생하지 않으면서 AI를 제품이나 내부 프로세스에 통합하기를 원합니다. 이러한 조직의 경우, 데이터를 클라우드로 전송하는 대신 자체 서버에 AI 모델을 다운로드하여 배포하는 것이 해결책입니다. 이 글에서는 이 온프레미스 전략('엣지 AI'라고도 함)에 대해 설명합니다.
온프레미스 또는 엣지 컴퓨팅은 데이터를 중앙 집중식 클라우드 인프라로 전송하지 않고 원본과 가까운 곳에서 처리하고 저장하는 방식을 말합니다. 이 접근 방식에서는 컴퓨팅 리소스가 데이터를 전송하는 시스템 근처에 위치합니다.
즉, 온프레미스 및 엣지 컴퓨팅은 SaaS API와 같은 외부 클라우드 서비스를 사용하지 않고 자체 서버에 애플리케이션을 배포하는 것을 설명하는 최신 유행 표현입니다.
온프레미스로 간주할 수 있는 시나리오는 두 가지입니다. 자체 시설에서 자체 머신을 호스팅하거나 AWS, GCP, Azure와 같은 클라우드 공급업체를 활용하는 경우입니다. 엄밀히 말하면 후자는 기본 서버를 제어할 수 없기 때문에 '온프레미스'라고 할 수 없지만, 일반적으로 두 가지 모두 유효한 온프레미스/엣지 솔루션으로 간주할 수 있습니다.
온프레미스 또는 엣지 컴퓨팅은 몇 가지 장점을 제공합니다. 첫째, 온프레미스 또는 엣지 컴퓨팅은 민감한 정보를 소스에 더 가깝게 보관하고, 클라우드로 전송하는 동안 무단 액세스 또는 데이터 유출 위험을 줄이며, 클라우드 행위자가 원치 않는 목적으로 데이터를 활용하는 것을 방지하여 데이터 개인정보 보호 및 보안을 획기적으로 강화합니다. 또한 조직이 로컬 저장 및 처리를 요구하는 데이터 규정 및 법률을 준수하는 데 도움이 됩니다.
또한 데이터가 클라우드에 도달하기 위해 먼 거리를 이동할 필요가 없으므로 지연 시간이 줄어들어 더 빠른 처리와 실시간 분석이 가능합니다. 또한 네트워크 연결에 대한 의존도를 최소화하여 인터넷이 불안정하거나 중단된 상황에서도 운영을 계속할 수 있습니다.
AI는 매우 훌륭한 온프레미스 후보입니다.
첫 번째 이유는 조직이 매우 민감한 데이터를 AI 모델에 전송하는 경향이 있기 때문입니다. 이는 특히 의료 애플리케이션, 금융 애플리케이션과 같은 중요한 분야에서 더욱 그렇습니다.
두 번째 이유는 오늘날 시장에 나와 있는 AI 주체들이 고객 데이터를 자사 비즈니스에 재사용하는 경향이 있기 때문입니다. 예를 들어 조직이 ChatGPT에 데이터를 전송하면 데이터를 면밀히 검토한 후 OpenAI가 데이터를 재사용하여 자체 AI 모델을 학습시킬 수 있습니다. ChatGPT와 GPT-4 개인정보 보호 문제는 많은 조직이 온프레미스 전략에 집중하게 하는 핵심적인 문제입니다.
온프레미스에 AI 모델을 배포하려면 클라우드가 아닌 조직의 자체 데이터 센터 또는 관리형 인프라 내에서 AI 모델을 호스팅, 관리 및 제공할 수 있는 인프라를 설정해야 합니다.
다음은 온프레미스에 AI 모델을 배포하는 데 관련된 몇 가지 일반적인 단계입니다:
이러한 단계는 온프레미스 AI 모델을 위해 NLP Cloud와 같은 전용 공급업체에 의존함으로써 간소화할 수 있습니다. 예를 들어, NLP Cloud의 경우 추론에 최적화된 바로 사용 가능한 AI 모델이 포함된 Docker 이미지에 액세스할 수 있습니다.
온프레미스 또는 엣지 컴퓨팅에는 한계가 있습니다. 엣지에서 사용할 수 있는 컴퓨팅 리소스는 일반적으로 클라우드 인프라에 비해 제한적이며, 이로 인해 배포할 수 있는 애플리케이션의 복잡성이 제한될 수 있습니다. 또한 여러 위치에 분산된 컴퓨팅 리소스를 유지 및 관리하는 것은 쉽지 않을 수 있으며, IT 인프라와 전문 지식에 대한 추가 투자가 필요할 수 있습니다.
일반적으로 이러한 전략은 OpenAI, 인공 지능, NLP 클라우드와 같은 관리형 SaaS 제품에 의존하는 것보다 비용이 더 많이 듭니다.
마지막으로, 데이터 프라이버시는 기본 온프레미스 인프라가 올바르게 보호되는 경우에만 보장됩니다.
AI가 조직에서 점차 주목을 받으면서 온프레미스 AI/엣지 AI가 급증하고 있습니다.
이러한 추세는 충분히 이해할 수 있습니다: AI는 강력한 개인 정보 보호 요구 사항이 있는 모든 종류의 중요한 애플리케이션에 사용되며, 설계상 표준 클라우드 액터는 이러한 요구 사항을 충족할 수 없습니다.
AI 프로젝트를 위한 이러한 전략에 관심이 있으시다면 유니티에 문의해 주시면 조언을 구할 수 있습니다: [email protected]
Maxime
NLP Cloud에서 전략적 파트너십 담당