Багато організацій хочуть інтегрувати штучний інтелект у свій продукт або у внутрішні процеси, але без шкоди для конфіденційності даних. Для таких організацій рішенням є завантаження та розгортання моделей штучного інтелекту на власних серверах замість того, щоб надсилати дані в хмару. У цій статті ми обговоримо цю локальну стратегію (також відому як "периферійний ШІ").
Локальні або периферійні обчислення - це практика обробки та зберігання даних ближче до їхнього джерела, замість того, щоб надсилати їх до централізованої хмарної інфраструктури. За такого підходу обчислювальні ресурси розташовуються поблизу систем, що надсилають дані.
Іншими словами, локальні та периферійні обчислення - це модні вирази, які описують той факт, що додаток розгортається на ваших власних серверах, а не за допомогою зовнішнього хмарного сервісу, такого як SaaS API.
2 сценарії можуть розглядатися як локальні: або у вас є власні машини, розміщені на ваших власних об'єктах, або ви використовуєте хмарного постачальника, такого як AWS, GCP, Azure... Строго кажучи, останній варіант є менш "локальним", оскільки ви не маєте контролю над базовим сервером, але загалом обидва варіанти можна вважати повноцінними локальними / периферійними рішеннями.
Локальні або периферійні обчислення мають кілька переваг. По-перше, локальні або периферійні обчислення значно підвищують конфіденційність і безпеку даних, зберігаючи конфіденційну інформацію ближче до джерела, зменшуючи ризик несанкціонованого доступу або витоку даних під час транспортування до хмари, а також запобігаючи використанню ваших даних у небажаних цілях. Це також допомагає організаціям дотримуватися нормативних актів і законів щодо даних, які вимагають локального зберігання та обробки.
Крім того, це зменшує затримку, оскільки дані не повинні долати великі відстані, щоб досягти хмари, що дозволяє швидше обробляти їх і аналізувати в режимі реального часу. Крім того, це мінімізує залежність від мережевого з'єднання, гарантуючи, що операції можуть продовжуватися навіть тоді, коли інтернет ненадійний або перебої в роботі.
ШІ - дуже хороший кандидат для локального використання.
Перша причина полягає в тому, що організації, як правило, надсилають надзвичайно конфіденційні дані моделям ШІ. Це особливо актуально в таких критично важливих сферах, як медицина, фінанси... Але не тільки.
Друга причина полягає в тому, що гравці ринку ШІ сьогодні схильні повторно використовувати дані клієнтів для власного бізнесу. Хорошим прикладом є OpenAI: наприклад, коли організації надсилають дані до ChatGPT, вони ретельно перевіряються, і OpenAI може повторно використовувати ваші дані для навчання власних моделей ШІ. Проблеми конфіденційності ChatGPT і GPT-4 є основними питаннями, які змушують багато організацій зосередитися на локальних стратегіях.
Розгортання локальних моделей ШІ передбачає створення інфраструктури для розміщення, управління та обслуговування моделі ШІ у власному центрі обробки даних або керованій інфраструктурі організації, а не в хмарі.
Ось деякі загальні кроки, пов'язані з розгортанням моделі штучного інтелекту на місці:
Ці кроки можна спростити, поклавшись на спеціалізованого постачальника, такого як NLP Cloud, для вашої локальної моделі штучного інтелекту. Наприклад, у випадку з NLP Cloud ви отримаєте доступ до образу Docker, який містить готову до використання модель штучного інтелекту, оптимізовану для висновків.
Локальні або периферійні обчислення мають обмеження. Обчислювальні ресурси, доступні на периферії, зазвичай обмежені порівняно з хмарною інфраструктурою, що може обмежувати складність додатків, які можна розгортати. Крім того, обслуговування та управління розподіленими обчислювальними ресурсами в різних місцях може бути складним завданням, що вимагає додаткових інвестицій в ІТ-інфраструктуру та експертизу.
Загалом, така стратегія є більш витратною, ніж покладатися на керовані SaaS-пропозиції, такі як OpenAI, Anthropic, NLP Cloud...
Нарешті, конфіденційність даних гарантується лише за умови належного захисту базової локальної інфраструктури.
Локальний / периферійний штучний інтелект стрімко зростає зараз, коли штучний інтелект поступово набирає популярності серед організацій.
Така тенденція зрозуміла: ШІ використовується у всіляких критично важливих додатках, які мають високі вимоги до конфіденційності, і - за своєю суттю - стандартні хмарні актори не можуть задовольнити ці вимоги.
Якщо ви зацікавлені в такій стратегії для вашого ШІ-проекту, будь ласка, зв'яжіться з нами, щоб ми могли проконсультувати вас: [email protected]
Maxime
Відповідальний за стратегічне партнерство в NLP Cloud