Hugging Face API і AutoTrain: порівняння цін і можливостей з NLP Cloud

Hugging Face добре відома своєю великою роботою над бібліотекою Python Transformers, і своїм великим репозиторієм моделей машинного навчання. Але вони також надають API для виводу і платформу для тонкого налаштування під назвою AutoTrain.

API NLP Cloud та платформа тонкого налаштування NLP Cloud є прямими конкурентами API Hugging Face та AutoTrain. Давайте порівняємо ціни та можливості цих 2 акторів тут!

Ціноутворення: Обіймаюче обличчя проти хмари НЛП

По-перше, варто зазначити, що API NLP Cloud можна безкоштовно протестувати як на CPU, так і на GPU (завдяки безкоштовному тарифному плану та тарифному плану, який пропонує 100 тис. безкоштовних токенів), в той час як API Hugging Face можна безкоштовно протестувати лише на CPU (завдяки їх безкоштовному тарифному плану). Це важлива відмінність, оскільки найцікавіші моделі ШІ на основі Transformer працюють набагато швидше на графічному процесорі. Деякі навіть просто не працюють на GPU.

Ціноутворення "Обійми обличчя

Що стосується планів, то Hugging Face пропонує лише тарифікацію за принципом pay-as-you-go (тарифікація на основі вашого споживання), тоді як NLP Cloud пропонує як передплачені плани, так і тарифікацію за принципом pay-as-you-go. Припустимо, ви хочете виконати класифікацію тексту на фрагментах тексту, що містять в середньому близько 5 тис. слів, зі швидкістю 15 запитів на хвилину на графічному процесорі. Ціноутворення Hugging Face базується на кількості символів, а NLP Cloud - на кількості токенів. 5 тис. слів більш-менш еквівалентні 15 тис. символів і 3,750 токенів. На NLP Cloud це коштуватиме вам $99 на місяць, підписавшись на Starter GPU Plan, тоді як на Hugging Face це коштуватиме вам 15k x 15 x 60 x 24 x 31 x $50 / 1M = $500k на місяць (!!!).

Як бачимо, схоже, що для виробничого використання "Hugging Face" абсолютно не підходить. Таку ціну за класифікацію тексту на графічному процесорі платити буквально ніхто не буде...

Що стосується тонкого налаштування, то тут навіть неможливо порівняти, оскільки ціни на AutoTrain від Hugging Face не є публічними. Ми зареєструвалися і спробували їхнє рішення AutoTrain, але так і не змогли знайти чіткої ціни...

Доступні моделі

Чудова річ у Hugging Face полягає в тому, що вони розміщують безліч моделей ШІ на своїй платформі! Однак це не означає, що ви дійсно можете використовувати ці моделі. Звичайно, ви можете завантажити їх, але це не те ж саме, що використовувати їх.

Лише дуже невелика частина моделей Hugging Face насправді доступна для виведення через їх API. Якщо ви спробуєте використати модель, яка ще не завантажена, вам доведеться або почекати кілька хвилин, або просто отримати помилку. Рішенням є закріплення моделей, які ви хочете використовувати, щоб вони завжди були доступні, але в цьому випадку вам доведеться платити додаткові $5/місяць за модель на графічному процесорі.

У NLP Cloud ми обрали іншу стратегію: постійно доступно близько 50 різних моделей ШІ. Ми обираємо модель, коли вважаємо, що це найкраща модель для конкретного випадку використання. Наприклад, ми обираємо Bart Large MNLI для класифікації, Distilbert для аналізу настроїв, GPT-J для виявлення намірів тощо.

Що ще важливіше: найсучасніші моделі ШІ, такі як GPT-J, недоступні в API Hugging Face і не можуть бути точно налаштовані на їх платформі AutoTrain, в той час як ви можете легко використовувати і точно налаштовувати ці великі мовні моделі в NLP Cloud.

Приклад API GPT-J на NLP Cloud

Налаштування GPT-J на NLP Cloud

Підтримка

Hugging Face пропонує підтримку лише за умови вибору тарифного плану Lab або Enterprise.

NLP Cloud - це зовсім інше: ми пропонуємо найкращу підтримку будь-якому клієнту, незалежно від того, чи є він безкоштовним, невеликим платним або корпоративним клієнтом. Ми вважаємо, що хороша підтримка має вирішальне значення, коли мова йде про ШІ та обробку природної мови, оскільки у клієнтів може виникнути безліч цікавих технічних або бізнес-питань.

Швидкість і надійність

У наших бенчмарках ми помітили меншу затримку в NLP Cloud API для всіх моделей, які ми тестували, як на CPU, так і на GPU.

Швидкість має вирішальне значення для такого API машинного навчання, і той факт, що NLP Cloud реагує швидше, може мати велике значення в залежності від ваших бізнес-вимог.

Що стосується тонких налаштувань, ми не змогли провести належне порівняння на даний момент, оскільки більшість тонких налаштувань, які ми запустили на платформі Hugging Face AutoTrain, завершилися невдачею без явного повідомлення про помилку.

Висновок

Користувачі часто порівнюють NLP Cloud з API Hugging Face і платформою AutoTrain.

Ми вважаємо, що NLP Cloud API набагато цікавіший як з точки зору ціни, так і з точки зору продуктивності.

Ми також дуже пишаємося тим, що пропонуємо високоякісну підтримку всім нашим клієнтам без винятку.

Бажаєте спробувати? Протестуйте NLP Cloud тут!

Julien Salinas
CTO в NLP Cloud