Аналіз diff-ів сторінок у масштабі з GPT-OSS 120B: історія Page Deltas powered by NLP Cloud

Про моніторинг змін сайтів, Page Deltas і NLP Cloud

Веб постійно змінюється. Конкуренти коригують ціни, постачальники тихо оновлюють умови обслуговування, регулятори публікують нові настанови, а сторінки документації розвиваються без жодних оголошень. Для багатьох команд виявлення цих змін на дні або тижні пізніше коштує дорого: пропущений рух ціни, непомічене оновлення політики або тихо застаріле API можуть мати реальні бізнес-наслідки. Page Deltas створено, щоб вирішити саме цю проблему. Він безперервно відстежує веб-сторінки, важливі для команди, виявляє зміни й доставляє зрозумілі, згенеровані ШІ підсумки прямо в Slack, Microsoft Teams, Discord, email або webhooks.

За лаштунками інтелектуальний шар Page Deltas працює на GPT-OSS 120B — open-weight великій мовній моделі, доступній через API NLP Cloud. Це партнерство чудово ілюструє можливості сучасної open-source ШІ: production-функцію, яка щодня читає тисячі diff-ів сторінок, вирішує, які справді важливі, і пояснює їх простою мовою — без шкоди для конфіденційності даних і контролю витрат.

Чому аналіз diff-ів сторінок у масштабі складний

Виявити, що сторінка змінилася, — проста частина. Просте порівняння двох версій сторінки майже при кожному завантаженні щось позначає: ротаційні банери, віджети трендових статей, сповіщення про cookie, оновлені мітки часу, випадкову розмітку сучасних front-end фреймворків або варіації A/B-тестів. Складна частина — вирішити, чи зміна справді важлива.

Традиційні rule-based підходи на кшталт списків ігнорованих CSS-селекторів і порогів розміру зміни швидко досягають своїх меж. Вони крихкі, їх потрібно підтримувати окремо для кожного відстежуваного сайту, і вони принципово не можуть зрозуміти, чи переписаний абзац є значущим оновленням політики повернення, чи нешкідливим виправленням опечатки. Зрозуміти diff — означає справді прочитати його, і саме в цьому сильні великі мовні моделі.

Але в масштабі тисяч безперервно відстежуваних URL надсилати кожен кандидатний diff до LLM має сенс лише якщо модель одночасно точна, швидка й економічна. Саме тут з'являється GPT-OSS 120B на NLP Cloud.

Page Deltas перетворює сирі зміни сторінок на actionable-сповіщення

Page Deltas завантажує відстежувані сторінки за розкладом, порівнює кожну нову версію з попередньою і робить знімки екрана «до» і «після», щоб користувачі могли візуально перевірити будь-яку зміну. Функція виявлення sitemap навіть знаходить абсолютно нові URL одразу після публікації — особливо корисно для раннього виявлення запусків продуктів. Команди можуть спільно працювати над моніторами з рольовим доступом і спрямовувати сповіщення в уже використовувані канали: Slack, Discord, Microsoft Teams, email або webhooks для кастомних інтеграцій.

Типові сценарії включають моніторинг сторінок цін конкурентів, відстеження релізів продуктів і changelog-ів, спостереження за регуляторними та юридичними сторінками для compliance і аналіз сторінок найму для розуміння ринку. У кожному випадку обіцянка одна: замість стіни сирих HTML-diff-ів користувачі отримують коротке, читабельне резюме того, що змінилося і чому це може бути важливо — лише коли це справді важливо.

Фільтрація та підсумовування diff-ів сторінок з GPT-OSS 120B

Для кожної зміни, виявленої рушієм моніторингу, Page Deltas надсилає diff разом із контекстом сторінки до GPT-OSS 120B через API NLP Cloud. Модель виконує дві ролі одночасно. По-перше, вона діє як фільтр: оцінює, чи зміна значуща, чи це лише шум, щоб нерелевантні оновлення ніколи не доходили до користувача. По-друге, вона діє як автор: для значущих змін створює стисле резюме в сповіщенні, простою мовою пояснюючи, що змінилося на сторінці.

GPT-OSS 120B особливо добре підходить для цього навантаження. Випущена OpenAI під пермісивною ліцензією Apache 2.0, це модель mixture-of-experts: активні лише близько 5 мільярдів зі 117 мільярдів параметрів на кожен токен, що дає якість міркувань і дотримання інструкцій, близьку до frontier, при затримці й вартості набагато меншої моделі. Велике контекстне вікно комфортно вміщує навіть великі diff-и разом із навколишнім вмістом сторінки. Для завдання з високим обсягом, що працює постійно, як аналіз diff-ів сторінок, цей баланс якості, швидкості й ціни — саме те, що потрібно.

Розміщення GPT-OSS 120B на NLP Cloud дає додаткові переваги. API з оплатою за використання масштабується з обсягом відстежуваних сторінок без будь-якої інфраструктурної роботи з боку Page Deltas, а дані, надіслані до API, ніколи не використовуються для навчання інших моделей. А оскільки GPT-OSS 120B — open-source, Page Deltas зберігає повний контроль над roadmap: модель пізніше можна донавчити на власних прикладах релевантних і нерелевантних змін або розгорнути на виділеному сервері зі зростанням обсягів — без vendor lock-in. Дізнайтеся більше про генеративні моделі ШІ, такі як GPT-OSS 120B на NLP Cloud, тут.

Що далі для Page Deltas і NLP Cloud

Ця співпраця лише починається. Зі зростанням Page Deltas обидві команди досліджують глибші можливості ШІ: багатшу категоризацію змін, аналіз трендів за послідовними версіями сторінки та моніторинг сайтів багатьма мовами — сфера, де багатомовні здібності моделей на NLP Cloud особливо сильні. З боку NLP Cloud такі навантаження продовжують підштовхувати нас оптимізувати inference-стек, щоб великі open-source моделі залишалися швидкими й доступними в масштабі.

Page Deltas — чудовий приклад того, що розробники можуть будувати сьогодні, поєднуючи сфокусований продукт із просунутими open-source моделями ШІ, доступними через просте API.

Якщо ви ще не зробили цього, ви можете зареєструватися в NLP Cloud тут.

Ви можете спробувати Page Deltas безкоштовно тут.

Jessica
Керівник відділу маркетингу в NLP Cloud