Анализ diff-ов страниц в масштабе с GPT-OSS 120B: история Page Deltas powered by NLP Cloud

О мониторинге изменений сайтов, Page Deltas и NLP Cloud

Веб постоянно меняется. Конкуренты корректируют цены, поставщики тихо обновляют условия обслуживания, регуляторы публикуют новые руководства, а страницы документации развиваются без каких-либо объявлений. Для многих команд обнаружение этих изменений на дни или недели позже обходится дорого: пропущенное движение цены, незамеченное обновление политики или тихо устаревший API могут иметь реальные бизнес-последствия. Page Deltas создан, чтобы решить именно эту проблему. Он непрерывно отслеживает веб-страницы, важные для команды, обнаруживает изменения и доставляет ясные, сгенерированные ИИ сводки прямо в Slack, Microsoft Teams, Discord, email или webhooks.

За кулисами интеллектуальный слой Page Deltas работает на GPT-OSS 120B — open-weight большой языковой модели, доступной через API NLP Cloud. Это партнёрство отлично иллюстрирует возможности современной open-source ИИ: production-функция, которая каждый день читает тысячи diff-ов страниц, решает, какие действительно важны, и объясняет их простым языком — без ущерба для конфиденциальности данных и контроля затрат.

Почему анализ diff-ов страниц в масштабе сложен

Обнаружить, что страница изменилась, — простая часть. Простое сравнение двух версий страницы почти при каждой загрузке что-то отмечает: ротирующиеся баннеры, виджеты трендовых статей, уведомления о cookie, обновлённые метки времени, случайную разметку современных front-end фреймворков или вариации A/B-тестов. Сложная часть — решить, действительно ли изменение важно.

Традиционные rule-based подходы вроде списков игнорируемых CSS-селекторов и порогов размера изменения быстро достигают своих пределов. Они хрупки, их нужно поддерживать отдельно для каждого отслеживаемого сайта, и они принципиально не могут понять, является ли переписанный абзац значимым обновлением политики возврата или безобидным исправлением опечатки. Понять diff — значит действительно прочитать его, а именно в этом сильны большие языковые модели.

Но в масштабе тысяч непрерывно отслеживаемых URL отправлять каждый кандидатный diff в LLM имеет смысл только если модель одновременно точна, быстра и экономична. Именно здесь появляется GPT-OSS 120B на NLP Cloud.

Page Deltas превращает сырые изменения страниц в actionable-оповещения

Page Deltas загружает отслеживаемые страницы по расписанию, сравнивает каждую новую версию с предыдущей и делает скриншоты «до» и «после», чтобы пользователи могли визуально проверить любое изменение. Функция обнаружения sitemap даже находит совершенно новые URL сразу после публикации — особенно полезно для раннего выявления запусков продуктов. Команды могут совместно работать над мониторами с ролевым доступом и направлять оповещения в уже используемые каналы: Slack, Discord, Microsoft Teams, email или webhooks для кастомных интеграций.

Типичные сценарии включают мониторинг страниц цен конкурентов, отслеживание релизов продуктов и changelog-ов, наблюдение за регуляторными и юридическими страницами для compliance и анализ страниц найма для понимания рынка. В каждом случае обещание одно: вместо стены сырых HTML-diff-ов пользователи получают краткое, читаемое резюме того, что изменилось и почему это может быть важно — только когда это действительно важно.

Фильтрация и суммирование diff-ов страниц с GPT-OSS 120B

Для каждого изменения, обнаруженного движком мониторинга, Page Deltas отправляет diff вместе с контекстом страницы в GPT-OSS 120B через API NLP Cloud. Модель выполняет две роли одновременно. Во-первых, она действует как фильтр: оценивает, значимо ли изменение или это лишь шум, чтобы нерелевантные обновления никогда не доходили до пользователя. Во-вторых, она действует как автор: для значимых изменений создаёт краткое резюме в оповещении, простым языком объясняя, что изменилось на странице.

GPT-OSS 120B особенно хорошо подходит для этой нагрузки. Выпущенная OpenAI под пермиссивной лицензией Apache 2.0, это модель mixture-of-experts: активны лишь около 5 миллиардов из 117 миллиардов параметров на каждый токен, что даёт качество рассуждений и следования инструкциям, близкое к frontier, при задержке и стоимости гораздо меньшей модели. Большое контекстное окно комфортно вмещает даже крупные diff-ы вместе с окружающим содержимым страницы. Для задачи с высоким объёмом, работающей постоянно, такой как анализ diff-ов страниц, этот баланс качества, скорости и цены — именно то, что нужно.

Размещение GPT-OSS 120B на NLP Cloud даёт дополнительные преимущества. API с оплатой по использованию масштабируется с объёмом отслеживаемых страниц без какой-либо инфраструктурной работы со стороны Page Deltas, а данные, отправленные в API, никогда не используются для обучения других моделей. А поскольку GPT-OSS 120B — open-source, Page Deltas сохраняет полный контроль над roadmap: модель позже можно дообучить на собственных примерах релевантных и нерелевантных изменений или развернуть на выделенном сервере по мере роста объёмов — без vendor lock-in. Узнайте больше о генеративных моделях ИИ, таких как GPT-OSS 120B на NLP Cloud, здесь.

Что дальше для Page Deltas и NLP Cloud

Это сотрудничество только начинается. По мере роста Page Deltas обе команды исследуют более глубокие возможности ИИ: более богатую категоризацию изменений, анализ трендов по последовательным версиям страницы и мониторинг сайтов на многих языках — область, где многоязычные способности моделей на NLP Cloud особенно сильны. Со стороны NLP Cloud такие нагрузки продолжают подталкивать нас оптимизировать inference-стек, чтобы большие open-source модели оставались быстрыми и доступными в масштабе.

Page Deltas — отличный пример того, что разработчики могут строить сегодня, сочетая сфокусированный продукт с продвинутыми open-source моделями ИИ, доступными через простой API.

Если вы еще не сделали этого, вы можете подписаться на NLP Cloud здесь.

Вы можете попробовать Page Deltas бесплатно здесь.

Jessica
Руководитель отдела маркетинга в NLP Cloud