Analyser les diffs de pages à grande échelle avec GPT-OSS 120B : l'histoire de Page Deltas propulsée par NLP Cloud

À propos de la surveillance des changements de sites web, de Page Deltas et de NLP Cloud

Le web change en permanence. Les concurrents ajustent leurs prix, les fournisseurs mettent discrètement à jour leurs conditions d'utilisation, les régulateurs publient de nouvelles directives et les pages de documentation évoluent sans aucune annonce. Pour de nombreuses équipes, découvrir ces changements avec des jours ou des semaines de retard coûte cher : un mouvement de prix manqué, une mise à jour de politique passée inaperçue ou une API discrètement dépréciée peuvent avoir de réelles conséquences pour l'activité. Page Deltas a été conçu pour résoudre exactement ce problème. Il surveille en continu les pages web qui comptent pour une équipe, détecte les changements et fournit des résumés clairs générés par l'IA, directement dans Slack, Microsoft Teams, Discord, par e-mail ou via des webhooks.

En coulisses, la couche d'intelligence de Page Deltas est propulsée par GPT-OSS 120B, un grand modèle de langage open-weight servi sur l'API NLP Cloud. Ce partenariat illustre parfaitement ce que l'IA open-source moderne rend possible : une fonctionnalité en production qui lit des milliers de diffs de pages chaque jour, décide lesquels comptent vraiment et les explique en langage clair, le tout sans sacrifier la confidentialité des données ni la maîtrise des coûts.

Pourquoi l'analyse de diffs de pages à grande échelle est difficile

Détecter qu'une page a changé est la partie facile. Une simple comparaison entre deux versions d'une page signale quelque chose à presque chaque passage : bannières rotatives, widgets d'articles tendance, avis de consentement aux cookies, horodatages mis à jour, balisage aléatoire généré par les frameworks front-end modernes, ou variations de tests A/B. Le plus difficile est de décider si un changement a réellement de l'importance.

Les approches traditionnelles à base de règles, comme les listes d'exclusion de sélecteurs CSS et les seuils de taille de changement, atteignent vite leurs limites. Elles sont fragiles, doivent être maintenues séparément pour chaque site web surveillé et sont fondamentalement incapables de dire si un paragraphe réécrit constitue une mise à jour importante d'une politique de remboursement ou une simple correction de faute de frappe. Comprendre un diff exige de le lire réellement, ce qui est exactement ce que les grands modèles de langage savent faire.

Mais à l'échelle de milliers d'URL surveillées en continu, envoyer chaque diff candidat à un LLM n'est viable que si le modèle est à la fois précis, rapide et économique. C'est là qu'intervient GPT-OSS 120B sur NLP Cloud.

Page Deltas transforme les changements bruts de pages en alertes exploitables

Page Deltas récupère les pages surveillées selon un planning, compare chaque nouvelle version avec la précédente et réalise des captures d'écran avant et après afin que les utilisateurs puissent vérifier visuellement tout changement. Sa fonctionnalité de découverte de sitemap détecte même les toutes nouvelles URL dès leur publication, ce qui est particulièrement utile pour repérer tôt les lancements de produits. Les équipes peuvent collaborer sur les moniteurs avec des accès basés sur les rôles, et acheminer les alertes vers les canaux qu'elles utilisent déjà : Slack, Discord, Microsoft Teams, e-mail, ou webhooks pour des intégrations personnalisées.

Les cas d'usage typiques incluent la surveillance des pages de prix des concurrents, le suivi des lancements de produits et des changelogs, la veille des pages réglementaires et légales pour la conformité, et l'analyse des pages de recrutement pour comprendre un marché. Dans tous les cas, la promesse est la même : au lieu d'un mur de diffs HTML bruts, les utilisateurs reçoivent un résumé court et lisible de ce qui a changé et de la raison pour laquelle cela peut compter, uniquement quand cela compte vraiment.

Filtrer et résumer les diffs de pages avec GPT-OSS 120B

Pour chaque changement détecté par son moteur de surveillance, Page Deltas envoie le diff, accompagné d'un peu de contexte de la page, à GPT-OSS 120B via l'API NLP Cloud. Le modèle joue deux rôles à la fois. D'abord, il agit comme un filtre : il évalue si le changement est significatif ou s'il ne s'agit que de bruit, afin que les mises à jour sans intérêt n'atteignent jamais l'utilisateur. Ensuite, il agit comme un rédacteur : pour les changements significatifs, il produit le résumé concis qui figure dans l'alerte, expliquant en langage clair ce qui a changé sur la page.

GPT-OSS 120B est particulièrement adapté à cette charge de travail. Publié par OpenAI sous la licence permissive Apache 2.0, c'est un modèle de type mélange d'experts (mixture-of-experts) : seuls environ 5 milliards de ses 117 milliards de paramètres sont actifs pour chaque token, ce qui lui confère une qualité de raisonnement et de suivi d'instructions proche de l'état de l'art, avec la latence et le coût d'un modèle beaucoup plus petit. Sa grande fenêtre de contexte accueille sans difficulté même les gros diffs accompagnés du contenu environnant de la page. Pour une tâche à haut volume et en continu comme l'analyse de diffs de pages, cet équilibre entre qualité, vitesse et prix est exactement ce qu'il faut.

Servir GPT-OSS 120B sur NLP Cloud apporte des avantages supplémentaires. L'API en paiement à l'usage s'adapte au volume de pages surveillées sans aucun travail d'infrastructure côté Page Deltas, et les données envoyées à l'API ne sont jamais utilisées pour entraîner d'autres modèles. Et comme GPT-OSS 120B est open-source, Page Deltas garde le contrôle total de sa feuille de route : le modèle pourra plus tard être affiné sur leurs propres exemples de changements pertinents et non pertinents, ou déployé sur un serveur dédié à mesure que les volumes augmentent, le tout sans dépendance à un fournisseur. En savoir plus sur les modèles d'IA générative comme GPT-OSS 120B sur NLP Cloud ici.

La suite pour Page Deltas et NLP Cloud

Cette collaboration ne fait que commencer. À mesure que Page Deltas grandit, les deux équipes explorent des capacités d'IA plus poussées : une catégorisation plus riche des changements, l'analyse de tendances entre les versions successives d'une page, et la surveillance de sites web dans de nombreuses langues, un domaine où les capacités multilingues des modèles servis sur NLP Cloud font merveille. Côté NLP Cloud, des charges de travail comme celle-ci nous poussent à optimiser sans cesse notre pile d'inférence afin que les grands modèles open-source restent rapides et abordables à grande échelle.

Page Deltas est un excellent exemple de ce que les développeurs peuvent construire aujourd'hui en combinant un produit ciblé avec des modèles d'IA open-source avancés servis via une API simple.

Si vous ne l'avez pas encore fait, vous pouvez vous inscrire à NLP Cloud ici.

Vous pouvez essayer Page Deltas gratuitement ici.

Jessica
Responsable du marketing chez NLP Cloud