Analisar diffs de páginas em grande escala com o GPT-OSS 120B: a história do Page Deltas com o apoio da NLP Cloud

Sobre a monitorização de alterações em sites, o Page Deltas e a NLP Cloud

A web muda constantemente. Os concorrentes ajustam os preços, os fornecedores atualizam discretamente os termos de serviço, os reguladores publicam novas diretrizes e as páginas de documentação evoluem sem qualquer anúncio. Para muitas equipas, descobrir estas alterações com dias ou semanas de atraso sai caro: uma alteração de preços não detetada, uma atualização de política despercebida ou uma API descontinuada em silêncio podem ter consequências reais para o negócio. O Page Deltas foi criado para resolver exatamente este problema. Monitoriza continuamente as páginas web que importam a uma equipa, deteta alterações e entrega resumos claros gerados por IA diretamente no Slack, Microsoft Teams, Discord, e-mail ou webhooks.

Nos bastidores, a camada de inteligência do Page Deltas é alimentada pelo GPT-OSS 120B, um grande modelo de linguagem open-weight servido na API da NLP Cloud. Esta parceria é uma excelente ilustração do que a IA open-source moderna torna possível: uma funcionalidade em produção que lê milhares de diffs de páginas todos os dias, decide quais realmente importam e explica-os em linguagem clara, tudo sem sacrificar a privacidade dos dados nem o controlo de custos.

Porque é difícil analisar diffs de páginas em grande escala

Detetar que uma página mudou é a parte fácil. Uma simples comparação entre duas versões de uma página assinala algo em quase todas as recolhas: banners rotativos, widgets de artigos em tendência, avisos de consentimento de cookies, carimbos de data e hora atualizados, marcação aleatória gerada pelos frameworks front-end modernos ou variações de testes A/B. A parte difícil é decidir se uma alteração é realmente importante.

As abordagens tradicionais baseadas em regras, como listas de exclusão de seletores CSS e limiares de dimensão das alterações, atingem rapidamente os seus limites. São frágeis, têm de ser mantidas separadamente para cada site monitorizado e, fundamentalmente, não conseguem dizer se um parágrafo reescrito é uma atualização significativa de uma política de reembolsos ou uma correção inofensiva de uma gralha. Compreender um diff exige lê-lo de facto, que é exatamente aquilo em que os grandes modelos de linguagem são bons.

Mas à escala de milhares de URLs monitorizados continuamente, enviar cada diff candidato para um LLM só é viável se o modelo for simultaneamente preciso, rápido e económico. É aqui que entra o GPT-OSS 120B na NLP Cloud.

O Page Deltas transforma alterações de páginas em bruto em alertas acionáveis

Page Deltas recolhe as páginas monitorizadas de acordo com um calendário, compara cada nova versão com a anterior e captura capturas de ecrã de antes e depois, para que os utilizadores possam verificar visualmente qualquer alteração. A sua funcionalidade de descoberta de sitemaps deteta até URLs totalmente novos assim que são publicados, o que é particularmente útil para detetar cedo lançamentos de produtos. As equipas podem colaborar nos monitores com acessos baseados em funções e encaminhar os alertas para os canais que já utilizam: Slack, Discord, Microsoft Teams, e-mail ou webhooks para integrações personalizadas.

Os casos de utilização típicos incluem monitorizar as páginas de preços dos concorrentes, acompanhar lançamentos de produtos e changelogs, vigiar páginas regulamentares e legais para efeitos de conformidade e analisar páginas de recrutamento para compreender um mercado. Em todos os casos, a promessa é a mesma: em vez de um muro de diffs HTML em bruto, os utilizadores recebem um resumo curto e legível do que mudou e da razão pela qual pode ser importante, apenas quando realmente importa.

Filtrar e resumir diffs de páginas com o GPT-OSS 120B

Para cada alteração detetada pelo seu motor de monitorização, o Page Deltas envia o diff, juntamente com algum contexto da página, para o GPT-OSS 120B através da API da NLP Cloud. O modelo desempenha dois papéis ao mesmo tempo. Primeiro, atua como filtro: avalia se a alteração é significativa ou apenas ruído, para que as atualizações irrelevantes nunca cheguem ao utilizador. Segundo, atua como redator: para as alterações significativas, produz o resumo conciso que chega no alerta, explicando em linguagem clara o que mudou na página.

O GPT-OSS 120B adequa-se particularmente bem a esta carga de trabalho. Lançado pela OpenAI sob a licença permissiva Apache 2.0, é um modelo mixture-of-experts: apenas cerca de 5 mil milhões dos seus 117 mil milhões de parâmetros estão ativos em cada token, o que lhe dá uma qualidade de raciocínio e de seguimento de instruções próxima do estado da arte, com a latência e o custo de um modelo muito mais pequeno. A sua grande janela de contexto acomoda sem dificuldade até diffs grandes juntamente com o conteúdo envolvente da página. Para uma tarefa de grande volume e sempre ativa como a análise de diffs de páginas, este equilíbrio entre qualidade, velocidade e preço é exatamente o que é necessário.

Servir o GPT-OSS 120B na NLP Cloud traz benefícios adicionais. A API de pagamento conforme a utilização escala com o volume de páginas monitorizadas sem qualquer trabalho de infraestrutura do lado do Page Deltas, e os dados enviados para a API nunca são utilizados para treinar outros modelos. E como o GPT-OSS 120B é open-source, o Page Deltas mantém o controlo total do seu roteiro: o modelo pode mais tarde ser afinado com os seus próprios exemplos de alterações relevantes e irrelevantes, ou implementado num servidor dedicado à medida que os volumes crescem, tudo sem dependência de um fornecedor. Saiba mais sobre modelos de IA generativa como o GPT-OSS 120B na NLP Cloud aqui.

O que se segue para o Page Deltas e a NLP Cloud

Esta colaboração está apenas a começar. À medida que o Page Deltas cresce, as duas equipas estão a explorar capacidades de IA mais profundas: uma categorização mais rica das alterações, análise de tendências entre versões sucessivas de uma página e monitorização de sites em muitas línguas, uma área em que as capacidades multilingues dos modelos servidos na NLP Cloud brilham. Do lado da NLP Cloud, cargas de trabalho como esta continuam a levar-nos a otimizar a nossa pilha de inferência para que os grandes modelos open-source se mantenham rápidos e acessíveis em grande escala.

O Page Deltas é um ótimo exemplo do que os programadores podem construir hoje ao combinar um produto focado com modelos avançados de IA open-source servidos através de uma API simples.

Se ainda não o fez, pode inscrever-se na NLP Cloud aqui.

Pode experimentar o Page Deltas gratuitamente aqui.

Jessica
Diretor de Marketing da NLP Cloud