Filtrado y resumen de diffs de páginas con GPT-OSS 120B
Por cada cambio detectado por su motor de monitorización, Page Deltas envía el diff, junto con algo de contexto de la página, a GPT-OSS 120B a través de la API de NLP Cloud. El modelo desempeña dos funciones a la vez. Primero, actúa como filtro: evalúa si el cambio es significativo o solo ruido, de modo que las actualizaciones irrelevantes nunca lleguen al usuario. Segundo, actúa como redactor: para los cambios significativos, produce el resumen conciso que llega en la alerta, explicando en lenguaje claro qué ha cambiado en la página.
GPT-OSS 120B encaja especialmente bien en esta carga de trabajo. Publicado por OpenAI bajo la licencia permisiva Apache 2.0, es un modelo de mezcla de expertos (mixture-of-experts): solo unos 5.000 millones de sus 117.000 millones de parámetros están activos en cada token, lo que le da una calidad de razonamiento y seguimiento de instrucciones cercana a la frontera, con la latencia y el coste de un modelo mucho más pequeño. Su gran ventana de contexto acomoda sin problemas incluso diffs grandes junto con el contenido circundante de la página. Para una tarea de gran volumen y siempre activa como el análisis de diffs de páginas, este equilibrio entre calidad, velocidad y precio es exactamente lo que se necesita.
Servir GPT-OSS 120B en NLP Cloud aporta ventajas adicionales. La API de pago por uso escala con el volumen de páginas supervisadas sin ningún trabajo de infraestructura por parte de Page Deltas, y los datos enviados a la API nunca se utilizan para entrenar otros modelos. Y como GPT-OSS 120B es open-source, Page Deltas mantiene el control total de su hoja de ruta: el modelo puede afinarse más adelante con sus propios ejemplos de cambios relevantes e irrelevantes, o desplegarse en un servidor dedicado a medida que crecen los volúmenes, todo ello sin dependencia de un proveedor. Más información sobre modelos de IA generativa como GPT-OSS 120B en NLP Cloud aquí.
