Respuestas - Cosecha · 2025
Detección híbrida de anomalías contextuales en servicios web masivos usando el M-ADWS con Isolation Forest y LightGBM sobre logs de CDN
Solo ficha. El repositorio marca este trabajo como «Acceso abierto»: el PDF no es público, así que aquí no hay texto para leer. Ver la ficha en el repositorio.
Resumen
La evaluación en la gestión de servicios web masivos depende en gran medida de la calidad de la experiencia del usuario como indicador clave de rendimiento (KPI). Si bien los ingenieros necesitan datos del mundo real para reflejar esto, los logs no estructurados con patrones dinámicos crean grandes barreras para una efectiva detección de anomalías. Para resolver este desafío operativo, implementamos el Marco Metodológico para la Detección de Anomalías en Servicios Web (Marco M-ADWS). Esta solución se basa en una arquitectura de desacoplamiento temporal, lo que nos permite aprovechar diferentes modelos de machine learning para abordar cuellos de botella específicos en el procesamiento de datos. Para la etapa inicial, aplicamos el algoritmo Isolation Forest (IF) para generar pseudo-etiquetas sintéticas a través de un conjunto de datos masivo de 230 millones de eventos de log de una Red de Entrega de Contenidos (CDN). Tras completar este agrupamiento no supervisado, etiquetamos los grupos más grandes como una línea base "normativa" y los más pequeños y aislados como la clase "anómala". Posteriormente, utilizamos estas clases para entrenar un clasificador binario Light Gradient Boosting Machine (LightGBM). Seleccionamos este algoritmo en particular por su eficiencia de memoria y su sólido rendimiento en entornos de alta concurrencia. Durante nuestra fase de pruebas, el entorno procesó con éxito 55.000 inferencias por segundo, logrando un F1-Score del 94% y una exactitud general del 98%. Para verificar la robustez de nuestras detecciones, realizamos un análisis de la Característica Operativa del Receptor (ROC), obteniendo un Área Bajo la Curva (AUC) de 0.9984. Estas métricas confirman que este framework es una herramienta valiosa para las estrategias operativas. Al priorizar el comportamiento de la sesión por encima de las métricas de infraestructura tradicionales, este enfoque permite diagnósticos verdaderamente centrados en el usuario para detectar degradaciones sutiles del servicio.