Bogotá - Ciencias - Maestría en Ciencias - Estadística · 2026
Revisión sobre el estimador de regresión lineal de Theil-Sen y algunas de sus posibles extensiones y aplicaciones
Este trabajo revisa el estimador de regresión de Theil-Sen y desarrolla una extensión orientada a modelos aditivos generalizados (GAM) con ajuste resistente. Al representar relaciones no lineales mediante expansiones en bases de funciones, el efecto de puntos atípicos puede amplificarse; por ello, nos enfocamos en desarrollar y evaluar métodos resistentes para el ajuste de este tipo de modelos. En la primera parte se presenta una síntesis estructurada del estimador de Theil en regresión lineal simple, sus métodos de estimación, su formalización estadística basada en la inversión de pruebas de Kendall y su generalización a regresión múltiple y polinómica, incluyendo discusiones sobre su resistencia y conexiones históricas con esquemas tipo Gauss-Seidel y backfitting. Como contribución principal, se propone un procedimiento de ajuste para GAM que aproxima la función de regresión mediante una expansión del tipo \(f(x)\approx \sum_{j} \beta_j\, f_j(x),\) donde \(f_j\) denota funciones base B-spline cúbicas, lo que reduce el problema a una regresión lineal expandida. Sobre esta representación, se implementa un algoritmo de backfitting por coordenadas donde cada actualización se realiza con una pendiente resistente usando Theil-Sen aplicada a residuos parciales. Adicionalmente, se introduce un mecanismo ``activo'' para estabilizar columnas spline de soporte local con alta proporción de ceros, incorporando una fracción controlada de observaciones ``inactivas'', lo que actúa como regularización empírica y mejora la estabilidad numérica. Además se implementa selección de variables usando el algoritmo Feature Ordering by Conditional Independence (FOCI) sobre columnas spline. La metodología propuesta, se evalúa mediante un estudio de simulación reproducible, en la cual se varían la función verdadera, la distribución de la covariable (X), el tamaño muestral, mecanismos y niveles de contaminación (outliers verticales, alta palanca y contaminación localizada), comparando OLS, Theil-Sen multivariado, RANSAC, M-estimadores y una alternativa iterativa basada en rangos. Los resultados muestran un cambio de régimen. El Theil-backfitting (Active backfitting) tiende a dominar en escenarios limpios o de baja contaminación, mientras que Theil-Sen multivariado requiere reducción de dimensionalidad usando FOCI para mantener un buen desempeño bajo contaminación de moderada a alta. Finalmente, una exploración en datos reales complementa la evidencia empírica, mostrando que el enfoque propuesto captura no linealidades con buen balance entre resistencia y precisión. (Texto tomado de la fuente)