Maestría en Ingeniería · 2025

A Contrastive Method Based on Elevation Data for Remote Sensing with Scarce and High-Level Semantic Labels

Resumen

Esta investigación explora el potencial de utilizar self-supervised contrastive learning para el pre-entrenamiento de modelos en tareas downstream de earth observation, particularmente en escenarios donde solo se dispone de unas pocas etiquetas semánticas de alto nivel. Específicamente, se evalúa el desempeño de dos técnicas existentes de selfsupervised contrastive learning, SimCLR [1] y GLCNet [2], en dos tareas downstream: clasificación binaria de imágenes y segmentación semántica binaria, las cuales se derivaron de un conjunto de datos con etiquetas semánticas de alto nivel construido para la región noroccidental de Colombia. Nuestros hallazgos indican que los métodos selfsupervised superan a los modelos entrenados desde cero en situaciones donde los datos etiquetados con información semántica de alto nivel son limitados. Además, proponemos un enfoque innovador de unsupervised learning que combina contrastive learning y elevation maps. Nuestro enfoque consiste en crear una tarea pre-text de regresión a nivel de píxel que predice los elevation maps, la cual se integra posteriormente con los marcos de contrastive learning de SimCLR y GLCNet para mejorar su desempeño en las tareas downstream de clasificación y segmentación. La justificación detrás de este enfoque es que puede existir una correlación entre la elevación y las clases semánticas de alto nivel en la tarea final downstream, lo que permitiría al modelo aprender una representación útil que incorpore información sobre las clases del problema final. Evaluamos la eficacia de nuestro enfoque en las mismas dos tareas downstream: clasificación de imágenes y segmentación semántica. Nuestros experimentos demuestran que los métodos propuestos, SimCLR+Elevation y GLCNet+Elevation, superan tanto a SimCLR como a GLCNet en términos de accuracy y macro average F1, apoyando la idea de que incorporar información suplementaria relacionada con las clases en las tareas downstream puede conducir a un mejor desempeño.

Tesauro de su biblioteca