Bogotá - Ingeniería - Maestría en Ingeniería - Ingeniería de Sistemas y Computación · 2024
A deep learning approach for 3D reconstruction of indoor scenes
La presente tesis de maestría expone el fundamento, experimentación, resultados y análisis del entrenamiento y evaluación de métodos para la reconstrucción 3D implícita, específicamente Neural Radiance Fields (NeRF), mediante diferentes acercamientos para el conjunto de datos, que refieren a las imágenes originales y a técnicas de aumentación, con el propósito de establecer el impacto de la aumentación de imágenes en el rendimiento de métodos NeRF y seleccionar los acercamientos más viables. Los conjuntos de datos originales fueron manualmente recolectados para seis escenas categorizadas en dos variantes, tres para objetos específicos y tres para vistas amplias, donde un proceso de aumentación con transformaciones de color y geométricas, resultó en 18 conjuntos finales generados con el software COLMAP, el cual calculó las poses de las cámaras y puntos clave de las escenas. Si bien se probó un acercamiento para aumentar imágenes con una red generativa antagónica dual, mediante WGAN-GP para generar nuevas muestras y una SRGAN para incrementar la resolución, el resultado no fue satisfactorio dado las inconsistencias en las vistas de las cámaras y las distorsiones en las escenas. A partir de una revisión de la literatura y teniendo en cuenta las limitaciones de hardware, se seleccionaron cuatro métodos NeRF (i.e. 3D Gaussian Splatting, Instant-NGP, Nerfacto, zip-NeRF) para el entrenamiento y evaluación de los 18 conjuntos de datos, resultando en 72 modelos y un tiempo total de más de 101 horas para ambos procesos. Según las métricas de evaluación y resultados visuales, la aumentación de color mostró un incrementar en los resultados con respecto a las imágenes originales, mientras que las transformaciones geométricas generaron el efecto contrario. Así mismo, mediante un extenso análisis y discusión, se llegó a la selección del acercamiento de aumentación con color y de 3D Gaussian Splatting como el método NeRF. El documento está dividido en seis capítulos, que contienen la introducción, explicación teórica de la reconstrucción 3D y la aumentación de imágenes, procesos de experimentación, resultados, análisis, conclusiones y posibles trabajos futuros (Texto tomado de la fuente).