CLASIFICACIÓN DE ZONAS DE OPERACIÓN EN
MANIPULADORES SERIALES INDUSTRIALES UTILIZANDO
REDES NEURONALES PROFUNDAS
Kevin David Ortega Quiñones Proyecto de grado presentado como requisito parcial para aspirar al título de Magíster en Ingeniería Eléctrica Director Germán Andrés Holguín Londoño Co-director Carlos Andrés Mesa Montoya Grupo de Investigación en Gestión de Sistemas Eléctricos, Electrónicos y Automáticos.
UNIVERSIDAD TECNOLÓGICA DE PEREIRA
PROGRAMA DE MAESTRÍA EN INGENIERÍA ELÉCTRICA
PEREIRA
2026
Nota de Aceptación Firma del Presidente del jurado Firma del jurado 1 - Evaluador Firma del jurado 2 - Evaluador Firma del jurado 3 - Director Pereira, XX de XXX de 2026
Dedico este trabajo a mis padres, por su esfuerzo, amor y apoyo incondicional a lo largo de cada etapa de mi vida. A mi esposa, por su compañía, comprensión y fortaleza en los momentos más importantes de este camino. Y especialmente a mi hija Isabella, quien representa la mayor motivación, alegría e inspiración para continuar creciendo personal y profesionalmente.
Expreso mi más sincero agradecimiento a todas las personas que hicieron posible el desarrollo de este trabajo de investigación.
En primer lugar, agradezco al profesor Germán Andrés Holguín Londoño, por sus conocimientos, paciencia, dedicación y acompañamiento constante durante el desarrollo de esta investigación; sus orientaciones académicas y su compromiso fueron fundamentales para fortalecer cada etapa de este proceso.
Asimismo, expreso un especial agradecimiento al profesor Mauricio Holguín Londoño, por su apoyo humano, académico y logístico, así como por compartir sus conocimientos y experiencias, los cuales contribuyeron significativamente a mi crecimiento personal y profesional.
Agradezco también al Grupo de Investigación en Gestión de Sistemas Eléctricos, Electrónicos y Automáticos, por brindar los espacios, recursos y ambientes de aprendizaje necesarios para el desarrollo de este trabajo. De igual manera, a mis compañeros del grupo de investigación, por el intercambio de ideas, el trabajo colaborativo y el apoyo brindado durante este proceso.
Extiendo mi agradecimiento a la Universidad Tecnológica de Pereira, especialmente al Programa de Maestría en Ingeniería Eléctrica, por la formación académica, el acompañamiento institucional y las oportunidades de crecimiento profesional y científico ofrecidas durante esta etapa.
De manera especial, agradezco a mis estudiantes, quienes día a día me motivan a continuar creciendo como docente e investigador. La confianza que depositan en mí al permitirme orientar sus trabajos académicos y proyectos demuestra que estamos construyendo un camino basado en el aprendizaje, la disciplina y la formación integral. Finalmente, agradezco a mi familia, por su amor, apoyo y comprensión incondicional durante todo este proceso académico y personal.
CONTENIDO
pág.
1. DEFINICIÓN DEL PROBLEMA
12
2. JUSTIFICACIÓN
16
3. OBJETIVOS
22
3.1. Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
3.2. Objetivos Específicos . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
4. MARCO TEÓRICO
23
4.1. FUNDAMENTOS CINEMÁTICOS . . . . . . . . . . . . . . . . . . . .
24
4.1.1.
Cinemática directa . . . . . . . . . . . . . . . . . . . . . . . . .
27
4.1.2.
Cinemática inversa . . . . . . . . . . . . . . . . . . . . . . . . .
27
4.1.3.
Cuaterniones
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
4.1.4.
Optimización y métodos numéricos . . . . . . . . . . . . . . . .
36
4.2. VISIÓN POR COMPUTADOR . . . . . . . . . . . . . . . . . . . . . .
38
4.3. GEOMETRÍA DE LA FORMACIÓN DE LA IMAGEN
. . . . . . . .
39
4.4. CALIBRACIÓN DE CÁMARA . . . . . . . . . . . . . . . . . . . . . .
42
4.5. RECONSTRUCCIÓN TRIDIMENSIONAL Y NUBES DE PUNTOS .
43
4.6. CÁMARAS RGB-D COMO SENSOR
. . . . . . . . . . . . . . . . . .
45
4.7. APRENDIZAJE PROFUNDO EN ROBÓTICA . . . . . . . . . . . . .
46
4.8. ROBOT OPERATING SYSTEM . . . . . . . . . . . . . . . . . . . . .
5. DESARROLLO DE LA PLATAFORMA DE SIMULACIÓN
53
5.1. PLATAFORMA DE SIMULACIÓN . . . . . . . . . . . . . . . . . . . .
53
5.1.1.
Reproducibilidad y trazabilidad . . . . . . . . . . . . . . . . . .
53
5.1.2.
Generación de configuraciones críticas y etiquetas analíticas
. .
54
5.2. SELECCIÓN DE HERRAMIENTAS . . . . . . . . . . . . . . . . . . .
55
5.2.1.
ROS 2 Humble Hawksbill como middleware
. . . . . . . . . . .
55
5.2.2.
Gazebo Classic 11 como simulador físico
. . . . . . . . . . . . .
56
5.3. CELDA ROBÓTICA SIMULADA
. . . . . . . . . . . . . . . . . . . .
56
5.3.1.
Configuración de los manipuladores . . . . . . . . . . . . . . . .
56
5.3.2.
Configuración del sistema de cámaras . . . . . . . . . . . . . . .
57
5.4. ARQUITECTURA DE SOFTWARE EN ROS 2 . . . . . . . . . . . . .
59
5.4.1.
Grafo de nodos y comunicación . . . . . . . . . . . . . . . . . .
59
5.4.2.
Tópicos y tipos de mensaje
. . . . . . . . . . . . . . . . . . . .
59
5.4.3.
Controlador de trayectorias articulares . . . . . . . . . . . . . .
60
5.5. DEPENDENCIAS DE SOFTWARE
. . . . . . . . . . . . . . . . . . .
61
6. CONSTRUCCIÓN DE BASE DE DATOS ETIQUETADA
62
6.1. DEFINICIÓN DEL SISTEMA DE CLASES . . . . . . . . . . . . . . .
62
6.1.1.
Índice de manipulabilidad de Yoshikawa
. . . . . . . . . . . . .
63
6.1.2.
Transformación al marco . . . . . . . . . . . . . . . . . . . . . .
64
6.1.3.
Taxonomía de clases
. . . . . . . . . . . . . . . . . . . . . . . .
65
6.2. INFRAESTRUCTURA DE ADQUISICIÓN . . . . . . . . . . . . . . .
6.2.1.
Protocolo de generación de movimientos
. . . . . . . . . . . . .
67
6.2.2.
Protocolo de captura y etiquetado . . . . . . . . . . . . . . . . .
68
6.3. Estadísticas del Dataset
. . . . . . . . . . . . . . . . . . . . . . . . . .
69
7. DISEÑO, ENTRENAMIENTO Y EVALUACIÓN DEL CLASIFICA-
DOR MULTIMODAL
71
7.1. PREPROCESAMIENTO Y AUMENTO DE DATOS . . . . . . . . . .
71
7.1.1.
Preprocesamiento de imágenes RGB
. . . . . . . . . . . . . . .
71
7.1.2.
Aumento de datos
. . . . . . . . . . . . . . . . . . . . . . . . .
72
7.1.3.
Normalización del vector articular . . . . . . . . . . . . . . . . .
73
7.2. ARQUITECTURA DEL CLASIFICADOR: RGBJointsNet . . . . . . .
73
7.2.1.
Justificación de la fusión tardía
. . . . . . . . . . . . . . . . . .
73
7.2.2.
Flujo visual: backbone EfficientNet-B2 . . . . . . . . . . . . . .
75
7.2.3.
Flujo cinemático: MLP de ángulos articulares
. . . . . . . . . .
76
7.2.4.
Cabezal de fusión y clasificación . . . . . . . . . . . . . . . . . .
76
7.3. PROTOCOLO DE ENTRENAMIENTO . . . . . . . . . . . . . . . . .
77
7.3.1.
Estrategia de caché de características . . . . . . . . . . . . . . .
77
7.3.2.
Función de pérdida con pesos de clase . . . . . . . . . . . . . . .
78
7.3.3.
Optimizador y programación de la tasa de aprendizaje
. . . . .
78
7.3.4.
Regularización . . . . . . . . . . . . . . . . . . . . . . . . . . . .
79
7.3.5.
Parada temprana y selección de modelo . . . . . . . . . . . . . .
79
7.4. MÉTRICAS DE EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . .
7.5. RESULTADOS EXPERIMENTALES . . . . . . . . . . . . . . . . . . .
81
7.5.1.
Convergencia del entrenamiento . . . . . . . . . . . . . . . . . .
81
7.5.2.
Rendimiento en el conjunto de prueba
. . . . . . . . . . . . . .
82
7.5.3.
Análisis de la matriz de confusión . . . . . . . . . . . . . . . . .
83
7.5.4.
Ejemplos cualitativos de inferencia
. . . . . . . . . . . . . . . .
85
7.6. DISCUSIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
86
7.6.1.
Contribución del flujo cinemático . . . . . . . . . . . . . . . . .
86
7.6.2.
Efecto del desbalance de clases
. . . . . . . . . . . . . . . . . .
87
7.6.3.
Entrenamiento sin GPU mediante caché de características
. . .
87
7.6.4.
Capacidad de operación en tiempo real . . . . . . . . . . . . . .
88
7.6.5.
Transferibilidad simulación–realidad . . . . . . . . . . . . . . . .
88
7.7. IMPLEMENTACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . .
89
8. CONCLUSIONES
90
8.1. CUMPLIMIENTO DE LOS OBJETIVOS
. . . . . . . . . . . . . . . .
90
8.1.1.
Plataforma de simulación . . . . . . . . . . . . . . . . . . . . . .
90
8.1.2.
Base de datos etiquetada . . . . . . . . . . . . . . . . . . . . . .
91
8.1.3.
Clasificador multimodal RGBJointsNet . . . . . . . . . . . . . .
91
8.2. HALLAZGOS PRINCIPALES . . . . . . . . . . . . . . . . . . . . . . .
92
8.2.1.
Complementariedad de las modalidades . . . . . . . . . . . . . .
92
8.2.2.
Viabilidad del entrenamiento sin GPU
. . . . . . . . . . . . . .
92
8.2.3.
Generalidad del pipeline de etiquetado . . . . . . . . . . . . . .
93
8.3. LIMITACIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
BIBLIOGRAFÍA
95
A. WORKCELL AUTO-LABEL DATASET: CONTRIBUCIÓN COM-
PLEMENTARIA AL ENTORNO DE SIMULACIÓN
104
A.1. MOTIVACIÓN Y CONTEXTO . . . . . . . . . . . . . . . . . . . . . .
104
A.2. DESCRIPCIÓN DEL DATASET . . . . . . . . . . . . . . . . . . . . .
105
A.2.1. Características generales . . . . . . . . . . . . . . . . . . . . . .
105
A.2.2. Clases de objetos . . . . . . . . . . . . . . . . . . . . . . . . . .
105
A.2.3. Partición y estructura de directorios . . . . . . . . . . . . . . . .
106
A.2.4. Estado articular sincronizado
. . . . . . . . . . . . . . . . . . .
107
A.3. PIPELINE DE ETIQUETADO AUTOMÁTICO . . . . . . . . . . . . .
107
A.4. CASOS DE USO Y APLICACIONES . . . . . . . . . . . . . . . . . . .
108
A.5. RELACIÓN CON EL TRABAJO PRINCIPAL
. . . . . . . . . . . . .
109
A.6. PÓSTER DE PRESENTACIÓN . . . . . . . . . . . . . . . . . . . . . .
LISTA DE TABLAS
1.
Parámetros de Denavit-Hartenberg para el manipulador UR5.
. . . . .
25
2.
Parámetros de Denavit–Hartenberg modificados del manipulador UR5.
57
3.
Posiciones y orientaciones de las cámaras RGB-D en el marco mundo de Gazebo. El ángulo de depresión fijo es ϕc ≈0.698 rad. . . . . . . . . . .
57
4.
Nodos ROS 2 del entorno de simulación y sus responsabilidades. . . . .
59
5.
Tópicos principales del sistema de simulación ROS 2. . . . . . . . . . .
60
6.
Dependencias de software de la plataforma de simulación. . . . . . . . .
61
7.
Definición de las cinco clases de zona operacional y criterios de asignación. La prioridad se aplica en orden descendente. . . . . . . . . . . . .
66
8.
Componentes del entorno de simulación.
. . . . . . . . . . . . . . . . .
66
9.
Campos del archivo de anotaciones annotations.csv.
. . . . . . . . .
69
10.
Distribución de frames por clase en la base de datos.
. . . . . . . . . .
70
11.
Pipeline de aumento de datos aplicado al conjunto de entrenamiento.
.
73
12.
Resumen de parámetros de RGBJointsNet. . . . . . . . . . . . . . . . .
77
13.
Hiperparámetros del protocolo de entrenamiento de RGBJointsNet. . .
80
14.
Rendimiento por clase y global en el conjunto de prueba
. . . . . . . .
83
15.
Dependencias de software del sistema de clasificación. . . . . . . . . . .
89
16.
Estadísticas generales del Workcell Auto-Label Dataset Batch 1. . . . .
106
17.
Distribución de frames por subconjunto en el Workcell Auto-Label Dataset Batch 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
LISTA DE FIGURAS
1.
Celda colaborativa dual-UR5 y zonificación del espacio de trabajo. . . .
13
2.
Impacto de la falla de un encoder en la cadena de control.
. . . . . . .
17
3.
Arquitectura de percepción redundante con fusión sensorial.
. . . . . .
18
4.
Diagrama de bloques de confiabilidad del sistema integrado.
. . . . . .
19
5.
Robot manipulador con representación de sus articulaciones y eslabones.
24
6.
Representación geométrica. Tomada de [1]. . . . . . . . . . . . . . . . .
29
7.
Representación articular del manipulador. Tomada de [1]. . . . . . . . .
29
8.
Representación de −ˆY1 en coordenadas esféricas para el cálculo de θ6. Tomada de [1].
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
9.
Manipulador plano formado por las articulaciones 2, 3 y 4 para el cálculo de θ3. Toamda de [1]. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
10.
Visualización del gimbal lock en un sistema de ángulos de Euler. . . . .
33
11.
Visualización de Cuaterniones y ejes de rotación. Tomada de [2]. . . . .
34
12.
Pipeline completo de la plataforma de simulación. . . . . . . . . . . . .
54
13.
Estructura de simulación . . . . . . . . . . . . . . . . . . . . . . . . . .
58
14.
Arquitectura ROS 2 del entorno de simulación. . . . . . . . . . . . . . .
60
15.
Clases de operación . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
68
16.
Arquitectura RGBJointsNet . . . . . . . . . . . . . . . . . . . . . . . .
74
17.
Pérdida de entropía cruzada ponderada . . . . . . . . . . . . . . . . . .
82
18.
Matriz de confusión absoluta sobre el conjunto de prueba.
. . . . . . .
19.
Reproyección del esqueleto cinemático. . . . . . . . . . . . . . . . . . .
85
20.
Inferencia sobre el conjunto de prueba
. . . . . . . . . . . . . . . . . .
86
21.
Póster de presentación del Workcell Auto-Label Dataset Batch 1 . . . .
1.
DEFINICIÓN DEL PROBLEMA
La robótica industrial ha experimentado un crecimiento en las últimas décadas, impulsada por la necesidad de automatización en procesos industriales. Ahora bien, garantizar la operación segura y eficiente de los robots manipuladores requiere una comprensión detallada de sus áreas de trabajo, incluyendo zonas alcanzables, no alcanzables, singulares y prohibidas. Estas áreas definen las capacidades y limitaciones del sistema, y su caracterización es fundamental para optimizar el rendimiento y evitar riesgos operativos.
El espacio de trabajo de un robot manipulador está limitado por factores geométricos, cinemáticos y externos. Según [3], la caracterización precisa de las áreas son necesarias para planificar trayectorias seguras y eficientes. Sin embargo, existen desafíos en la identificación y monitoreo de estas regiones. Por ejemplo, las singularidades pueden causar pérdida de grados de libertad, lo que afecta la precisión y seguridad del sistema [4]. Además, la presencia de obstáculos dinámicos o estáticos puede restringir el acceso a ciertas áreas, aumentando el riesgo de colisiones [5]. Lo anterior se agrava considerablemente en entornos industriales, donde los robots no operan de manera aislada, sino que deben interactuar constantemente con humanos, otros sistemas autónomos o incluso equipos mecánicos complementarios. Como se observa en la Figura 1a, la celda colaborativa está compuesta por manipuladores industriales, operadores humanos y un sistema de adquisición basado en cámaras RGB-D, lo que permite capturar información visual del entorno de trabajo desde diferentes perspectivas. Por otra parte, la Figura 1b presenta la estructura cinemática del manipulador UR5 y la definición de las zonas de operación empleadas en este estudio, las cuales se establecen a partir de criterios geométricos asociados al alcance y desempeño del robot.
A pesar de que los métodos actuales para la caracterización y detección de áreas de
(a) Configuración física de la celda colaborativa dual-UR5 con operadores humanos y sistema RGB-D.
(b) Junturas del manipulador UR5 y representación de las zonas de operación en los planos XY, XZ e YZ.
Figura 1. Celda colaborativa dual-UR5 utilizada para la caracterización de áreas de operación mediante visión por computador. (a) Configuración física de la celda con sistema de cámaras RGB-D. (b) Modelo del manipulador UR5 mostrando sus articulaciones y las regiones de operación definidas mediante radios de trabajo característicos. trabajo se fundamentan principalmente en modelos matemáticos y simulaciones computacionales, los cuales han demostrado ser efectivos para análisis fuera de línea, estas técnicas presentan limitaciones en cuanto a su capacidad de adaptación a entornos dinámicos, donde según [6], si bien los modelos cinemáticos inversos y directos constituyen herramientas fundamentales para la determinación del espacio de trabajo alcanzable, su implementación simulada en tiempo real representando un desafío técnico considerable, mientras en Siciliano et al. [7] señalan que la integración de sensores y algoritmos de percepción podría potenciar significativamente la capacidad de los sistemas robóticos para detectar áreas prohibidas y adaptarse a entornos cambiantes.
En el contexto de las tecnologías emergentes e industrias 4.0, el aprendizaje profundo ofrece perspectivas para abordar los desafíos presentes en la robótica industrial, donde [8] destaca la particular efectividad de las redes neuronales convolucionales (CNN) en la clasificación de imágenes, facilitando así la identificación de obstáculos y la definición eficiente de zonas restringidas, mientras que [9] introdujo el concepto de campos potenciales como método para la evasión de colisiones en entornos dinámicos, una técnica que mantiene su relevancia en la planificación de trayectorias, complementándose con ROS (Robot Operating System) que, según [10], proporciona la flexibilidad y modularidad necesarias para la integración de sensores y algoritmos en el desarrollo de sistemas robóticos. Aunque la implementación práctica de estas tecnologías en sistemas industriales continúa siendo objeto de investigación activa debido a desafíos técnicos relacionados con la latencia y la precisión.
La definición del área óptima, que según [11] constituye una subregión dentro del espacio de trabajo donde el sistema alcanza sus máximos niveles de eficiencia y precisión, resulta fundamental para maximizar la rigidez del robot y minimizar el esfuerzo articular, aspectos importantes para la prolongación de la vida útil del sistema y la reducción del consumo energético, aunque la identificación y mantenimiento de la operación dentro de esta región requiere la implementación de algoritmos de control y planificación de trayectorias, incrementando así la complejidad del diseño del sistema. La persistente problemática en la detección de zonas prohibidas o inseguras se ve limitada por las herramientas actuales, donde los parámetros Denavit-Hartenberg (DH), introducidos en [12], aunque esenciales para el modelado geométrico de sistemas robóticos, muestran restricciones en su aplicación a entornos dinámicos, mientras que [13] sugiere que la integración de sistemas de aprendizaje profundo en ROS podría ofrecer soluciones, aunque persisten barreras técnicas relacionadas con la latencia y precisión algorítmica.
Es por esto, que emerge la imperativa necesidad de desarrollar un sistema integrado que combine las capacidades de ROS y visión por computador para la caracterización y detección de las áreas de trabajo de manipuladores seriales, sistema que debe facilitar la clasificación de zonas seguras de operación, la identificación de singularidades y la detección de áreas prohibidas, contribuyendo así al mejoramiento de la seguridad y eficiencia en aplicaciones industriales, mientras mantiene la capacidad de adaptación a diversas configuraciones robóticas y entornos dinámicos.
2.
JUSTIFICACIÓN
La motivación para incorporar un canal visual redundante puede fundamentarse también desde la teoría de la confiabilidad de sistemas. En un manipulador serial de seis grados de libertad como el UR5, los encoders articulares constituyen un sistema en serie desde el punto de vista de la retroalimentación de posición: la falla de un único encoder compromete el conocimiento del estado completo del robot, produciendo estimaciones incorrectas de la cinemática directa y, por tanto, riesgo de colisión con operadores u otros equipos [14]. La Figura 2 ilustra este escenario y su impacto sobre la confiabilidad del sistema.
Frente a esta vulnerabilidad estructural, la incorporación de un sistema de cámaras RGB-D operando en paralelo ofrece un canal de percepción redundante e independiente. La Figura 3 muestra cómo la fusión sensorial entre encoders y cámaras permite compensar la falla de un componente cinemático mediante la retroalimentación visual, limitando la propagación del error y habilitando la recuperación de la trayectoria. Formalmente, la confiabilidad del sistema integrado puede modelarse mediante un Diagrama de Bloques de Confiabilidad (RBD). Los encoders articulares, al estar conectados en serie en la cadena de retroalimentación de posición, presentan una confiabilidad combinada:
Rencoders =
6
Y i=1 Ri,
(1)
que decrece rápidamente con el número de componentes. En contraste, las tres cámaras RGB-D, al operar en paralelo como fuentes independientes de información visual, alcanzan una confiabilidad:
Rcámaras = 1 −(1 −R1)(1 −R2)(1 −R3),
(2)
Figura 2. Impacto de la falla de un encoder articular en un manipulador serial de seis ejes. (1) Operación normal: todos los encoders funcionales permiten un control preciso y seguro. (2) Falla del encoder del eje 3: la pérdida de retroalimentación de posición genera estimaciones incorrectas que propagan el error a lo largo de la cadena cinemática, incrementando el riesgo de colisión. (3) Diagrama de bloques de confiabilidad (RBD) del sistema de encoders en serie y la curva de confiabilidad resultante Rs(t). significativamente superior a la de cualquiera de sus componentes individuales. La confiabilidad del sistema completo es:
Rsistema = Rcámaras · Rencoders,
(3)
donde el subsistema de cámaras actúa como canal de recuperación ante fallas del subsistema cinemático, tal como se ilustra en la Figura 4.
En el contexto de la cuarta revolución industrial, la robótica ha experimentado una transformación, impulsada por la necesidad de sistemas autónomos, flexibles y seguros
Figura 3. Arquitectura de percepción redundante encoders–cámaras. (1) Operación normal con control preciso y percepción visual confiable. (2) Ante la falla del encoder del eje 3, el sistema de cámaras detecta la desviación de la trayectoria y corrige la estimación de estado. (3) Comparación de la evolución del error de posición sin cámaras (error creciente) y con cámaras (error limitado). (4) Secuencia de recuperación: falla →estimación incorrecta →detección visual →corrección →operación continua. que puedan operar en entornos dinámicos y colaborativos [15, 16]. Sin embargo, a pesar de los avances tecnológicos, la caracterización y detección de áreas de trabajo en robots manipuladores sigue siendo un desafío crítico, especialmente en aplicaciones industriales donde la precisión, la seguridad y la eficiencia son requisitos importantes [17]. Uno de los principales problemas en la robótica industrial actual es la limitada capacidad de los sistemas tradicionales para adaptarse a entornos dinámicos y no estructurados. Los métodos convencionales, basados en modelos geométricos y cinemáticos, aunque útiles para aplicaciones predefinidas, carecen de la flexibilidad necesaria para responder a cambios imprevistos en el entorno, como la aparición de obstáculos móviles o la
Figura 4. Diagrama de bloques de confiabilidad (RBD) del sistema integrado encoders– cámaras. El subsistema de encoders (serie, seis elementos) opera en paralelo con el subsistema de cámaras RGB-D (paralelo, tres elementos), resultando en una arquitectura con mayor tolerancia a fallos que cualquiera de sus subsistemas por separado. reconfiguración del espacio de trabajo. Como señalan [18, 15], la falta de adaptabilidad en los sistemas robóticos actuales es una barrera importante para su implementación en escenarios industriales complejos, donde la interacción con humanos y otros sistemas autónomos es cada vez más común.
En este sentido, las tecnologías de la industria 4.0 pueden superar estas limitaciones. Según [19], las CNN y otras arquitecturas de aprendizaje profundo han demostrado buenos rendimientos en tareas de percepción visual, como la detección de obstáculos, la segmentación semántica y la clasificación de zonas de operación. Estas habilidades de extracción jerárquica de características visuales, combinadas con la capacidad de generalización ante variaciones de iluminación, oclusión y reconfiguración del entorno,
resultan fundamentales para que los robots puedan interpretar su entorno de manera precisa y tomar decisiones informadas. Además, como destaca [20], la combinación de visión por computador con técnicas de planificación de trayectorias basadas en aprendizaje por refuerzo ha permitido avances significativos en la optimización del espacio de trabajo y la evitación de colisiones en entornos dinámicos. La integración de estas tecnologías con plataformas robóticas modulares, como ROS 2, representa una oportunidad única para desarrollar sistemas que puedan operar en entornos industriales reales. Según [21], ROS 2 ofrece mejoras en términos de escalabilidad, rendimiento y compatibilidad con sistemas embebidos, lo que lo convierte en una plataforma ideal para la implementación de aplicaciones robóticas complejas. Esto es particularmente relevante para la caracterización y detección de áreas de trabajo, donde la latencia y la precisión son factores críticos que determinan la eficacia del sistema [22]. Además, la necesidad de mejorar la seguridad en la colaboración humano-robot (HRC), un área que ha ganado relevancia en los últimos años debido al creciente uso de robots en entornos compartidos con humanos. Como menciona [14], la detección temprana de zonas prohibidas o inseguras es muy importante para prevenir accidentes y garantizar la coexistencia segura entre humanos y robots. Sin embargo, los métodos actuales para la detección de estas zonas suelen ser reactivos y dependen en gran medida de sensores físicos, lo que limita su efectividad en escenarios dinámicos. Al incorporar sistemas de visión por computador se permitiría una detección proactiva y precisa de áreas de riesgo, mejorando así la seguridad operativa [23]. Por otro lado, la optimización del espacio de trabajo es un factor necesario para maximizar la eficiencia y prolongar la vida útil de los robots manipuladores. Como señala [24], la identificación de regiones óptimas de operación, donde el robot puede alcanzar su máxima precisión y eficiencia energética, es necesario para reducir el desgaste mecánico y minimizar los costos operativos. Sin embargo, lograr el desarrollo, requiere algoritmos
de control y planificación, así como la integración de sistemas de percepción que puedan operar en tiempo real. El proyecto aborda esta necesidad al proponer un ecosistema de simulación que combine técnicas de aprendizaje profundo y modelado matemático para la caracterización y optimización del espacio de trabajo.
Asímismo, este proyecto se alinea con los objetivos de la Industria 4.0, que promueve la integración de tecnologías para mejorar la productividad, la flexibilidad y la seguridad en los procesos industriales [25, 26].
3.
OBJETIVOS
3.1.
Objetivo General Desarrollar una metodología que permita la caracterización, detección y clasificación de áreas de operación en manipuladores seriales industriales, utilizando visión por computador.
3.2.
Objetivos Específicos Diseñar e implementar un entorno de trabajo que integre un sistema de cámaras y la visualización para la caracterización de áreas de trabajo en un manipulador serial industrial.
Construir una base de datos etiquetada que contenga información geométrica y visual del manipulador serial.
Diseñar, entrenar y evaluar un modelo de aprendizaje profundo basado en redes neuronales convolucionales que, utilizando la base de datos recopilada, clasifique las áreas de trabajo del manipulador industrial.
4.
MARCO TEÓRICO
El desarrollo de sistemas robóticos que sean seguros y eficientes es un desafío complejo que demanda una integración multidisciplinaria de conocimientos. Para lograr este objetivo, es necesario comprender tanto de los fundamentos matemáticos que describen el comportamiento de los robots como de las tecnologías emergentes que hacen posible su implementación práctica. En este contexto, la robótica moderna se apoya en un conjunto de teorías, modelos y herramientas que permiten diseñar, controlar y optimizar sistemas robóticos capaces de realizar tareas en entornos dinámicos y, en muchos casos, impredecibles [19, 27, 1].
Para la sección previa, se presentan los conceptos teóricos fundamentales que sustentan este proyecto, los cuales son útiles para el desarrollo de sistemas. Estos conceptos incluyen, en primer lugar, la modelación geométrica y cinemática de robots manipuladores. La modelación geométrica se refiere a la descripción matemática de la estructura física del robot, incluyendo la posición y orientación de sus componentes en el espacio. Por otro lado, la cinemática se enfoca en el estudio del movimiento de los robots sin considerar las fuerzas que lo generan, lo que permite predecir y controlar la trayectoria de los actuadores y herramientas del robot en función de sus articulaciones. Además de dichos fundamentos matemáticos, el proyecto también aborda el uso de tecnologías que revolucionan el campo de la robótica. Entre estas tecnologías se encuentra la visión por computador, que permite a los robots percibir y comprender su entorno a través de cámaras y sensores, facilitando tareas como la navegación autónoma, el reconocimiento de objetos y la interacción con el entorno.
Además, se introduce la integración con ROS, siendo una plataforma de software de código abierto que proporciona herramientas y bibliotecas para facilitar el desarrollo de aplicaciones robóticas.
4.1.
FUNDAMENTOS CINEMÁTICOS
Uno de los factores principales en el diseño y control de robots manipuladores es la modelación geométrica y cinemática, que permite describir matemáticamente la estructura y el movimiento de un robot. Para lograr esto, se utilizan los parámetros de Denavit- Hartenberg (D-H), un método estandarizado y ampliamente adoptado en la robótica para representar la configuración espacial de los eslabones y articulaciones de un robot (ver figura 5).
Figura 5. Robot manipulador con representación de sus articulaciones y eslabones. Los parámetros de Denavit-Hartenberg (D-H) son una herramienta fundamental en la robótica para describir la geometría y cinemática de robots manipuladores [1]. Estos parámetros permiten modelar de manera sistemática la posición y orientación de cada eslabón del robot con respecto a los demás, lo que facilita el análisis y control del sistema. A continuación, se describen los cuatro parámetros D-H y su aplicación en el modelado de robots.
Los parámetros D-H se definen mediante cuatro valores asociados a cada articulación
y eslabón de un robot:
1. Distancia d (Desplazamiento a lo largo del eje z): Representa la distancia a
lo largo del eje zi−1 desde el origen del sistema de coordenadas i −1 hasta la intersección con el eje xi.
2. Ángulo θ (Rotación alrededor del eje z): Corresponde al ángulo de rotación
alrededor del eje zi−1 necesario para alinear el eje xi−1 con el eje xi.
3. Longitud a (Desplazamiento a lo largo del eje x): Representa la distancia a lo
largo del eje xi desde la intersección de los ejes zi−1 y xi hasta el origen del sistema de coordenadas i.
4. Ángulo α (Rotación alrededor del eje x): Es el ángulo de rotación alrededor del
eje xi necesario para alinear el eje zi−1 con el eje zi.
Para ilustrar la aplicación práctica de estos parámetros, se considera el caso específico del manipulador UR5, cuyos valores D-H se presentan en la tabla 1: Tabla 1. Parámetros de Denavit-Hartenberg para el manipulador UR5. i αi ai di θi
1
0
0
d1 θ1
2
90
0
0
θ2
3
0
a2
0
θ3
4
0
a3 d4 θ4
5
90
0
d5 θ5
6
-90
0
d6 θ6 La implementación de estos parámetros se realiza mediante matrices de transformación homogénea, las cuales describen la posición y orientación del sistema de coordenadas de cada eslabón con respecto al anterior. La estructura general de esta matriz es:
T i−1 i = R P
0
1
(4)
donde R representa la submatriz de rotación (3x3), P el vector de traslación (3x1), 0 un vector fila de ceros (1x3), y 1 un escalar normalizador. La submatriz de rotación R se define específicamente como: R = cos θi −sin θi cos αi sin θi sin αi sin θi cos θi cos αi −cos θi sin αi
0
sin αi cos αi
(5)
El vector de traslación P se expresa como:
P = ai cos θi ai sin θi di
(6)
Integrando todos estos elementos, la matriz de transformación homogénea completa T i−1 i se expresa como:
T i−1 i = cos θi −sin θi cos αi sin θi sin αi ai cos θi sin θi cos θi cos αi −cos θi sin αi ai sin θi
0
sin αi cos αi di
0
0
0
1
(7)
Para un robot que cuenta con n eslabones, la matriz de transformación homogénea total T 0 n, que describe la posición y orientación del efector final con respecto a la base del robot, se obtiene mediante el producto secuencial de las matrices de transformación
individuales:
T 0 n = T 0
1 · T 1
2 · T 2
3 · . . . · T n−1
n
(8)
Lo anterior resulta útil para la resolución de problemas de cinemática directa, permitiendo calcular la posición y orientación del efector final en función de las variables articulares.
4.1.1.
Cinemática directa La cinemática directa es el proceso mediante el cual se determina la posición y orientación del efector final de un robot manipulador a partir de los valores conocidos de sus coordenadas articulares, como los ángulos de las articulaciones rotacionales o las distancias de las articulaciones prismáticas [1]. Este cálculo se realiza utilizando una serie de transformaciones homogéneas que relacionan cada sistema de referencia local asociado a las articulaciones con el sistema de referencia global del robot. Matemáticamente, estas transformaciones se expresan mediante matrices de transformación homogénea T, que combinan tanto la traslación como la rotación entre dos sistemas de coordenadas consecutivos [1]. En este contexto, los parámetros de Denavit-Hartenberg (D-H) proporcionan un método sistemático para definir estas transformaciones, asegurando que cada articulación esté correctamente modelada en términos de sus grados de libertad.
4.1.2.
Cinemática inversa El problema de cinemática inversa es primitivo en robótica, ya que permite determinar los valores articulares necesarios para alcanzar una posición y orientación deseadas del efector final. A diferencia de la cinemática directa, donde se calcula la posición y orientación a partir de los ángulos articulares, la cinemática inversa implica resolver un
sistema de ecuaciones no lineales. Este proceso puede ser computacionalmente costoso debido a la posible existencia de múltiples soluciones o singularidades [1]. Para el caso de un robot industrial UR5, la cinemática inversa resuelve el problema de determinar los ángulos articulares (θ1, θ2, . . . , θ6) necesarios para alcanzar una posición y orientación deseadas del efector final, especificadas mediante la matriz de transformación homogénea 0T6. Este proceso es más complejo que la cinemática directa, ya que puede involucrar múltiples soluciones o incluso ninguna solución dependiendo de las restricciones geométricas del robot [1]. El proceso para resolver la cinemática inversa del robot UR5 se estructura en una serie de pasos secuenciales, donde cada uno está diseñado para determinar un subconjunto específico de los ángulos articulares. Este enfoque metodológico permite descomponer el problema en cálculos más manejables, facilitando la obtención de una solución. A continuación, se describe detalladamente la estrategia empleada para determinar cada uno de los ángulos articulares: Cálculo de θ1 El primer ángulo, θ1, se determina analizando la posición del centro de la muñeca (P5) con respecto al sistema de referencia base. El cálculo se basa en la relación geométrica entre el efector final y la base del robot, lo que permite establecer la orientación adecuada para el resto de los ángulos articulares. Para una mejor comprensión, se recomienda consultar las Figuras 6 y 7.
La posición de P5 se obtiene trasladando el origen del efector final hacia atrás a lo largo del eje z6 (ver 9):
0P5 =0 P6 −d6 ·0 ˆZ6.
(9)
A partir de esta posición, θ1 se calcula como:
θ1 = atan2(0P5y,0 P5x) ± acos d4 q 0P 2 5x +0 P 2 5y + π
2 .
(10)
Figura 6. Representación geométrica. Tomada de [1].
Para derivar θ1, se examina el robot visto desde arriba en la figura 7 (mirando hacia abajo en el eje z0). Esta perspectiva permite observar la relación geométrica entre los sistemas de referencia y la posición del centro de la muñeca (P5) en el plano horizontal [1]. En esta vista, se puede apreciar cómo el ángulo θ1 define la orientación del hombro respecto al sistema de referencia base, lo que facilita su cálculo mediante relaciones trigonométricas [1].
Figura 7. Representación articular del manipulador. Tomada de [1].
Cálculo de θ5 El ángulo θ5 se encuentra analizando la componente y de la posición del efector final en el sistema de referencia 1 (1P6y) [1]. Esta componente depende exclusivamente de θ5 y se expresa como: −1P6y = d4 + d6 cos θ5.
(11)
Resolviendo para θ5, se obtiene: θ5 = ±acos 0P6x sin θ1 −0 P6y cos θ1 −d4 d6
.
(12)
Cálculo de θ6 El ángulo θ6 se determina examinando el vector −ˆY1 expresado en el sistema de referencia 6 [1]. Utilizando coordenadas esféricas (ver figura 8), este vector se relaciona con θ5 y θ6 mediante: −ˆY1 = sin θ5 cos(−θ6) sin θ5 sin(−θ6) cos θ5
.
(13)
Finalmente, θ6 se calcula como: θ6 = atan2
−0 ˆX0y sin θ1 +0 ˆY0y cos θ1 sin θ5
,
0 ˆX0x sin θ1 −0 ˆY0x cos θ1
sin θ5 !
.
(14)
Cálculo de θ3 Los ángulos θ2, θ3 y θ4 forman un manipulador plano de tres grados de libertad como se observa en la figura 9. El ángulo θ3 se calcula utilizando la ley de los cosenos:
cos θ3 = −a2
2 + a2
3 −∥1P4xz∥2
2a2a3
.
(15)
Figura 8. Representación de −ˆY1 en coordenadas esféricas para el cálculo de θ6. Tomada de [1].
De aquí se obtiene:
θ3 = ±acos ∥1P4xz∥2 −a2
2 −a2
3
2a2a3
.
(16)
Figura 9. Manipulador plano formado por las articulaciones 2, 3 y 4 para el cálculo de θ3. Toamda de [1].
Cálculo de θ2 y θ4 El ángulo θ2 se calcula como:
θ2 = ϕ1 −ϕ2,
(17)
donde:
ϕ1 = atan2(−1P4z, −1P4x),
(18)
y:
ϕ2 = asin −a3 sin θ3 ∥1P4xz∥
.
(19)
Finalmente, θ4 se obtiene directamente de la matriz de transformación 3T4: θ4 = atan2(3 ˆX4y,3 ˆX4x).
(20)
4.1.3.
Cuaterniones La representación de la orientación del efector final es un aspecto necesario en la cinemática inversa. Mientras que las matrices de rotación son ampliamente utilizadas, presentan limitaciones como la redundancia de parámetros y la posibilidad de sufrir el fenómeno de gimbal lock (ver figura 10). En la figura 10 se ilustran los tres ángulos de Euler que describen la orientación en el espacio: Roll (rotación sobre el eje x), Pitch (rotación sobre el eje z) y Yaw (rotación sobre el eje y). El gimbal lock ocurre cuando dos de estos tres ejes de rotación se alinean, provocando la pérdida de un grado de libertad en la representación de la orientación y haciendo indistinguibles rotaciones que geométricamente son diferentes.
Como se observa en la figura 10, que ilustra este fenómeno, los parámetros Roll, Pitch y Yaw pueden alinearse en ciertas configuraciones, provocando la pérdida de un grado de libertad y limitando el control sobre la orientación del efector final. Para evitar estos
x y z Yaw Pitch Roll Figura 10. Visualización del gimbal lock en un sistema de ángulos de Euler. inconvenientes, los cuaterniones ofrecen una alternativa más compacta y computacionalmente eficiente para representar rotaciones en tres dimensiones, esta representación suele verse como en la figura 11.
Estos, al ser una extensión de los números complejos que se utilizan para representar rotaciones en el espacio tridimensional, se definen como: q = q0 + q1i + q2j + q3k
(21)
donde:
q0 es la parte escalar.
q1, q2, q3 son las componentes vectoriales.
i, j, k son las unidades imaginarias que satisfacen i2 = j2 = k2 = ijk = −1.
Figura 11. Visualización de Cuaterniones y ejes de rotación. Tomada de [2]. La norma de un cuaternión se define como la raíz cuadrada de la suma de los cuadrados de sus componentes. Específicamente, para un cuaternión q = q0 + q1i + q2j + q3k, su norma es |q| = p q2
0 + q2
1 + q2
2 + q2
3. Un cuaternión unitario satisface la condición
|q| = 1, lo que permite representar rotaciones en tres dimensiones [2]. Para rotar un vector en 3D utilizando cuaterniones unitarios, el primer paso es convertir el vector en un cuaternión puro. Dado un vector v = (vx, vy, vz), este se representa como v = 0+vxi+vyj+vzk. La rotación se realiza multiplicando el cuaternión q, el cuaternión del vector v, y el conjugado de q, denotado como q∗. El conjugado de un cuaternión q = q0 + q1i + q2j + q3k se define como q∗= q0 −q1i −q2j −q3k. La fórmula para la rotación es v′ = q · v · q∗, donde v′ es el cuaternión resultante, cuyas componentes corresponden al vector rotado [2].
Un cuaternión unitario que representa una rotación de un ángulo θ alrededor de un eje
unitario u = (ux, uy, uz) se construye como:
q = cos θ
2
+ sin θ
2
(uxi + uyj + uzk).
(22)
En esta expresión, la parte escalar es cos θ
2
, mientras que la parte vectorial está dada por sin θ
2
u. Esta construcción permite capturar tanto el ángulo como el eje de rotación
de manera compacta y eficiente [2].
Los cuaterniones unitarios también pueden convertirse en matrices de rotación de 3×3, lo que facilita su uso en aplicaciones prácticas. Dado un cuaternión unitario q = q0 + q1i + q2j + q3k, la matriz de rotación correspondiente se calcula como: R =
1 −2(q2
2 + q2
3)
2(q1q2 −q0q3) 2(q1q3 + q0q2) 2(q1q2 + q0q3)
1 −2(q2
1 + q2
3)
2(q2q3 −q0q1) 2(q1q3 −q0q2) 2(q2q3 + q0q1)
1 −2(q2
1 + q2
2)
.
(23)
Esta matriz puede utilizarse directamente para rotar vectores en el espacio tridimensional.
Una de las ventajas de los cuaterniones es su capacidad para interpolar suavemente entre dos rotaciones [2]. Esto se logra mediante la interpolación esférica lineal (SLERP), que permite calcular una transición fluida entre dos cuaterniones unitarios q1 y q2. La fórmula para SLERP es:
SLERP(q1, q2, t) = sin((1 −t)θ) sin(θ) q1 + sin(tθ) sin(θ) q2,
(24)
donde θ es el ángulo entre q1 y q2, y t ∈[0, 1] es el parámetro de interpolación.
4.1.4.
Optimización y métodos numéricos En muchos casos, la cinemática inversa de un manipulador serial no tiene solución analítica, lo que requiere el uso de métodos numéricos. Un enfoque común es minimizar una función objetivo que mide la distancia entre la posición/orientación actual del efector final y la deseada, [28, 29, 30]. Esto se puede formular como un problema de optimización no lineal:
m´ın θ ∥f(θ) −pd∥2,
(25)
donde:
f(θ) es la función de cinemática directa, que mapea los ángulos articulares θ = (θiθ2, . . . , θn) a la posición y orientación del efector final. pd es la posición/orientación deseada.
∥· ∥2 es la norma euclidiana al cuadrado, que mide la distancia entre la configuración actual y la deseada.
El hessiano de la función objetivo, definido como la matriz de segundas derivadas parciales, se fundamenta en algoritmos de optimización de segundo orden, como el método de Newton. Para un robot manipulador serial, el hessiano H(θ) se define como: H(θ) = ∂2J(θ) ∂θi∂θj
,
(26)
En donde, J(θ) = ∥f(θ) −pd∥2 es la función objetivo.
El método de Newton utiliza el hessiano para actualizar los ángulos articulares: θk+1 = θk −H−1(θk)∇J(θk),
(27)
donde:
H−1(θk) es la inversa del hessiano en la iteración k.
∇J(θk) es el gradiente de la función objetivo.
Sin embargo, calcular el hessiano para un manipulador serial puede ser computacionalmente costoso debido a la complejidad de la cinemática directa f(θ). Por ello, en la práctica se utilizan aproximaciones como el método de BFGS (Broyden-Fletcher- Goldfarb-Shanno), que construye una aproximación del hessiano sin necesidad de calcular explícitamente las segundas derivadas.
El método del producto de exponenciales (POE, por sus siglas en inglés) ofrece una formulación alternativa para la cinemática inversa que es particularmente adecuada para robots con articulaciones complejas o cadenas cinemáticas cerradas. La idea central del POE es expresar la transformación homogénea del efector final como un producto de exponenciales de matrices de Lie asociadas a las articulaciones: T = e ˆξ1θ1e ˆξ2θ2 · · · e ˆξnθn,
(28)
donde:
ˆξi son las matrices de Lie o twists correspondientes a los ejes de las articulaciones. θi son los ángulos articulares.
T es la matriz de transformación homogénea que describe la posición y orientación del efector final.
Este enfoque fue introducido por [31] y ha sido ampliamente utilizado en robótica debido a su elegancia matemática y aplicabilidad en sistemas complejos [32, 33].
En el contexto del álgebra de Lie, cada articulación del UR5 está asociada con un twist ˆξi, que es una matriz de la forma:
ˆξi = ˆωi vi
0
0
,
(29)
donde:
ˆωi es una matriz antisimétrica que representa el eje de rotación de la articulación. vi es un vector que describe la traslación asociada a la articulación. La exponencial de una matriz de Lie ˆξiθi se calcula como:
e ˆξiθi = I + ˆξiθi + (ˆξiθi)2 2!
+ (ˆξiθi)3 3!
+ · · · ,
(30)
Aquí, I es la matriz identidad [34, 35].
4.2.
VISIÓN POR COMPUTADOR
La visión por computador es una disciplina de la inteligencia artificial cuyo propósito fundamental consiste en dotar a las máquinas de la capacidad de interpretar y comprender sobre la información contenida en imágenes y video [36]. A diferencia del procesamiento de imágenes, que se limita a transformaciones algebraicas sobre los píxeles, la visión por computador busca extraer representaciones semánticas y geométricas del mundo visual: identificar objetos, estimar profundidad, reconstruir geometría tridimensional y, en el contexto robótico, determinar la posición y orientación de los elementos relevantes del entorno [37].
Formalmente, si I ∈RH×W×C denota una imagen de altura H, anchura W y C canales de color, el objetivo de un sistema de visión por computador puede expresarse como encontrar una función f tal que:
f : I −→S,
(31)
donde S representa el espacio de salida deseado (etiquetas de clase, máscaras de segmentación, coordenadas de objetos, nubes de puntos 3D, parámetros de pose, etc.). El diseño de f ha evolucionado desde funciones definidas manualmente hasta funciones aprendidas de datos mediante redes neuronales profundas [8]. En el contexto de los sistemas robóticos, la visión por computador no es simplemente una herramienta de percepción visual genérica: es el puente que conecta el espacio de trabajo físico del robot descrito mediante modelos cinemáticos y dinámicos con el mundo sensorial captado por cámaras. En particular, para la caracterización de áreas de operación en manipuladores seriales, la visión por computador debe ser capaz de estimar relaciones geométricas entre el robot y su entorno, detectar condiciones cinemáticas críticas como singularidades o límites articulares, y hacerlo en tiempo real con la latencia y robustez exigidas por los entornos industriales.
4.3.
GEOMETRÍA DE LA FORMACIÓN DE LA IMAGEN
El modelo más ampliamente utilizado para describir la formación de imagen en una cámara es el modelo de cámara estenopeica (pinhole camera model), que aproxima la óptica real de una lente mediante una proyección perspectiva pura [38]. En este modelo, un punto tridimensional P = [X, Y, Z]⊤expresado en el marco de referencia de la cámara se proyecta sobre el plano imagen en el punto p = [u, v]⊤según:
λ u v
1
= fx
0
cx
0
fy cy
0
0
1
| {z } K X Y Z
,
(32)
donde λ = Z es el factor de escala (profundidad del punto), fx y fy son las longitudes focales expresadas en píxeles (incorporando la distancia focal física y el tamaño del píxel del sensor), y (cx, cy) son las coordenadas del punto principal, es decir, la proyección del eje óptico sobre el plano imagen. La matriz K ∈R3×3 se denomina matriz de parámetros intrínsecos o matriz de cámara [39].
La relación completa entre un punto del mundo Pw (expresado en el marco de referencia global) y su proyección p en la imagen requiere incorporar también la transformación rígida que relaciona el marco mundo con el marco cámara:
λ u v
1
= K R t Xw Yw Zw
1
,
(33)
donde R ∈SO(3) es la matriz de rotación y t ∈R3 es el vector de traslación que, conjuntamente, constituyen los parámetros extrínsecos de la cámara. Los parámetros intrínsecos K son propios del hardware y se determinan durante la calibración, mientras que los parámetros extrínsecos [R | t] varían en función de la posición y orientación de la cámara en el entorno.
Coordenadas homogéneas y geometría proyectiva La ecuación (33) se formula de manera compacta en el marco de la geometría proyectiva, donde los puntos del espacio euclídeo se representan en coordenadas homogéneas: a un punto P = [X, Y, Z]⊤le corresponde la clase de equivalencia [αX, αY, αZ, α]⊤para cualquier α̸ = 0 [38]. Esta representación permite tratar la proyección perspectiva como una transformación lineal (aunque sobre el espacio proyectivo), lo que simplifica considerablemente el álgebra de la visión por computador y sus vínculos con la cinemática de robots.
En coordenadas homogéneas, la proyección completa se escribe: ˜p ∼P3×4, ˜Pw, P3×4 = K R t
,
(34)
donde el símbolo ∼indica igualdad salvo escala. La matriz P3×4 se denomina matriz de proyección de la cámara y encapsula conjuntamente los parámetros intrínsecos y extrínsecos [38].
Distorsión de la lente Las lentes físicas introducen distorsiones geométricas que hacen que la proyección real se desvíe del modelo lineal de la ecuación (32). Las más relevantes son la distorsión radial que curva las líneas rectas hacia el centro óptico o alejándolas de él y la distorsión tangencial causada por el desalineamiento entre el plano de la lente y el plano del sensor. El modelo de Brown Conrady modela ambas mediante:
ud = un
1 + k1r2 + k2r4 + k3r6
+ 2p1unvn + p2(r2 + 2u2 n),
(35)
vd = vn
1 + k1r2 + k2r4 + k3r6
+ p1(r2 + 2v2
n) + 2p2unvn,
(36)
donde (un, vn) son las coordenadas normalizadas libres de distorsión, (ud, vd) las coordenadas distorsionadas observadas en el plano de imagen, y r2 = u2 n + v2 n el cuadrado de la distancia radial al centro óptico. Los coeficientes k1, k2, k3 modelan la distorsión radial, causada por la curvatura de las lentes, mientras que p1, p2 capturan la distorsión tangencial, originada por el desalineamiento entre el plano del sensor y el plano de la lente [40]. En aplicaciones robóticas de alta precisión, la corrección de ambos tipos de distorsión es un paso previo imprescindible a cualquier cálculo geométrico, ya que errores no compensados se propagan directamente sobre la estimación de pose y la reconstrucción del espacio de trabajo.
4.4.
CALIBRACIÓN DE CÁMARA
La calibración de cámara es el proceso mediante el cual se estiman los parámetros intrínsecos K y los coeficientes de distorsión (k1, k2, k3, p1, p2) [39]. El método de Zhang, ampliamente adoptado en la literatura y en herramientas de calibración como OpenCV, utiliza múltiples vistas de un patrón de calibración plano (tablero de ajedrez) con geometría conocida.
El procedimiento establece un sistema de ecuaciones sobre las homografías Hi que relacionan el plano del patrón con el plano imagen en la i-ésima vista: ˜pi ∼Hi, ˜Pw,i, Hi = K r1 r2 ti
,
(37)
donde r1, r2 son las dos primeras columnas de la matriz de rotación. Las restricciones ortogonales sobre R ∈SO(3) permiten resolver linealmente los parámetros intrínsecos y, posteriormente, refinarlos junto con los coeficientes de distorsión mediante un proceso de optimización no lineal que minimiza el error de reproyección: ϵ = N X i=1 M X j=1 ∥pij −ˆp(K, Ri, ti, Pw,j)∥2 ,
(38)
siendo N el número de vistas, M el número de puntos del patrón por vista, pij la posición observada del j-ésimo punto en la i-ésima imagen y ˆp su posición proyectada según el modelo de cámara con distorsión.
En el caso de un sistema multi-cámara como el empleado en este trabajo, la calibración exige además la estimación de las transformaciones rígidas relativas entre las cámaras (calibración extrínseca estéreo), lo que permite expresar las medidas de profundidad de cada cámara en un único marco de referencia global. Idealmente el marco de referencia del robot manipulador.
4.5.
RECONSTRUCCIÓN TRIDIMENSIONAL Y NUBES DE
PUNTOS
La reconstrucción tridimensional consiste en recuperar la geometría 3D de la escena a partir de una o múltiples imágenes 2D. Dependiendo del sensor y el método empleado, esta reconstrucción puede adoptar distintas representaciones: mapas de profundidad, nubes de puntos, mallas poligonales o campos de distancia implícitos [37].
Mapa de profundidad Un mapa de profundidad D ∈RH×W asigna a cada píxel (u, v) de la imagen su distancia Z al plano focal de la cámara. A partir del mapa de profundidad y los parámetros intrínsecos, cada píxel puede retroproyectarse al espacio 3D: X Y Z = D(u, v) (u −cx)/fx (v −cy)/fy
1
,
(39)
generando así una nube de puntos (point cloud) P = {Pi ∈R3}N i=1.
Fusión de múltiples vistas Cuando se dispone de nubes de puntos provenientes de múltiples cámaras o de múltiples posiciones de una misma cámara, es necesario fusionarlas en un único modelo 3D coherente. El algoritmo Iterative Closest Point (ICP) es la técnica más clásica para registrar nubes de puntos: estima iterativamente la transformación rígida (R∗, t∗) que minimiza la distancia media entre los puntos correspondientes de dos nubes [41]: (R∗, t∗) = arg m´ın R,t
1
|P| X Pi∈P m´ın Qj∈Q ∥RPi + t −Qj∥2 ,
(40)
siendo Q la nube de referencia. Variantes más robustas como el Point-to-Plane ICP o el Generalized ICP utilizan las normales de superficie para mejorar la convergencia y precisión en presencia de ruido [42].
En el sistema de adquisición de este proyecto, la fusión de las tres nubes de puntos RGB-D se realiza directamente en el entorno de simulación Gazebo aprovechando las transformaciones conocidas [Rc | tc] de cada cámara parámetros extrínsecos exactos en
simulación, lo que elimina la necesidad de algoritmos de registro iterativos y garantiza coherencia geométrica perfecta entre las vistas.
4.6.
CÁMARAS RGB-D COMO SENSOR
Las cámaras RGB-D (Red, Green, Blue + Depth) combinan en un único dispositivo la adquisición de imagen de color y la medida directa de la profundidad de la escena, proporcionando una representación enriquecida del entorno que supera las limitaciones de las cámaras monoculares [43]. Existen tres principios físicos principales para la medida de profundidad:
Luz estructurada (structured light): proyectan un patrón infrarrojo conocido (rejilla, puntos, franjas sinusoidales) sobre la escena y observan su deformación. La triangulación entre el proyector y el receptor determina la profundidad. La precisión es elevada en rangos cortos (< 5 m) pero decrece en superficies muy reflectantes o bajo luz solar directa (Microsoft Kinect v1, Intel RealSense D4xx). Tiempo de vuelo (Time-of-Flight, ToF): emiten pulsos de luz infrarroja modulada y miden el retardo de fase entre la señal emitida y la reflejada para calcular la distancia:
Z = c · ∆t
2
,
(41)
donde c es la velocidad de la luz y ∆t es el retardo medido. Son más robustos a las condiciones de iluminación que la luz estructurada (Microsoft Azure Kinect, cámaras ToF de Texas Instruments).
Estéreo activo: combinan un proyector de textura infrarroja con un par estéreo para superar las limitaciones del estéreo pasivo en regiones de baja textura (Intel RealSense D435i).
En Gazebo, el sensor depth_camera implementa un modelo de cámara RGB-D idealizado que genera simultáneamente imágenes de color (image_raw, en formato RGB de 8 bits por canal) y mapas de profundidad (depth/image_raw, en formato de punto flotante de 32 bits, metros). Esta configuración replica el comportamiento de sensores ToF o de estéreo activo bajo condiciones de ruido controladas, siendo adecuada para el entrenamiento de clasificadores que operarán en entornos similares. La retroproyección de la ecuación (39) aplicada a cada cámara del sistema produce tres nubes de puntos parciales que, fusionadas en el espacio de trabajo, generan una representación 3D completa del espacio de trabajo. Esta representación es la que subyace al protocolo de etiquetado automático descrito en la Sección 6: los campos ef_wx/wy/wz_urX del archivo annotations.csv son precisamente las coordenadas 3D de los efectores finales en el marco mundo, obtenidas mediante cinemática directa pero verificables visualmente a través de la nube de puntos fusionada.
4.7.
APRENDIZAJE PROFUNDO EN ROBÓTICA
El aprendizaje profundo ha transformado la visión por computador al aprender representaciones jerárquicas directamente de los datos, superando a los descriptores diseñados manualmente en la mayoría de benchmarks [44]. Para tareas con contenido geométrico explícito como la clasificación del espacio de trabajo de un manipulador la elección de la arquitectura debe considerar no solo la precisión de clasificación, sino también la capacidad de capturar relaciones espaciales y geométricas relevantes. Redes neuronales convolucionales (CNN) Las Redes Neuronales Profundas Convolucionales (CNN, por sus siglas en inglés) constituyen el paradigma dominante para el procesamiento de imágenes en tareas de visión
por computador [44]. Su operación característica es la convolución, una operación matemática que, en su formulación discreta aplicada a datos bidimensionales, permite extraer representaciones espaciales locales mediante el deslizamiento de un banco de filtros aprendibles Wk ∈RF×F×Cin sobre el mapa de activaciones de entrada X ∈RH×W×Cin: Yk[i, j] = Cin X c=1 F−1 X m=0 F−1 X n=0 Wk[m, n, c] · X[i + m −⌊F/2⌋, j + n −⌊F/2⌋, c] + bk,
(42)
donde Yk es el k-ésimo mapa de características de salida y bk el sesgo correspondiente. La naturaleza local y equivariante a traslaciones de esta operación permite a la red detectar patrones visuales (bordes, esquinas, partes de objetos) con independencia de su posición en la imagen, lo que es particularmente ventajoso para detectar configuraciones articulares del robot en distintas posiciones del campo visual. La composición de capas convolucionales con activaciones no lineales (ReLU ) y operaciones de pooling genera una jerarquía de representaciones que va de lo local a lo semántico [44, 45]: Características de bajo nivel: las primeras capas convolucionales actúan como detectores de primitivas visuales, respondiendo a bordes, gradientes de intensidad y contornos, en el contexto del manipulador, los límites geométricos de sus eslabones.
Características de nivel intermedio: las capas centrales combinan las primitivas anteriores para representar estructuras más complejas, como articulaciones, el efector final o el pedestal del robot.
Características de alto nivel: las capas finales del extractor codifican conceptos semánticos globales, tales como la configuración completa del manipulador y la zona de operación en que se encuentra.
Arquitecturas como ResNet [46] y EfficientNet [47] han demostrado que las conexiones residuales permiten entrenar redes muy profundas (hasta cientos de capas) sin el problema de desvanecimiento del gradiente, alcanzando precisiones estado del arte en tareas de clasificación de imágenes con alta eficiencia computacional. Transformers de visión (ViT) Los Vision Transformers (ViT) [48] aplican la arquitectura de atención (self-attention) al dominio de la imagen, tratando una imagen de resolución H × W como una secuencia de parches (patches) de tamaño P × P. Cada parche se proyecta a un vector de dimensión D (el embedding del parche) y la secuencia resultante se procesa mediante bloques de atención multi-cabeza:
Attention(Q, K, V) = softmax QK⊤ √Dk V,
(43)
donde Q, K, V son las matrices de consultas, claves y valores, y Dk es la dimensión de las claves. El mecanismo de atención aprende qué regiones de la imagen son relevantes para la clasificación de manera global sin restricciones locales como en la convolución, lo que puede ser ventajoso para capturar relaciones geométricas a larga distancia por ejemplo, la posición relativa de los dos efectores finales para detectar la zona compartida C3. Aprendizaje por transferencia Dado que la base de datos disponible (4, 840 frames) es de tamaño modesto para entrenar desde cero arquitecturas de decenas de millones de parámetros, el aprendizaje por transferencia (transfer learning) es la estrategia habitual en este tipo de escenarios [49]. Las capas convolucionales de bajo nivel, que aprenden detectores de bordes y texturas
genéricos, se mantienen congeladas o se ajustan con una tasa de aprendizaje muy baja. Las capas finales (incluida la capa de clasificación), que deben adaptarse a las cinco clases operacionales específicas del problema, se entrenan con una tasa de aprendizaje normal.
Fusión multimodal RGB-D Las arquitecturas convencionales procesan imágenes de color de 3 canales. Para aprovechar la información de profundidad de las cámaras RGB-D, existen varias estrategias de fusión:
Fusión temprana (early fusion): concatenar el mapa de profundidad como un cuarto canal de entrada [IRGB | D], modificando la primera capa convolucional para aceptar 4 canales. Simple de implementar pero puede limitar la especialización de la red.
Fusión tardía (late fusion): entrenar dos ramas independientes (una para RGB y otra para el mapa de profundidad), obtener sus representaciones de alto nivel y fusionarlas mediante concatenación o suma antes de la capa de clasificación [50]. Permite que cada rama se especialice en su modalidad.
Fusión a nivel de característica (feature-level fusion): emplear módulos de atención cruzada para que la rama RGB y la rama de profundidad se informen mutuamente en múltiples escalas, obteniéndose representaciones más ricas y coherentes [51].
4.8.
ROBOT OPERATING SYSTEM
La arquitectura de ROS se basa en un sistema distribuido de nodos que se comunican entre sí mediante mensajes. Estos nodos son procesos independientes que realizan tareas específicas, como la lectura de sensores, el control de actuadores o la planificación de movimientos. La comunicación entre nodos se realiza a través de temas (topics), servicios (services) y acciones (actions), lo que permite una alta modularidad y reutilización de código [52]. Además, ROS utiliza un sistema de mensajes estandarizados para intercambiar datos entre nodos, lo que facilita la integración de diferentes componentes de software [10].
Uno de los aspectos más destacados de ROS es su sistema de paquetes (packages), que permite a los desarrolladores organizar y compartir código de manera eficiente. Cada paquete puede contener nodos, bibliotecas, archivos de configuración y documentación, lo que simplifica la distribución y el uso de software en la comunidad robótica [53]. Además, ROS cuenta con herramientas de visualización, como RViz y Gazebo, que permiten simular y depurar aplicaciones robóticas en entornos virtuales antes de implementarlas en robots físicos [54].
ROS ha sido utilizado en una amplia variedad de aplicaciones robóticas, desde robots móviles y drones hasta brazos robóticos y sistemas de manipulación. En el ámbito de la robótica móvil, ROS se ha empleado en la navegación autónoma de robots en entornos dinámicos, utilizando algoritmos de planificación de rutas y evitación de obstáculos [55]. Por ejemplo, el robot PR2, desarrollado por Willow Garage, utiliza ROS para realizar tareas complejas, como la manipulación de objetos y la interacción con humanos [56]. En la robótica aérea, ROS se ha integrado con plataformas de drones para tareas de mapeo, inspección y entrega autónoma. Herramientas como MAVLink y PX4 permiten la comunicación entre ROS y los controladores de vuelo de los drones, lo que facilita
el desarrollo de aplicaciones avanzadas [57]. Además, en la robótica industrial, ROS se ha utilizado para controlar brazos robóticos en tareas de ensamblaje, soldadura y manipulación de materiales [52].
Una de las principales ventajas de ROS es su naturaleza de código abierto, lo que permite acceder, modificar y distribuir el software libremente. Esto ha fomentado una comunidad activa que contribuye con paquetes, tutoriales y documentación, lo que facilita el aprendizaje y la adopción de ROS [53]. Además, su arquitectura modular y distribuida permite reutilizar componentes de software, lo que reduce el tiempo y el costo de desarrollo [10].
Sin embargo, ROS también enfrenta varios desafíos. Uno de los más difíciles es la complejidad de su configuración y uso, especialmente para usuarios principiantes. La curva de aprendizaje puede ser pronunciada, ya que requiere conocimientos en programación, sistemas operativos y robótica [52]. Además, ROS no está diseñado para aplicaciones en tiempo real, lo que limita su uso en sistemas que requieren respuestas rápidas y deterministas [58]. Aunque existen extensiones como ROS 2 que abordan este problema, su adopción aún no es tan amplia como la de ROS 1 [59].
ROS 1 está marcado por la transición hacia ROS 2, una versión mejorada que aborda muchas de las limitaciones de ROS 1. ROS 2 introduce soporte para sistemas en tiempo real, mejoras en la seguridad y la escalabilidad, y una mayor compatibilidad con diferentes sistemas operativos, como Windows y macOS [59]. Estas mejoras están impulsando la adopción de ROS en aplicaciones industriales y comerciales, donde la confiabilidad y el rendimiento son críticos [52].
Además, ROS está siendo integrado con otras tecnologías emergentes, como la inteligencia artificial y la visión por computador, para desarrollar robots más autónomos y capaces. Por ejemplo, la combinación de ROS con frameworks de aprendizaje profundo,
como TensorFlow y PyTorch, permite a los robots aprender de su entorno y mejorar su desempeño en tareas complejas [60]. Asimismo, la integración de ROS con sistemas de realidad aumentada y virtual está abriendo nuevas posibilidades en la interacción humano-robot y la simulación de entornos robóticos [61].
5.
DESARROLLO DE LA PLATAFORMA DE
SIMULACIÓN
El diseño de sistemas de clasificación de zonas de operación para manipuladores industriales exige un entorno experimental que garantice tres condiciones simultáneas: reproducibilidad total de cada configuración articular, seguridad durante la generación de configuraciones peligrosas como singularidades y zonas de interferencia, y disponibilidad de etiquetas analíticas sin ambigüedad. Ninguna de estas condiciones se satisface de forma simultánea en experimentos con hardware físico: las configuraciones próximas a singularidades implican riesgo de daño mecánico, las etiquetas requieren anotación manual costosa y las condiciones iniciales no son completamente reproducibles por la acumulación de error articular.
Por estas razones, la plataforma de experimentación de este trabajo se construyó íntegramente en simulación, empleando ROS 2 Humble Hawksbill como middleware de comunicación y Gazebo Classic 11 [62] como motor de simulación física. La Figura 12 ilustra el pipeline completo del entorno desarrollado.
5.1.
PLATAFORMA DE SIMULACIÓN
La selección de un entorno de simulación como plataforma de desarrollo principal se sustenta en tres argumentos técnicos que se desarrollan a continuación.
5.1.1.
Reproducibilidad y trazabilidad En un entorno de simulación, cada configuración articular q ∈R12 es recuperable de forma determinista a partir del vector almacenado en archivo annotations.csv, sin acumulación de error articular ni variabilidad mecánica. Esto garantiza que cualquier
Figura 12. Pipeline completo de la plataforma de simulación. Todos los componentes se ejecutan sobre ROS 2 Humble y se comunican mediante DDS (Data Distribution Service). Las flechas indican el flujo de datos desde la generación de movimientos hasta el etiquetado analítico y el almacenamiento del dataset.
resultado experimental pueda ser auditado, reproducido y extendido por terceros sin acceso al hardware original, lo que constituye un requisito metodológico en investigación reproducible.
5.1.2.
Generación de configuraciones críticas y etiquetas analíticas Las clases C3 (zona compartida) y C4 (zona límite) corresponden a configuraciones de proximidad inter-robot y de singularidad cinemática cuya generación controlada en hardware físico implica riesgo de colisión entre los brazos o de daño por movimiento en singularidad. En el simulador, estas configuraciones pueden generarse, mantenerse el tiempo necesario para la captura y descartarse sin consecuencia alguna, permitiendo además construir un dataset balanceado en clases que de otro modo estarían sub-representadas en operación normal.
El etiquetado manual de zonas de trabajo a partir de imágenes es inherentemente subjetivo y costoso. En el simulador, la función de etiquetado f : R12 →{C0, . . . , C4} (Sección 6.3) se calcula en cada ciclo de captura a partir del estado interno exacto
del simulador; posiciones y velocidades articulares sin ruido de sensor, produciendo etiquetas correctas por construcción que no requieren revisión humana posterior.
5.2.
SELECCIÓN DE HERRAMIENTAS
Para el desarrollo de la metodología propuesta se seleccionaron herramientas que permitieran integrar de forma coherente la simulación robótica, la adquisición y gestión de datos multimodales, y el entrenamiento de modelos de aprendizaje profundo. La selección estuvo orientada por tres criterios principales: compatibilidad entre componentes, reproducibilidad de los experimentos y disponibilidad como software de código abierto, en consonancia con las prácticas actuales en investigación robótica [18, 15].
5.2.1.
ROS 2 Humble Hawksbill como middleware ROS 2 Humble Hawksbill fue seleccionado como middleware de comunicación por tres razones técnicas concretas. En primer lugar, es la versión de Soporte de Largo Plazo (LTS) vigente al momento del desarrollo, con garantía de mantenimiento. En segundo lugar, su capa de transporte basada en DDS (Data Distribution Service) proporciona comunicación determinista de baja latencia con calidad de servicio configurable, un requisito para la sincronización de los flujos de imagen y estado articular durante la adquisición del dataset. En tercer lugar, el framework ros2_control permite migrar el nodo de inferencia entrenado en simulación al robot físico reemplazando únicamente las interfaces de hardware, sin modificar la lógica de clasificación. Adicionalmente, ROS 2 proporciona herramientas de visualización (RViz2), grabación de datos (rosbag2), introspección del grafo de nodos y una infraestructura de paquetes madura con soporte validado para los modelos URDF/Xacro del UR5.
5.2.2.
Gazebo Classic 11 como simulador físico Gazebo Classic 11 [62] fue seleccionado sobre las versiones más recientes de la familia Ignition/Fortress porque el plugin gazebo_ros2_control para Humble contaba con mayor soporte comunitario y modelos UR5 validados en el momento del desarrollo. El motor físico ODE (Open Dynamics Engine), configurado con un paso de integración de
1 ms, modela la dinámica de cuerpos rígidos de los manipuladores bajo la hipótesis de
cuerpo rígido, suficiente para la tarea de clasificación visual de zonas de operación que no requiere modelado de deformaciones elásticas ni de fuerzas de contacto ricas. Gazebo permite además generar imágenes RGB y mapas de profundidad sintéticos mediante el plugin depth_camera, que implementa un modelo de cámara RGB-D idealizado con parámetros intrínsecos analíticamente derivados del campo de visión configurado (Sección 5.3.2), eliminando la necesidad de calibración experimental.
5.3.
CELDA ROBÓTICA SIMULADA
5.3.1.
Configuración de los manipuladores La celda simulada comprende dos manipuladores Universal Robots UR5, cada uno de 6 grados de libertad, con un alcance máximo de 850 mm y una carga útil de 5 kg. Sus parámetros de Denavit–Hartenberg modificados se tabulan en la Tabla 2, cuyos valores son consistentes con la documentación oficial y con los utilizados en la cinemática directa descrita en la Sección 6.
Los dos robots se montan sobre pedestales a una altura de zb = 1.305 m y se posicionan
Tabla 2. Parámetros de Denavit–Hartenberg modificados del manipulador UR5. Articulación i ai (m) di (m) αi (rad) θi,0 (rad)
1
0.00000
0.089159
π/2
0
2
-0.42500
0.000000
0
0
3
-0.39225
0.000000
0
0
4
0.00000
0.109150
π/2
0
5
0.00000
0.094650
−π/2
0
6
0.00000
0.082300
0
0
de forma simétrica respecto al origen del mundo Gazebo: t1 = (0, +0.9, 1.305)⊤, m, ψ1 = 0,
(44)
t2 = (0, −0.9, 1.305)⊤, m, ψ2 = π,
(45)
donde ψi es el ángulo de guiñada (yaw) del robot i en el marco mundo. Esta disposición simétrica maximiza la superposición de los espacios de trabajo alcanzables de ambos robots, lo que incrementa la frecuencia natural de configuraciones de la clase C3 (zona compartida) durante la fase de adquisición libre.
5.3.2.
Configuración del sistema de cámaras Tres cámaras RGB-D se ubican en los vértices de un triángulo equilátero de radio rc = 2.5 m centrado sobre el área de trabajo, a una altura zc = 3.5 m y orientadas hacia el centroide de la celda c = (0, 0, 1.4)⊤,m. La Tabla 3 detalla las posiciones y orientaciones de cada cámara.
Tabla 3. Posiciones y orientaciones de las cámaras RGB-D en el marco mundo de Gazebo. El ángulo de depresión fijo es ϕc ≈0.698 rad.
Cámara x (m) y (m) z (m) Pitch (rad) Yaw (rad) cam1 +2.500
0.000
3.5
0.6981
π cam2 −1.250 +2.165
3.5
0.6981
5π/3 cam3 −1.250 −2.165
3.5
0.6981
π/3
Esta disposición triangular garantiza cobertura visual simultánea de todos los puntos extremos del espacio de trabajo de ambos robots desde ángulos de azimut separados 120◦, eliminando los conos de oclusión que produciría una única cámara cenital. La resolución configurada es 640×480,px con un campo de visión horizontal de 60◦, lo que produce una matriz de parámetros intrínsecos:
K =
554.383
0
320.5
0
554.383
240.5
0
0
1
,
(46)
derivada analíticamente mediante fx = fy = W/(2 tan(FOVh/2)) ≈554.383,px. El simulador asume distorsión radial nula (D = 0), eliminando la necesidad de calibración experimental. La Figura 13 ilustra la disposición completa de la celda. Figura 13. Celda robótica simulada. (a) Vista superior: los dos manipuladores UR5 (UR1, UR2) se montan simétricamente en y = ±0.9 m; las cámaras RGB-D (puntos vetrdes) forman un triángulo equilátero de radio rc = 2.5 m. (b) Estructura de configuración isométrica. (C). Captura de Gazebo mostrando una configuración de clase C3 (zona compartida) con ambos efectores en la región de interferencia mutua.
5.4.
ARQUITECTURA DE SOFTWARE EN ROS 2
5.4.1.
Grafo de nodos y comunicación El sistema de adquisición se estructura en cuatro nodos ROS 2 que se comunican de forma asíncrona mediante el protocolo DDS. La Figura 14 ilustra el grafo de comunicación y la Tabla 4 describe la función de cada nodo. Tabla 4. Nodos ROS 2 del entorno de simulación y sus responsabilidades. Nodo Tipo Responsabilidad gazebo Simulador Ejecuta la física ODE, publica imágenes RGB-D de las tres cámaras y el estado articular de ambos robots.
dual_random_mover Planificador Genera y envía trayectorias articulares al controlador joint_trajectory_controller siguiendo el protocolo de cuatro fases descrito en la Sección 6.3.
ur5_dataset_generator Colector Suscrito a los seis flujos de imagen y a los dos tópicos /joint_states; sincroniza las observaciones, calcula la etiqueta analítica y escribe el frame a disco a 1 Hz. zone_classifier Inferencia Carga el modelo RGBJointsNet entrenado y publica la zona predicha en tiempo real a 10 Hz durante la fase de evaluación.
5.4.2.
Tópicos y tipos de mensaje La Tabla 5 detalla los tópicos principales del sistema, sus tipos de mensaje ROS 2 y las frecuencias de publicación configuradas. La sincronización temporal entre los seis flujos de imagen y los dos vectores articulares se realiza mediante el mecanismo ApproximateTimeSynchronizer de message_filters, con una ventana de tolerancia
Figura 14. Grafo de comunicación ROS 2 del entorno de simulación. Los rectángulos representan nodos; las flechas indican la dirección de publicación de tópicos. Los tópicos de imagen (/camera_top_N/image_raw) y de estado articular (/urX/joint_states) son los flujos de entrada al nodo colector y, durante la inferencia, al clasificador. de 50 ms, garantizando que cada frame capturado corresponda a una única configuración cinemática consistente.
Tabla 5. Tópicos principales del sistema de simulación ROS 2. Tópico Tipo de mensaje Frecuencia (Hz) /ur1/joint_states sensor_msgs/JointState
125
/ur2/joint_states sensor_msgs/JointState
125
/urX/camera_top_N/image_raw sensor_msgs/Image
30
/urX/camera_top_N/depth/image_raw sensor_msgs/Image
30
/urX/ur5_controller/joint_trajectory trajectory_msgs/JointTrajectory – /zone_classifier/zone std_msgs/String
10
/zone_classifier/probs std_msgs/Float32MultiArray
10
5.4.3.
Controlador de trayectorias articulares El movimiento de cada manipulador se gestiona mediante el controlador de trayectoria deonominado: joint_trajectory_controller del framework ros2_control, configurado con interpolación de trayectorias en espacio articular. Cada trayectoria se define como
un mensaje JointTrajectory con un único punto destino y una duración de 4 s, seguida de una pausa de 1 s para permitir que el robot alcance la configuración objetivo antes de iniciar la captura. Esta duración fue seleccionada empíricamente como el mínimo que garantiza la convergencia al punto destino sin excitación de modos vibratorios del simulador ODE.
5.5.
DEPENDENCIAS DE SOFTWARE
La Tabla 6 lista los paquetes y versiones empleados en la plataforma de simulación. Toda la pila de software es de código abierto y está disponible en los repositorios oficiales de Ubuntu 22.04 (Jammy) y de la distribución ROS 2 Humble, garantizando la reproducibilidad del entorno sin licencias comerciales. Tabla 6. Dependencias de software de la plataforma de simulación. Componente Versión Función Ubuntu
22.04 LTS
Sistema operativo base
ROS 2
Humble (LTS) Middleware de comunicación Gazebo Classic 11.x Motor de simulación física ros2_control Humble Control de trayectorias articulares gazebo_ros2_control Humble Plugin de interfaz ROS 2/Gazebo ur_description 2.x Modelos URDF/Xacro del UR5 image_transport Humble Transmisión eficiente de imágenes message_filters Humble Sincronización temporal de tópicos Python
3.10
Implementación de nodos colector e inferencia OpenCV ≥4.7 Procesamiento de imágenes y reproyección NumPy ≥1.24 Cinemática directa vectorizada
6.
CONSTRUCCIÓN DE BASE DE DATOS
ETIQUETADA
El segundo objetivo específico aborda la construcción de una base de datos etiquetada comprehensiva utilizando ROS/GAZEBO/RViz para el entrenamiento. Esta base de datos constituye el elemento necesario para el desarrollo de modelos de aprendizaje profundo capaces de caracterizar eficazmente las áreas de trabajo del manipulador industrial.
El entrenamiento de un clasificador basado en visión computador requiere un corpus de ejemplos cuyas etiquetas sean correctas por construcción, es decir, derivadas de la física del sistema y no de anotación manual. En este trabajo se diseñó un protocolo de adquisición automática que sincroniza la información visual de tres cámaras RGB- D con el estado cinemático de dos manipuladores UR5, generando una base de datos multimodal etiquetada con cinco clases de zona operacional.
6.1.
DEFINICIÓN DEL SISTEMA DE CLASES
La taxonomía de zonas se sustenta en dos magnitudes cinemáticas calculadas analíticamente a partir de la cinemática directa del robot: el radio cilíndrico del efector final (distancia horizontal al eje de rotación de la base) y el índice de manipulabilidad de Yoshikawa [63].
La posición del efector final p ∈R3 se obtiene a partir del modelo cinemático directo del manipulador, el cual permite relacionar el vector de coordenadas articulares q = [q1, q2, . . . , q6]T con la posición y orientación del extremo operativo del robot. Para ello, se emplea la formulación de Denavit–Hartenberg (DH), en la cual cada eslabón del manipulador se describe mediante una matriz de transformación homogénea que repre-
senta la rotación y traslación relativa entre dos sistemas de coordenadas consecutivos. En este sentido, la transformación total desde la base del robot hasta el efector final se obtiene mediante el producto ordenado de las seis matrices DH asociadas a cada articulación:
T6 0(q) =
6
Y i=1 cθi −sθicαi sθisαi aicθi sθi cθicαi −cθisαi aisθi
0
sαi cαi di
0
0
0
1
,
(47)
donde q = [q1, . . . , q6]⊤es el vector de ángulos articulares, y los parámetros DH del UR5 se tabulan en la tabla 2. El radio cilíndrico del efector en el marco de la base se define como:
r(q) = q p2 x(q) + p2 y(q).
(48)
6.1.1.
Índice de manipulabilidad de Yoshikawa El índice de manipulabilidad mide la capacidad del robot para moverse en cualquier dirección del espacio cartesiano. Para el subespacio de posición se define mediante el Jacobiano de posición Jp ∈R3×6:
w(q) = q det Jp(q), J⊤ p (q)
.
(49)
Cuando w(q) →0 el robot se aproxima a una singularidad cinemática: el efector final pierde uno o más grados de libertad de posición. En la implementación, el Jacobiano se calcula numéricamente mediante diferencias finitas centradas con ε = 10−5 rad. El índice w(q) tiene una interpretación geométrica directa: representa el volumen del
elipsoide de manipulabilidad, cuyos semiejes son las raíces cuadradas de los valores singulares σ1, σ2, σ3 del Jacobiano de posición Jp [63]. Este elipsoide describe el conjunto de velocidades cartesianas alcanzables por el efector final cuando la norma de las velocidades articulares está acotada por la unidad:
E(q) = ˙p ∈R3
˙p = Jp(q) ˙q, ∥˙q∥≤1
.
(50)
El volumen de E(q) es proporcional a w(q) = σ1σ2σ3. Cuando w(q) →0, al menos uno de los valores singulares se aproxima a cero y el elipsoide colapsa a un hiperplano: el robot pierde al menos un grado de libertad de posición, lo que corresponde a una singularidad cinemática.
La elección del umbral w < 8 × 10−4 para la clase C4 se fundamenta en la distribución empírica de este índice sobre el espacio de configuraciones del UR5 registradas durante la fase de adquisición del dataset. Configuraciones con w por debajo de este valor presentan números de condicionamiento del Jacobiano superiores a 103, lo que hace numéricamente inestable la resolución de la cinemática inversa y produce velocidades articulares excesivas ante pequeñas perturbaciones en el espacio cartesiano [28]. En la implementación, el Jacobiano se calcula numéricamente mediante diferencias finitas centradas con ε = 10−5 rad, lo que garantiza suficiente precisión sin incurrir en el costo computacional del Jacobiano analítico completo.
6.1.2.
Transformación al marco El sistema cuenta con dos robots montados sobre pedestales enfrentados. Sus marcos de referencia respecto al mundo Gazebo son:
pw ur1 = pb ur1 + pEF(q1), pb ur1 = [0, +0.9, 1.305]⊤m
(51)
pw ur2 = pb ur2 + Rz(π), pEF(q2), pb ur2 = [0, −0.9, 1.305]⊤m
(52)
donde Rz(π) = diag(−1, −1, 1) refleja la orientación opuesta (yaw = π) del segundo robot. La distancia inter-efector en el marco mundo es:
d12 = ∥pw ur1 −pw ur2∥2 .
(53)
6.1.3.
Taxonomía de clases Con las magnitudes anteriores se definen cinco clases mutuamente excluyentes, aplicadas con la prioridad indicada en la Tabla 7.
La posición home del UR5 (qhome = [0, −π/2, 0, −π/2, 0, 0]⊤) presenta singularidad cinemática de hombro (w = 0) y el codo en su límite articular inferior. Por este motivo C0 tiene prioridad sobre C4: la configuración de reposo es intencional y no constituye una condición operacional peligrosa.
6.2.
INFRAESTRUCTURA DE ADQUISICIÓN
El entorno experimental consiste en una simulación en Gazebo (ROS2 Humble) con los elementos descritos en la Tabla 8.
Las tres cámaras se ubican en los vértices de un triángulo equilátero de radio 2.5 m centrado sobre el área de trabajo, garantizando cobertura visual simultánea de todos los puntos extremos del espacio de trabajo de ambos robots.
Tabla 7. Definición de las cinco clases de zona operacional y criterios de asignación. La prioridad se aplica en orden descendente. Prioridad Clase Criterio Etiqueta
1
Zona Compartida d12 < 0.50,m Ambos efectores en la región de interferencia mutua.
C3
2
Reposo RMS(qi −qhome) < 0.35,rad para i = 1, 2 Ambos robots estacionarios cerca de la posición home.
C0
3
Zona Límite r > 0.82,m ∨w(q) < 8×10−4 ∨ articulación a < 0.10,rad de su límite Configuración en la frontera del espacio de trabajo o cercana a una singularidad cinemática.
C4
4
Operación Extendida m´ax(r1, r2) ≥0.55,m Al menos un robot con alcance ampliado.
C2
5
Operación Nominal m´ax(r1, r2) < 0.55,m Ambos robots en la zona de trabajo habitual.
C1 Tabla 8. Componentes del entorno de simulación. Componente Configuración Tópico ROS,2 UR5 robot 1 (ur1) Base mundo (0, +0.9, 1.305),m /ur1/joint_states UR5 robot 2 (ur2) Base mundo (0, −0.9, 1.305),m, yaw = π /ur2/joint_states Cámara 1 (+2.5, 0.0, 3.5),m, FOV 60◦ /ur2/camera_top_1/{image_raw, depth/image_raw} Cámara 2 (−1.25, +2.165, 3.5),m, FOV 60◦ /ur2/camera_top_2/{image_raw, depth/image_raw} Cámara 3 (−1.25, −2.165, 3.5),m, FOV 60◦ /ur2/camera_top_3/{image_raw, depth/image_raw} La Figura 15 presenta ejemplos visuales representativos de las cinco clases operacionales definidas en la taxonomía propuesta, permitiendo identificar de manera cualitativa las diferencias geométricas y cinemáticas entre cada condición. La clase C0 (Reposo) corresponde a configuraciones en las que ambos robots permanecen próximos a su posición de referencia (home), con desplazamientos mínimos en el espacio de trabajo. Como se observa en la figura, los efectores finales se ubican en
regiones centrales y presentan baja variabilidad espacial. La clase C1 (Operación nominal) describe el comportamiento típico de trabajo dentro del espacio operativo estándar. En la Figura 15 se aprecia que los robots se encuentran en posiciones intermedias, alejadas de los límites del espacio de trabajo y sin interferencia entre sí.
La clase C2 (Operación extendida) se caracteriza por la presencia de al menos un robot operando cerca del límite de su alcance radial. Visualmente, esto se traduce en configuraciones donde uno de los efectores se ubica hacia la periferia del espacio de trabajo, como puede observarse en la figura.
La clase C3 (Zona compartida) corresponde a configuraciones en las que ambos robots interactúan en una región común del espacio, generando proximidad entre sus efectores finales. En la Figura 15 se evidencia esta condición mediante la cercanía espacial de ambos manipuladores, lo que implica posibles zonas de interferencia. La clase C4 (Zona límite) agrupa configuraciones cercanas a los límites del espacio de trabajo o a condiciones de singularidad cinemática. Como se observa en la figura 15, estas configuraciones suelen presentar extensiones máximas o posturas que reducen la capacidad de movimiento del manipulador.
6.2.1.
Protocolo de generación de movimientos Para asegurar representatividad estadística de las cinco clases, el nodo de movimiento aleatorio (ur5_random_motion) opera en tres fases secuenciales:
1. Barrido de cobertura general: recorre los ocho sectores de orientación, po-
sición alta, baja y variaciones de muñeca para poblar principalmente C0, C1 y C2.
C0
REPOSO
C1
NOMINAL
C2
EXTENDIDA
C3
COMPARTIDA
C4
LÍMITE
Figura 15. Ejemplos visuales representativos de las cinco clases operacionales del dataset.
2. Barrido de zona límite: poses específicas en la frontera exterior del espacio
de trabajo (r ≈0.89 m, 8 orientaciones), límites articulares de hombro, codo y muñeca, y configuraciones de baja manipulabilidad.
3. Barrido de zona compartida: ambos robots se dirigen simultáneamente hacia
el centro inter-pedestal con θ1 ≈75◦, verificando d12 < 0.50,m mediante cinemática directa antes del envío de la trayectoria.
Los movimientos se transmiten al controlador joint_trajectory_controller mediante el tópico /urX/ur5_controller/joint_trajectory, con una duración de 4s por trayectoria y 1,s de pausa entre movimientos.
6.2.2.
Protocolo de captura y etiquetado El nodo colector (ur5_data_collector) opera a 1 Hz y, en cada ciclo:
1. Verifica que los seis flujos (3 RGB + 3 profundidad) y ambos vectores articulares
tengan una antigüedad máxima de 2s.
2. Calcula la clase según la Tabla 7.
3. Guarda las imágenes en la carpeta de la clase correspondiente.
4. Registra la fila de metadatos en annotations.csv.
Cada frame produce 6 archivos: tres imágenes RGB y tres mapas de profundidad (PNG
16 bits). El archivo annotations.csv almacena, por frame, los campos detallados en
la Tabla 9.
Tabla 9. Campos del archivo de anotaciones annotations.csv. Campo Descripción frame_id Índice secuencial del frame (6 dígitos). timestamp Marca temporal ISO,8601 con resolución de ms. class Etiqueta de clase (C0–C4).
r_ur1, r_ur2 Radio cilíndrico del EF de cada robot (m). w_ur1, w_ur2 Índice de manipulabilidad de Yoshikawa. dist_ef_world Distancia inter-efector en marco mundo (m). ef_wx/wy/wz_urX Posición del EF en marco mundo (m). j1..j6_urX Ángulos articulares de cada robot (rad).
6.3.
Estadísticas del Dataset Tras la campaña de adquisición se obtuvieron 4840 frames distribuidos según la Tabla 10. La distribución es razonablemente balanceada entre las clases operacionales activas (C1–C4), condición deseable para el entrenamiento de clasificadores con redes convolucionales.
Tabla 10. Distribución de frames por clase en la base de datos. Class Name Frames
%
RGB Images Depth Images C0 Rest
157
0.3
471
471
C1 Nominal
12 571
23.1
37 713
37 713
C2 Extended
15 249
28.1
45 747
45 747
C3 Shared
11 718
21.6
35 154
35 154
C4 Limit
14 614
26.9
43 842
43 842
Total
54 309
100
162 927
162 927
La clase C0 (Reposo) está deliberadamente sub-representada: el protocolo de movimiento minimiza el tiempo en posición home para maximizar la diversidad cinemática. En el entrenamiento se compensará mediante técnicas de aumento de datos o ponderación de pérdida por clase.
La estructura de directorios resultante sigue la convención ImageNet-style, compatible de forma directa con los data loaders de PyTorch y TensorFlow: dataset_v2/
|-- C0_REPOSO/
(157 frames x 6 archivos)
|-- C1_NOMINAL/
(1114 frames x 6 archivos)
|-- C2_EXTENDIDA/
(1197 frames x 6 archivos)
|-- C3_COMPARTIDA/
(1076 frames x 6 archivos)
|-- C4_LIMITE/
(1296 frames x 6 archivos) |-- annotations.csv \-- dataset_info.json
7.
DISEÑO, ENTRENAMIENTO Y EVALUACIÓN
DEL CLASIFICADOR MULTIMODAL
El tercer objetivo específico de este trabajo consiste en diseñar, entrenar y evaluar un modelo de aprendizaje profundo que, utilizando la base de datos construida en la sección anterior, clasifique automáticamente las zonas de operación de la celda dual-UR5. Este capítulo describe el pipeline completo: preprocesamiento de datos, arquitectura del clasificador, protocolo de entrenamiento y análisis cuantitativo de los resultados obtenidos.
La formulación del problema de clasificación es la siguiente. Dado un par de observaciones simultáneas (I, ˜q), donde I = {I1, I2, I3} ⊂R224×224×3 es el conjunto de imágenes RGB de las tres cámaras calibradas y ˜q ∈[−1, 1]12 es el vector de ángulos articulares normalizado de ambos robots, se busca una función fθ : (I, , ˜q) −→ˆy ∈{C0, C1, C2, C3, C4}
(54)
parametrizada por los pesos θ de una red neuronal profunda, tal que ˆy coincida con la etiqueta analítica y asignada según la taxonomía de la Tabla 7 con la mayor frecuencia posible sobre el conjunto de prueba retenido.
7.1.
PREPROCESAMIENTO Y AUMENTO DE DATOS
7.1.1.
Preprocesamiento de imágenes RGB Todas las imágenes son redimensionadas a la resolución canónica 224 × 224,px, correspondiente a la resolución de entrada de los modelos preentrenados en ImageNet. Durante el entrenamiento, las imágenes se amplían primero a 256 × 256,px y poste-
riormente se recortan de forma aleatoria a 224 × 224,px; durante la validación y la inferencia se aplica redimensionamiento directo sin recorte aleatorio, lo que garantiza reproducibilidad en la evaluación.
La normalización de la intensidad de los píxeles se realiza mediante las estadísticas del canal RGB de ImageNet:
ˆxc = xc −µc σc
,
c ∈{R, G, B},
(55)
con µ = (0.485, 0.456, 0.406) y σ = (0.229, 0.224, 0.225). Esta normalización es obligatoria para garantizar la compatibilidad con los pesos preentrenados de EfficientNet-B2 y ha demostrado acelerar la convergencia durante el ajuste fino al reducir el desplazamiento interno de covarianza entre el dominio fuente (ImageNet) y el dominio objetivo (imágenes del simulador).
7.1.2.
Aumento de datos Se aplica un conjunto de transformaciones geométricas y fotométricas exclusivamente durante el entrenamiento, con el fin de reducir el sobreajuste e incrementar la variabilidad de las muestras vistas por la red sin necesidad de recolectar datos adicionales. La Tabla 11 detalla el pipeline de aumento utilizado.
Las transformaciones geométricas (recorte, volteo, rotación) se aplican de forma sincronizada a las tres imágenes de cámara correspondientes al mismo frame_id, de modo que se preserve la consistencia espacial entre las vistas. Las transformaciones fotométricas (jitter de color) se aplican de forma independiente por cámara, dado que en una celda real las condiciones de iluminación pueden variar de forma diferente para cada punto de vista.
Tabla 11. Pipeline de aumento de datos aplicado al conjunto de entrenamiento. Transformación Parámetros Justificación Recorte aleatorio
224 × 224 desde
256 × 256
Invarianza a pequeñas traslaciones de la cámara.
Volteo horizontal p = 0.5 Explota la simetría izquierda–derecha de la celda robótica.
Rotación aleatoria θ ∈[−15◦, 15◦] Introduce variabilidad en la perspectiva de las cámaras aéreas. Jitter de color ±30 % brillo/contraste, ±20 % saturación, ±5 % matiz Mejora la robustez frente a cambios de iluminación en la escena simulada.
7.1.3.
Normalización del vector articular Los ángulos articulares qi ∈[−2π, 2π],rad se normalizan al intervalo [−1, 1] mediante la transformación lineal:
˜qi = qi π ,
(56)
que preserva la interpretación física; el ángulo nulo se mapea a cero y la rotación completa a ±2, y mantiene los valores en un rango conmensurable con las activaciones de punto flotante de las capas densas de la red, evitando problemas de escala durante la retropropagación.
7.2.
ARQUITECTURA DEL CLASIFICADOR: RGBJointsNet
7.2.1.
Justificación de la fusión tardía Las dos fuentes de información disponibles; imágenes RGB y vector de ángulos articulares, presentan propiedades estadísticas fundamentalmente distintas: las imágenes son tensores de alta dimensión (224 × 224 × 3) con estructura espacial local y correlacio-
nes de largo alcance, mientras que el vector articular es un vector numérico de baja dimensión (R12) sin estructura espacial. Esta heterogeneidad hace que la fusión temprana (early fusion) sea subóptima, pues obliga a una misma arquitectura a aprender simultáneamente de modalidades con estadísticas incompatibles. En cambio, las arquitecturas de fusión tardía (late fusion) permiten que cada flujo de modalidad aprenda una representación especializada antes de integrarlas en un espacio latente compartido. Esta estrategia es especialmente adecuada cuando los flujos son complementarios por diseño: el flujo visual aporta contexto global de la escena (pose aparente del robot, oclusiones entre brazos, proximidad visual), mientras que el flujo cinemático aporta medidas precisas e invariantes al punto de vista del estado del sistema (distancia inter-efector, manipulabilidad, márgenes articulares). La Figura 16 ilustra la arquitectura propuesta.
Figura 16. Arquitectura RGBJointsNet. El flujo visual (azul) extrae fvis ∈R1408 mediante EfficientNet-B2 seguido de Global Average Pooling (GAP). El flujo cinemático (verde) mapea ˜q ∈[−1, 1]12 a fkin ∈R64 a través de un MLP de dos capas. El vector concatenado (naranja) es clasificado por un cabezal de capas densas (rojo). BN: Normalización por Lotes; FC: capa totalmente conectada.
7.2.2.
Flujo visual: backbone EfficientNet-B2 El extractor de características visuales es EfficientNet-B2, una arquitectura convolucional que escala de forma compuesta la profundidad, el ancho y la resolución de la red mediante un coeficiente de escala único, logrando mayor exactitud que ResNet-
50 con menos parámetros. Sus propiedades más relevantes para este problema son las
siguientes.
1. Parámetros: 9.1 M, adecuado para el tamaño del dataset (≈163 k imágenes),
ya que redes más grandes inducirían sobreajuste sin la capacidad de cómputo que requiere su ajuste fino completo.
2. Bloques MBConv: emplean convoluciones separables en profundidad con me-
canismos de Compresión y Excitación (Squeeze-and-Excitation), que recalibran adaptativamente los mapas de características por canal, modelando relaciones espaciales a múltiples escalas.
3. Salida del backbone: un mapa de características 7 × 7 × 1408, colapsado me-
diante Global Average Pooling (GAP) a un vector fvis ∈R1408: fvis =
1
HW H X h=1 W X w=1 Fh,w ∈R1408, H = W = 7.
(57)
El backbone se inicializa con pesos preentrenados en ImageNet-1K y se mantiene congelado durante el entrenamiento, lo que permite la estrategia de caché de características descrita en la Sección 7.3.1 y que hace el entrenamiento practicable sin GPU.
7.2.3.
Flujo cinemático: MLP de ángulos articulares El vector articular normalizado ˜q ∈[−1, 1]12 es procesado por un perceptrón multicapa (MLP) de dos capas con Normalización por Lotes:
fkin = σ W2, BN σ(W1, ˜q + b1) + b2 ∈R64,
(58)
donde W1 ∈R64×12, W2 ∈R64×64, σ denota la activación ReLU y BN denota Normalización por Lotes. La dimensión latente dkin = 64 resulta de un balance entre capacidad representacional y riesgo de sobreajuste: dado que el flujo cinemático opera sobre apenas 12 valores de entrada, una cabeza más ancha introduciría parámetros redundantes sin beneficio observable en el rendimiento de clasificación.
7.2.4.
Cabezal de fusión y clasificación Los vectores de los dos flujos se concatenan formando un vector de 1408 + 64 = 1472 dimensiones, combinando la información visual de alto nivel con la representación cinemática de la configuración del manipulador. Este vector concatenado [fvis; fkin] se procesa mediante un cabezal de clasificación de dos capas completamente conectadas con regularización.
La primera capa realiza la fusión no-lineal mediante una transformación lineal seguida de normalización por lotes, activación ReLU y regularización por dropout: z = Dropout0.4 σ BN(Wf, [fvis; , fkin] + bf) ∈R256,
(59)
ˆy = softmax(Wc, z + bc) ∈R5.
(60)
La activación softmax produce una distribución de probabilidad sobre las cinco clases, de la cual se extrae la predicción como ˆy = arg m´axc, ˆyc. El resumen completo de parámetros del modelo se presenta en la Tabla 12.
Tabla 12. Resumen de parámetros de RGBJointsNet.
Módulo Capa Salida Parámetros Flujo visual EfficientNet-B2 (backbone)
7 × 7 × 1408
9100000
GAP
1 × 1 × 1408
0
Flatten 1408-d
0
Flujo cinemático FC(12→64)–BN–ReLU 64-d
896
FC(64→64)–BN–ReLU 64-d
4224
Cabezal de fusión FC(1472→256)–BN–ReLU–Drop 256-d
377088
FC(256→5) 5-d
1285
Total
9483493
7.3.
PROTOCOLO DE ENTRENAMIENTO
7.3.1.
Estrategia de caché de características El entrenamiento completo de RGBJointsNet sobre las 114,048 imágenes del conjunto de entrenamiento con el backbone activo resulta inviable en términos de tiempo en CPU (≈165 min por época). Para superar esta limitación sin recurrir a GPU, se adopta una estrategia de caché de características (feature caching) que consta de tres fases:
1. Extracción offline: el backbone EfficientNet-B2 congelado se aplica una única
vez a la totalidad de imágenes de entrenamiento, validación y prueba. Este proceso tiene un costo fijo de cómputo y se realiza antes de comenzar el ciclo de épocas.
2. Almacenamiento en disco: el tensor de características resultante Fcache ∈
RN×1408 (con N = 162927 imágenes, tamaño en disco ≈916 MB) se guarda en formato binario numpy (.npy).
3. Entrenamiento ligero: las épocas de entrenamiento cargan directamente las
características precalculadas, eludiendo por completo la pila convolucional. El cómputo por época se reduce así al pase hacia adelante del flujo cinemático y el cabezal de fusión (383 K parámetros entrenables), llevando el tiempo de época de ≈165 min a pocos segundos en CPU.
La contrapartida implícita de esta estrategia es que los pesos del backbone no se actualizan, lo que equivale a emplear EfficientNet-B2 exclusivamente como extractor de características fijas. Las implicaciones de esta decisión se analizan en la Sección 7.6.3.
7.3.2.
Función de pérdida con pesos de clase Dado el fuerte desbalance de la clase C0 (0.3, % del conjunto de entrenamiento), se emplea entropía cruzada categórica con pesos inversos a la frecuencia de clase: L = −1 N N X i=1 wyi log ˆyi,yi, wc = N C · Nc
,
(61)
donde N es el tamaño del mini-lote, C = 5 es el número de clases y Nc es el número de muestras de entrenamiento de la clase c. Para C0 se obtiene wC0 ≈166.7, lo que efectivamente sobrepondera los ejemplos de reposo durante la optimización, compensando su extrema escasez sin necesidad de técnicas adicionales como SMOTE.
7.3.3.
Optimizador y programación de la tasa de aprendizaje Se utiliza el optimizador AdamW, que desacopla el cálculo de la tasa de aprendizaje adaptativa del término de regularización L2, evitando la interacción indeseable entre ambos que ocurre en Adam estándar. La tasa de aprendizaje sigue un esquema de cosine
annealing:
ηt = ηm´ın + 1 2(η0 −ηm´ın)
1 + cos πt
Tm´ax
,
(62)
con η0 = 10−3, ηm´ın = 10−6 y Tm´ax = 50 épocas. Este esquema evita las oscilaciones propias de una tasa de aprendizaje constante, reduce gradualmente el ritmo de actualización de pesos a medida que el modelo converge y favorece la convergencia a mínimos planos del espacio de pérdida, que empíricamente se asocian a mejor generalización.
7.3.4.
Regularización Se aplican tres técnicas de regularización de forma simultánea y complementaria:
1. Dropout (p = 0.4) en el cabezal de fusión, para reducir la co-adaptación de las
neuronas e incrementar la robustez de la representación aprendida.
2. Decaimiento de pesos AdamW (λ = 10−4), que penaliza la norma L2 de los
parámetros entrenables de forma desacoplada del momento adaptativo, generalizando la penalización de Ridge al contexto del gradiente adaptativo.
3. Recorte de gradientes con norma máxima 1.0, para prevenir la explosión del
gradiente que puede ocurrir en redes con capas de normalización cuando el tamaño del mini-lote es reducido respecto al número de clases.
7.3.5.
Parada temprana y selección de modelo La exactitud de validación se monitorea al final de cada época. El entrenamiento se detiene si no hay mejora durante 10 épocas consecutivas (patience = 10); el punto de control (checkpoint) con la mayor exactitud de validación es el que se restaura y se emplea en la evaluación final sobre el conjunto de prueba. El resumen completo de hiperparámetros se presenta en la Tabla 13.
Tabla 13. Hiperparámetros del protocolo de entrenamiento de RGBJointsNet. Parámetro Descripción Valor epochs Épocas máximas de entrenamiento
50
batch Tamaño del mini-lote
256
lr Tasa de aprendizaje inicial 10−3 lr_min Tasa de aprendizaje mínima (coseno) 10−6 weight_decay Factor de decaimiento de pesos AdamW 10−4 dropout Tasa de dropout en el cabezal de fusión
0.4
grad_clip Norma máxima de recorte de gradiente
1.0
patience Épocas de tolerancia (parada temprana)
10
img_size Resolución de entrada de imagen
224 × 224,px
joints_dim Dimensión de salida del MLP cinemático
64
seed Semilla aleatoria para reproducibilidad
42
7.4.
MÉTRICAS DE EVALUACIÓN
El rendimiento del modelo se evalúa sobre el conjunto de prueba retenido mediante cuatro métricas complementarias, calculadas sobre las predicciones de las Ntest = 24, 438 imágenes del conjunto de prueba. Exactitud global.
Acc = P4 c=0 VPc Ntest
,
(63)
donde VPc son los verdaderos positivos de la clase c. Precisión, exhaustividad y F1 por clase. Pc = VPc VPc + FPc
,
Rc = VPc VPc + FNc
,
F1c = 2, Pc, Rc Pc + Rc
,
(64)
donde FPc y FNc son los falsos positivos y falsos negativos de la clase c, respectivamente. F1 macro.
F1macro = 1
5
4
X c=0 F1c.
(65)
Esta métrica pondera igualmente todas las clases con independencia de su frecuencia, lo que la convierte en una medida más exigente que el F1 ponderado bajo desbalance. Matriz de confusión.
La matriz M ∈Z5×5, donde Mij es el número de muestras de la clase i predichas como clase j, permite identificar patrones sistemáticos de confusión entre clases. Para el contexto de seguridad de este trabajo, la métrica de mayor relevancia es la exhaustividad RC3 de la zona compartida: un valor cercano a 1 garantiza que los eventos de riesgo de colisión son detectados casi sin excepción. Los falsos negativos en C3; configuraciones de riesgo clasificadas como C1 o C2; representan el error de mayor consecuencia operacional.
7.5.
RESULTADOS EXPERIMENTALES
7.5.1.
Convergencia del entrenamiento La Figura 17 muestra la evolución de la pérdida de entropía cruzada ponderada y la exactitud global en los conjuntos de entrenamiento y validación a lo largo de las
50 épocas. Ambas curvas convergen de forma suave sin oscilaciones, comportamiento
consistente con el esquema de cosine annealing (Ecuación (62)). La pérdida de entrenamiento disminuye monótonamente desde ≈0.50 hasta ≈0.10, mientras que la pérdida de validación se estabiliza en ≈0.35 tras la época 20. Esta brecha moderada indica un leve sobreajuste, controlado de forma efectiva mediante las
técnicas de regularización descritas en la Sección 7.3. La exactitud de validación alcanza una meseta en torno a 0.87 y no mejora durante 10 épocas consecutivas tras la época 46, activando la parada temprana y restaurando el punto de control con 87.03, % de exactitud de validación. El tiempo de entrenamiento total hasta la parada temprana fue de aproximadamente 4 minutos en la estación de trabajo de referencia (Intel Core i7, 8 núcleos, 16,GB RAM, sin GPU).
Figura 17. Pérdida de entropía cruzada ponderada (izquierda) y exactitud global (derecha) en los conjuntos de entrenamiento y validación a lo largo de 50 épocas. La parada temprana se activa en la época 46 con una exactitud de validación del 87.03 %.
7.5.2.
Rendimiento en el conjunto de prueba La Tabla 14 reporta la precisión, exhaustividad y puntuación F1 por clase sobre el conjunto de prueba retenido (8,146 frames, 24,438 imágenes). El modelo alcanza 87.1, % de exactitud global y un F1 macro de 90.0, %, confirmando los resultados obtenidos en validación (87.03, %). La pequeña brecha entre ambos conjuntos (< 0.1 pp) demuestra que la partición estratificada a nivel de frame_id (Sección 6.3) previene eficazmente la fuga de datos (data leakage) entre subconjuntos.
Tabla 14. Rendimiento por clase y global en el conjunto de prueba (Ntest = 24, 438 imágenes). P: precisión; R: exhaustividad; F1: puntuación F1. Clase Nombre P ( %) R ( %) F1 ( %) C0 Reposo
100.0
100.0
100.0
C1 Nominal
86.1
87.4
86.7
C2 Extendida
86.1
84.6
85.3
C3 Compartida
96.9
99.3
98.1
C4 Límite
80.7
79.5
80.1
Promedio macro
90.0
90.2
90.0
Exactitud global
87.1, %
7.5.3.
Análisis de la matriz de confusión La Figura 18 presenta la matriz de confusión absoluta sobre el conjunto de prueba. De su análisis se extraen las observaciones que se detallan a continuación. Figura 18. Matriz de confusión absoluta sobre el conjunto de prueba. Filas: clases verdaderas; columnas: clases predichas. Las confusiones fuera de la diagonal dominantes se concentran entre C4 y {C1, , C2}, que comparten una frontera cinemática continua.
C0 (Reposo): clasificación perfecta (F1 = 100, %). Los 69 ejemplos del estado de reposo en el conjunto de prueba se identifican correctamente sin ninguna confusión. La combinación de una apariencia visual característica, ambos robots en la postura vertical de referencia y un RMS articular bajo respecto a qhome constituye una señal sin ambigüedad que el modelo explota de forma redundante en ambos flujos. La ponderación wC0 ≈166.7 garantiza que estos ejemplos escasos tengan un efecto proporcional durante la optimización.
C3 (Compartida): exhaustividad casi perfecta (R = 99.3, %). La zona compartida alcanza el segundo F1 más alto del modelo (98.1, %), con apenas 37 frames mal clasificados de los 5,334 del conjunto de prueba. Este resultado es el más relevante desde el punto de vista de la seguridad operacional: una exhaustividad alta minimiza los falsos negativos, es decir, los eventos de riesgo de colisión que el sistema no detecta. El flujo cinemático contribuye de forma decisiva a este resultado, dado que la distancia inter-efector d12 (Ecuación (53)) codifica de forma directa el criterio C3 y es invariante a cambios de iluminación y ángulo de cámara.
La Figura 19 ilustra de forma cualitativa por qué la clase C3 resulta distinguible de forma casi perfecta. El esqueleto cinemático reproyectado sobre las tres vistas de cámara muestra los dos efectores finales en la región de interferencia mutua, con una distancia inter-efector d12 = 0.37 m en el marco mundo, satisfaciendo el criterio d12 < 0.50 m de la taxonomía. Esta configuración produce una señal inequívoca tanto en el flujo cinemático, el valor escalar d12 supera el umbral con margen amplio; como en el flujo visual, donde la proximidad de los eslabones distales de ambos robots es perceptible desde los tres ángulos de azimut. La coherencia entre ambas modalidades explica la exhaustividad de 99.3 % obtenida para esta clase.
La figura 19 Representa la reproyección del esqueleto cinemático de una configuración de clase C3 (zona compartida) sobre las tres vistas de cámara: (a) cam1, (b) cam2,
Figura 19. Reproyección del esqueleto cinemático.
(c) cam3. Los círculos rellenos indican los orígenes de los marcos DH y los segmentos unen eslabones consecutivos. Los efectores finales de ambos robots se encuentran a d12 = 0.37 m en el marco mundo, produciendo la señal de zona compartida que el clasificador detecta con exhaustividad del 99.3 %. C4 (Límite): principal fuente de errores (F1 = 80.1, %). La clase límite es la más desafiante: 608 frames se clasifican erróneamente como C1 y 668 como C2. De forma simétrica, 450 frames de C1 y 792 de C2 se predicen como C4. Esta confusión bidireccional surge de la naturaleza continua de la frontera cinemática: configuraciones marginalmente dentro y fuera de los umbrales r = 0.82,m, del margen articular de 0.10rad o del índice de manipulabilidad w < 8×10−4 presentan apariencias casi idénticas tanto en la imagen como en el vector articular. Frontera C1/C2 (F1 ≈86 %). El umbral r = 0.55,m que separa la operación nominal de la extendida genera 256 confusiones C1 →C2 y 184 errores C2 →C1. A diferencia de C3 y C4, esta frontera tiene menor relevancia para la seguridad, pues ambas clases representan estados operacionales válidos que no implican riesgo inminente.
7.5.4.
Ejemplos cualitativos de inferencia La Figura 20 presenta ejemplos representativos de inferencia sobre el conjunto de prueba para las clases de mayor interés operacional.
Ejemplo de inferencia C1 (Nominal) – confianza 96.1 %.
Figura 20. Ejemplo cualitativo de inferencia sobre el conjunto de prueba. Cada panel muestra la vista RGB de las tres cámaras junto con el diagrama de barras de probabilidades por clase. El modelo genera predicciones correctas y de alta confianza para configuraciones operacionales típicas, con la masa de probabilidad residual distribuida sobre las clases cinemáticamente adyacentes.
En el ejemplo de C1 (Nominal), el modelo predice correctamente la zona de operación estándar con una confianza del 96.1, %. El 3.9, % restante se distribuye entre C2 (3.2 %) y C4 (0.7 %), correspondiendo con las fronteras cinemáticas inmediatamente adyacentes a la configuración observada, lo que indica un comportamiento probabilístico coherente con la geometría del espacio de clases.
7.6.
DISCUSIÓN
7.6.1.
Contribución del flujo cinemático Las clases de mayor criticidad para la seguridad, C0 y C3, alcanzan rendimientos casi perfectos (F1 > 98, %) porque sus criterios de asignación están codificados de forma compacta y directa en el vector articular: el RMS respecto a qhome para C0 y la distancia inter-efector d12 para C3. Estas señales son invariantes a cambios de iluminación,
ángulo de vista y condiciones fotométricas, y no requieren procesamiento píxel a píxel. Por su parte, el flujo visual complementa al cinemático en clases cuyas fronteras no son directamente observables en el espacio articular; principalmente C4, donde la postura completa del brazo visible en la imagen aporta información contextual sobre la proximidad a los límites articulares y las singularidades cinemáticas. Este resultado valida cuantitativamente la hipótesis central de la arquitectura de fusión tardía: la información kinestésica y la visual son complementarias por construcción, y su integración produce un clasificador que supera lo que cualquiera de las dos modalidades puede lograr de forma aislada.
7.6.2.
Efecto del desbalance de clases La ponderación por frecuencia inversa (Ecuación (61)) demostró ser efectiva para C0 (0.3, % del conjunto de entrenamiento), que alcanzó exhaustividad perfecta a pesar de la extrema escasez de ejemplos de reposo. Para C4, cuyo desbalance es moderado (26.9, %), el bajo rendimiento relativo no se atribuye a representación estadística insuficiente sino a la naturaleza estructuralmente continua de su frontera cinemática: configuraciones a ambos lados de los umbrales de clase son cinemáticamente casi indistinguibles. Este análisis sugiere que el error en C4 es un problema de definición de clase (frontera suave) más que un problema de aprendizaje estadístico.
7.6.3.
Entrenamiento sin GPU mediante caché de características La estrategia de caché redujo el tiempo por época de ≈165,min a pocos segundos, haciendo viable la sintonización iterativa de hiperparámetros sobre una estación de trabajo estándar sin necesidad de infraestructura de cómputo especializada. La contrapartida congelar los pesos del backbone, es aceptable en este escenario porque el simulador ge-
nera imágenes fotorrealistas de robots industriales blancos sobre un suelo uniforme, un dominio que activa los detectores de bordes y formas aprendidos en ImageNet con alta fidelidad. El ajuste fino de extremo a extremo (end-to-end fine-tuning), que permitiría al backbone adaptarse a la paleta de colores específica y la geometría de las cámaras simuladas, podría mejorar el rendimiento en C4 y en la frontera C1/C2; esta extensión se propone como trabajo futuro.
7.6.4.
Capacidad de operación en tiempo real En tiempo de inferencia, el pase hacia adelante de EfficientNet-B2 sobre una imagen
224 × 224 toma ≈85,ms en un núcleo de CPU; el MLP cinemático y el cabezal de
fusión añaden < 1,ms. Con las tres cámaras procesadas en paralelo distribuidas sobre los ocho núcleos disponibles, el sistema alcanza una latencia de clasificación de 10Hz. Esta frecuencia es suficiente para respuestas supervisoras de reducción de velocidad según los tiempos de reacción especificados en ISO 10218-2 para el modo de monitoreo de velocidad y separación, que exige tiempos de respuesta del orden de los 100 ms. El nodo de inferencia ROS 2 (zone_classifier) publica la clase estimada, su identificador numérico, la confianza y el vector completo de probabilidades en los tópicos /zone_classifier/{zone„zone_id,confidence,probs} a 10Hz, suscribiéndose a /ur1/joint_states y /ur2/joint_states. La migración al hardware físico requiere únicamente sustituir los tópicos simulados por los controladores de interfaz de hardware de ROS 2, sin modificar ninguna línea de código del nodo de inferencia.
7.6.5.
Transferibilidad simulación–realidad La brecha dominio-simulación (sim-to-real gap) es el principal desafío para el despliegue en una celda física. Para el flujo cinemático esta brecha es nula: las lecturas de
los encoders articulares del robot físico son idénticas en naturaleza a las producidas por el simulador, pues ambas son simplemente el vector q ∈R12. Para el flujo visual, la diferencia entre la apariencia de la escena simulada y la real (texturas, iluminación, reflexiones) puede degradar la generalización. Estrategias establecidas como la aleatorización de dominio (domain randomisation) variación estocástica de condiciones de iluminación, texturas del robot y desorden de fondo durante la generación del dataset o el ajuste fino sobre un conjunto pequeño de imágenes reales son los enfoques de mitigación más adecuados para este problema
7.7.
IMPLEMENTACIÓN
El sistema completo se implementó en Python 3.10 sobre PyTorch 2.1 con TorchVision 0.16. La extracción de características emplea el formato de memoria channels_last, que produce un factor de aceleración de ≈1.6× en capas convolucionales sobre CPU. Las particiones estratificadas y el cálculo de métricas utilizan scikit-learn 1.4. La Tabla 15 lista las dependencias de software del sistema.
Tabla 15. Dependencias de software del sistema de clasificación. Biblioteca Versión Función PyTorch ≥2.0 Marco de aprendizaje profundo TorchVision ≥0.15 Pesos preentrenados EfficientNet-B2 scikit-learn ≥1.2 Partición estratificada y métricas pandas ≥2.0 Gestión del archivo annotations.csv Pillow ≥9.0 Carga y transformaciones de imágenes NumPy ≥1.24 Cinemática directa vectorizada OpenCV ≥4.7 Reproyección del esqueleto cinemático rclpy Humble Biblioteca cliente Python de ROS 2
8.
CONCLUSIONES
Este trabajo presentó una metodología completa para la caracterización, detección y clasificación automática de zonas de operación en una celda colaborativa de manipuladores seriales industriales, abordando de forma integral los tres objetivos específicos planteados. A continuación se sintetizan los hallazgos principales, las limitaciones identificadas y las líneas de trabajo futuro que se desprenden de los resultados obtenidos.
8.1.
CUMPLIMIENTO DE LOS OBJETIVOS
8.1.1.
Plataforma de simulación El primer objetivo específico se cumplió mediante el diseño e implementación de un entorno de simulación basado en ROS 2 Humble Hawksbill y Gazebo Classic 11, que integra dos manipuladores UR5 y tres cámaras RGB-D calibradas dispuestas en configuración triangular. La plataforma satisface de forma simultánea las tres condiciones que justifican su uso: reproducibilidad total de cualquier configuración articular a partir del vector almacenado, generación segura de configuraciones de riesgo como singularidades y zonas de interferencia sin riesgo para el hardware, y disponibilidad de etiquetas analíticas derivadas directamente de la cinemática directa del simulador, sin intervención humana en el proceso de anotación.
La arquitectura de software, compuesta por cuatro nodos ROS 2 a continuación: (gazebo, dual_random_mover, ur5_dataset_generator y zone_classifier), demostró ser modular y extensible: el mismo entorno que genera el dataset de clasificación de zonas fue empleado sin modificaciones para producir el Workcell Auto-Label Dataset Batch 1 en formato YOLO (Anexo A), validando la generalidad de la infraestructura construida.
8.1.2.
Base de datos etiquetada El segundo objetivo específico se cumplió con la construcción de una base de datos multimodal de 54 309 frames, que comprende 162 927 imágenes RGB y 162 927 mapas de profundidad de las tres cámaras, junto con los vectores articulares completos de ambos robots y las métricas cinemáticas derivadas (radio cilíndrico, índice de manipulabilidad de Yoshikawa, distancia inter-efector) almacenadas en annotations.csv. La taxonomía de cinco clases mutuamente excluyentes (C0–C4), definida a partir de criterios analíticos con orden de prioridad explícito, cubre el espectro completo de condiciones operacionales de la celda incluyendo las configuraciones de mayor riesgo, que están deliberadamente sobrerrepresentadas mediante el protocolo de adquisición de cuatro fases.
8.1.3.
Clasificador multimodal RGBJointsNet El tercer objetivo específico se cumplió con el diseño, entrenamiento y evaluación de RGBJointsNet, un clasificador de fusión tardía que combina un backbone EfficientNet- B2 congelado para el procesamiento de las imágenes RGB con un MLP de dos capas para la codificación del vector articular de 12 dimensiones. Sobre el conjunto de prueba retenido de 24 438 imágenes, el modelo alcanzó los siguientes resultados:
1. 87.1 % de exactitud global y 90.0 % de F1 macro sobre las cinco clases, con una
brecha de menos de 0.1 pp entre validación y prueba que confirma la ausencia de fuga de datos.
2. 99.3 % de exhaustividad sobre la clase C3 (zona compartida/riesgo de colisión),
el resultado más crítico desde el punto de vista de la seguridad operacional.
3. Operación en tiempo real a 10 Hz sobre una estación de trabajo estándar con
procesador Intel Core i7 de 8 núcleos y sin unidad de procesamiento gráfico,
suficiente para los tiempos de reacción exigidos por ISO 10218-2 en el modo de monitoreo de velocidad y separación.
8.2.
HALLAZGOS PRINCIPALES
8.2.1.
Complementariedad de las modalidades El resultado más relevante desde el punto de vista científico es la validación cuantitativa de que la información cinemática y la visual son complementarias por construcción en el contexto de la clasificación de zonas de operación. Las clases cuyas fronteras se expresan directamente en el espacio articular C0 mediante el RMS respecto a la posición de reposo y C3 mediante la distancia inter-efector alcanzan rendimientos casi perfectos gracias al flujo cinemático, que es invariante a cambios de iluminación y punto de vista. Las clases con fronteras continuas y parcialmente ambiguas C4 y la frontera C1/C2 se benefician del contexto visual que aporta el backbone EfficientNet-B2. Esta dualidad justifica la arquitectura de fusión tardía y sugiere que enfoques de modalidad única, ya sean puramente visuales o puramente cinemáticos, serían insuficientes para cubrir el espectro completo de clases con el mismo nivel de rendimiento.
8.2.2.
Viabilidad del entrenamiento sin GPU La estrategia de caché de características demostró que es posible entrenar un clasificador de alto rendimiento sobre más de 160 k imágenes en cuestión de minutos sin infraestructura de cómputo especializada. Este hallazgo tiene implicaciones prácticas directas para grupos de investigación y entidades industriales con recursos limitados: la barrera de entrada para desarrollar sistemas de percepción robótica basados en aprendizaje profundo es significativamente menor de lo que sugiere el estado del arte dominante, que típicamente asume disponibilidad de GPU.
8.2.3.
Generalidad del pipeline de etiquetado El pipeline de adquisición automática, basado en la explotación del estado interno del simulador, demostró ser aplicable a tareas de percepción heterogéneas sin modificaciones en el entorno base. Su aplicación a la generación del Workcell Auto-Label Dataset en formato YOLO confirma que la infraestructura desarrollada constituye una plataforma de investigación reutilizable más allá del problema de clasificación de zonas original.
8.3.
LIMITACIONES
Los resultados obtenidos están sujetos a tres limitaciones que deben considerarse al interpretar su alcance.
La primera limitación es la brecha dominio-simulación (sim-to-real gap) en el flujo visual. Todo el pipeline de entrenamiento y evaluación se realizó sobre imágenes sintéticas generadas por Gazebo, cuya apariencia fotorrealista difiere de las condiciones reales en aspectos como la textura de las superficies del robot, las reflexiones especulares, el ruido de sensor y las variaciones de iluminación ambiente. Aunque el flujo cinemático es inherentemente transferible por ser independiente de la apariencia visual, el flujo visual requeriría adaptación de dominio para operar con la misma exhaustividad en una celda física.
La segunda limitación es la naturaleza continua de la frontera de C4. Las configuraciones marginalmente dentro y fuera de los umbrales de radio, margen articular e índice de manipulabilidad son cinemáticamente casi indistinguibles para el modelo, produciendo el 80.1 % de F1 más bajo del sistema. Este problema es estructural y no se resolverá únicamente con más datos o una arquitectura más compleja. La tercera limitación es la asunción de backbone congelado. La estrategia de caché
impide que EfficientNet-B2 se adapte a la geometría específica de las cámaras y la paleta cromática de la celda simulada, lo que potencialmente limita la discriminación en las clases con fronteras más finas.
BIBLIOGRAFÍA
[1] ANDERSEN, Rasmus Skovgaard. Kinematics of a UR5. En: Aalborg University,
2018. (document), 4, 4.1, 4.1.1, 4.1.2, 6, 4.1.2, 7, 4.1.2, 4.1.2, 8, 9
[2] MAO, Lei.
Unit Quaternion 3D Rotation Representation.
https://leimao.
github.io/blog/3D-Rotation-Unit-Quaternion/, 2022. (document), 11, 4.1.3,
4.1.3, 4.1.3
[3] MERLET, Jean-Pierre. Parallel Robots. En: Springer Science & Business Media,
2006. 1
[4] ANGELES, Jorge. Fundamentals of robotic mechanical systems: theory, methods, and algorithms. Springer, 2003. 1 [5] MANE, Sunil B y VHANALE, Sharan. Real time obstacle detection for mobile robot navigation using stereo vision. En: 2016 international conference on computing, analytics and security trends (cast). IEEE, 2016, págs. 637–642. 1 [6] BUSS, Samuel R.
Introduction to inverse kinematics with jacobian transpose, pseudoinverse and damped least squares methods. En: IEEE Journal of Robotics and Automation, tomo 17, No 1-19, 2004, pág. 16. 1 [7] SICILIANO, Bruno, et al. Force control. Springer, 2009. 1 [8] GOODFELLOW, Ian; BENGIO, Yoshua y COURVILLE, Aaron. Deep Learning. MIT Press, Cambridge, MA, 2016. ISBN 978-0262035613. 1, 4.2 [9] KHATIB, Oussama. Real-time obstacle avoidance for manipulators and mobile robots. En: The International Journal of Robotics Research, tomo 5, No 1, 1986, págs. 90–98. 1
[10] QUIGLEY, Morgan, et al. ROS: an open-source Robot Operating System. En: ICRA Workshop on Open Source Software, tomo 3, No 3.2, 2009, pág. 5. 1, 4.8 [11] CORKE, Peter.
Robotics, Vision and Control: Fundamental Algorithms in MATLAB. Springer, 2017. 1 [12] DENAVIT, Jacques y HARTENBERG, Richard S. A kinematic notation for lowerpair mechanisms based on matrices. En: Journal of Applied Mechanics, tomo 22, 1955, págs. 215–221. 1 [13] ANGERER, Andreas, et al. Robotics and vision-based real-time monitoring system for industrial safety. En: 2016 IEEE 21st International Conference on Emerging Technologies and Factory Automation (ETFA). IEEE, 2016, págs. 1–4. 1 [14] ZHANG, L., et al. Human-Robot Collaboration: Enhancing Safety through Advanced Perception Systems. En: IEEE Transactions on Industrial Informatics, 2023.
2, 2
[15] RAHMAN, Md Mijanur, et al. Cobotics: the evolving roles and prospects of nextgeneration collaborative robots in Industry 5.0. En: Journal of Robotics, tomo 2024, No 1, 2024, pág. 2918089. 2, 5.2 [16] OH, Jaehong. Towards cognitive collaborative robots: Semantic-level integration and explainable control for human-centric cooperation.
En: arXiv preprint ar- Xiv:250503815, 2025. 2 [17] SALEEM, Zainab, et al. A review of external sensors for human detection in a human robot collaborative environment. En: Journal of Intelligent Manufacturing, tomo 36, No 4, 2025, págs. 2255–2279. 2
[18] LIU, Jie; YAP, Hwa Jen y KHAIRUDDIN, Anis Salwa Mohd. Review on motion planning of robotic manipulator in dynamic environments. En: Journal of Sensors, tomo 2024, No 1, 2024, pág. 5969512. 2, 5.2 [19] LIU, Y., et al. Deep Learning for Robotic Perception: Advances and Applications. En: IEEE Transactions on Neural Networks and Learning Systems, 2022. 2, 4 [20] WANG, H., et al. Reinforcement Learning for Robotic Trajectory Planning: A Comprehensive Review. En: Robotics and Autonomous Systems, 2023. 2 [21] FISCHER, J., et al. ROS 2: A Next-Generation Framework for Robotics Development. En: Journal of Open Source Software, 2021. 2 [22] GOMEZ, R., et al. Real-time Perception and Decision-making in Robotics: Challenges and Solutions. En: IEEE Robotics and Automation Letters, 2022. 2 [23] KUMAR, S., et al. Deep Learning for Collision Avoidance in Industrial Robotics. En: International Journal of Advanced Manufacturing Technology, 2023. 2 [24] RAJENDRAN, P., et al. Optimization of Workspace for Industrial Robots: A Machine Learning Approach. En: International Journal of Advanced Manufacturing Technology, 2023. 2 [25] MA, Shuaiyin, et al. Industry 4.0 and cleaner production: A comprehensive review of sustainable and intelligent manufacturing for energy-intensive manufacturing industries. En: Journal of Cleaner Production, 2024, pág. 142879. 2 [26] SOORI, Mohsen, et al. Intelligent robotic systems in Industry 4.0: A review. En: Journal of Advanced Manufacturing Science and Technology, 2024, págs. 2024007–
0. 2
[27] WANG, Liang; CHEN, Xiaogang y LI, Hongsheng. The future of computer vision: Trends and challenges. En: IEEE Transactions on Pattern Analysis and Machine Intelligence, tomo 43, No 8, 2021, págs. 2800–2815. 4 [28] CRAIG, John J. Introduction to Robotics: Mechanics and Control. Pearson Education, 2005. 4.1.4, 6.1.1 [29] NOCEDAL, Jorge y WRIGHT, Stephen J. Numerical Optimization. Springer,
2006. 4.1.4
[30] BOYD, Stephen y VANDENBERGHE, Lieven. Convex Optimization. Cambridge University Press, 2004. 4.1.4 [31] BROCKETT, Roger W. Robotic Manipulators and the Product of Exponentials Formula. En: Mathematical Theory of Networks and Systems, 1984, págs. 120–129.
4.1.4
[32] MURRAY, Richard M.; LI, Zexiang y SASTRY, S. Shankar. A Mathematical Introduction to Robotic Manipulation. CRC Press, 1994. 4.1.4 [33] LYNCH, Kevin M. y PARK, Frank C. Modern Robotics: Mechanics, Planning, and Control. Cambridge University Press, 2017. 4.1.4 [34] SELIG, J. M. Geometric Fundamentals of Robotics. Springer, 2005. 4.1.4 [35] SPONG, Mark W.; HUTCHINSON, Seth y VIDYASAGAR, M. Robot Modeling and Control. Wiley, 2004. 4.1.4 [36] FORSYTH, David A. y PONCE, Jean. Computer Vision: A Modern Approach. 2a edición. Prentice Hall, Upper Saddle River, NJ, 2011. ISBN 978-0136085928. 4.2 [37] SZELISKI, Richard. Computer Vision: Algorithms and Applications. 2a edición. Springer, Cham, 2022. ISBN 978-3-030-34371-2. 4.2, 4.5
[38] HARTLEY, Richard y ZISSERMAN, Andrew. Multiple View Geometry in Computer Vision. 2a edición. Cambridge University Press, 2003. ISBN 978-0521540513.
4.3, 4.3, 4.3
[39] ZHANG, Zhengyou. A flexible new technique for camera calibration. En: IEEE Transactions on Pattern Analysis and Machine Intelligence, tomo 22, No 11, 2000, págs. 1330–1334. 4.3, 4.4 [40] BROWN, Duane C. Decentering distortion of lenses. En: Photometric Engineering, tomo 32, No 3, 1966, págs. 444–462. 4.3 [41] BESL, Paul J. y MCKAY, Neil D. A method for registration of 3-D shapes. En: IEEE Transactions on Pattern Analysis and Machine Intelligence, tomo 14, No 2, 1992, págs. 239–256. 4.5 [42] RUSINKIEWICZ, Szymon y LEVOY, Marc. Efficient Variants of the ICP Algorithm. En: Proceedings of the Third International Conference on 3D Digital Imaging and Modeling. IEEE, 2001, págs. 145–152. 4.5 [43] NEWCOMBE, Richard A., et al. KinectFusion: Real-time Dense Surface Mapping and Tracking. En: IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2011, págs. 127–136. 4.6 [44] LECUN, Yann; BENGIO, Yoshua y HINTON, Geoffrey.
Deep Learning.
En:
Nature, tomo 521, No 7553, 2015, págs. 436–444. 4.7, 4.7, 4.7 [45] ZEILER, Matthew D y FERGUS, Rob. Visualizing and understanding convolutional networks. En: European conference on computer vision. Springer, 2014, págs. 818–833. 4.7
[46] HE, Kaiming, et al. Deep residual learning for image recognition. En: Proceedings of the IEEE conference on computer vision and pattern recognition, 2016, págs. 770–778. 4.7 [47] TAN, Mingxing y LE, Quoc.
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. En: International Conference on Machine Learning (ICML), 2019, págs. 6105–6114. 4.7 [48] DOSOVITSKIY, Alexey, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. En: International Conference on Learning Representations (ICLR), 2021. 4.7 [49] PAN, Sinno Jialin y YANG, Qiang. A Survey on Transfer Learning. En: IEEE Transactions on Knowledge and Data Engineering, tomo 22, No 10, 2010, págs. 1345–1359. 4.7 [50] EITEL, Andreas, et al. Multimodal Deep Learning for Robust RGB-D Object Recognition. En: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2015, págs. 681–687. 4.7 [51] HU, Jie; SHEN, Li y SUN, Gang. Squeeze-and-Excitation Networks. En: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019, págs. 7132–7141. 4.7 [52] KOUBAA, Anis. ROS: A Framework for Robot Operating System. En: Robot Operating System (ROS): The Complete Reference, tomo 1, 2018, págs. 1–22. 4.8 [53] COUSINS, Steve. Welcome to the ROS (Robot Operating System). En: IEEE Robotics and Automation Magazine, tomo 17, No 1, 2010, págs. 5–6. 4.8
[54] KOENIG, Nathan y HOWARD, Andrew. Design and use paradigms for Gazebo, an open-source multi-robot simulator. En: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), tomo 3, 2004, págs. 2149–2154. 4.8 [55] FOX, Dieter; BURGARD, Wolfram y THRUN, Sebastian. Towards autonomous navigation of mobile robots in urban environments. En: Robotics and Autonomous Systems, tomo 59, No 11, 2011, págs. 789–795. 4.8 [56] GARAGE, Willow. PR2: A personal robot for research and education. En: IEEE Robotics and Automation Magazine, tomo 17, No 3, 2010, págs. 23–25. 4.8 [57] MEIER, Lorenz; HONEGGER, Dominik y POLLEFEYS, Marc. PX4: A nodebased multithreaded open source robotics framework for deeply embedded platforms. En: IEEE International Conference on Robotics and Automation (ICRA), 2015, págs. 6235–6240. 4.8 [58] BRUYNINCKX, Herman. Real-time and reliable robotics with ROS. En: IEEE Robotics and Automation Magazine, tomo 20, No 3, 2013, págs. 84–89. 4.8 [59] MACENSKI, Steven, et al. ROS 2: The next generation of Robot Operating System. En: IEEE Robotics and Automation Magazine, tomo 27, No 2, 2020, págs. 12–17. 4.8 [60] QUIGLEY, Morgan y STAVENS, David. ROS and machine learning: A powerful combination for robotics. En: IEEE Robotics and Automation Magazine, tomo 25, No 4, 2018, págs. 10–15. 4.8 [61] CHEN, Ting, et al. A simple framework for contrastive learning of visual representations. En: arXiv preprint arXiv:200205709, 2020. 4.8
[62] KOENIG, Nathan y HOWARD, Andrew. Design and use paradigms for Gazebo, an open-source multi-robot simulator. En: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, Sendai, Japan, 2004, págs. 2149–
2154. 5, 5.2.2
[63] YOSHIKAWA, Tsuneo. Manipulability of robotic mechanisms. En: The international journal of Robotics Research, tomo 4, No 2, 1985, págs. 3–9. 6.1, 6.1.1
ANEXOS
A.
WORKCELL AUTO-LABEL DATASET:
CONTRIBUCIÓN COMPLEMENTARIA AL
ENTORNO DE SIMULACIÓN
Como extensión directa de la plataforma de simulación desarrollada en este trabajo (Sección 5), y en el marco de los principios de ciencia abierta y reproducibilidad que guían la investigación del grupo GSEEA, se generó y publicó el Workcell Auto-Label Dataset Batch 1, un conjunto de datos abierto para detección de objetos en entornos de manipulación robótica industrial simulada. Este anexo describe la motivación, la estructura y las implicaciones metodológicas de dicho dataset, cuyo póster de presentación se reproduce al final de esta sección.
La relevancia de incluir este dataset como anexo es doble. En primer lugar, demuestra que la infraestructura de simulación construida para la clasificación de zonas de operación (la celda dual-UR5 con tres cámaras RGB-D sincronizadas y el pipeline de etiquetado automático) es suficientemente general para generar dataset de naturaleza distinta sin modificar el entorno base. En segundo lugar, el dataset amplía el alcance de la contribución original al proporcionar a la comunidad un recurso de percepción robótica multimodal y multicámara que no existía en los repositorios públicos al momento de su publicación.
A.1.
MOTIVACIÓN Y CONTEXTO
La investigación en manipulación robótica requiere grandes volúmenes de datos visuales anotados que accoplen las observaciones de cámara con el estado articular del robot. La anotación manual de estos datos es costosa, subjetiva y difícilmente escalable: un anotador humano necesita entre 15 y 30 segundos por imagen para delimitar correc-
tamente los objetos en escenas con oclusión parcial. La proliferación de detectores de objetos modernos como YOLOv8 y RT-DETR exige datasets de entrenamiento del orden de decenas de miles de imágenes para alcanzar rendimientos competitivos, lo que hace que el cuello de botella de la anotación manual sea insostenible en contextos de investigación con recursos limitados.
El pipeline de etiquetado automático desarrollado en esta tesis resuelve este problema explotando el estado conocido de la simulación: dado que las posiciones exactas de todos los objetos en la escena son accesibles desde el motor físico Gazebo en cada instante, las cajas delimitadoras (bounding boxes) en píxeles se derivan analíticamente mediante proyección perspectiva, exactamente de la misma forma en que se calculan las etiquetas cinemáticas de zona operacional en la sección principal de este trabajo. El resultado es un dataset con etiquetas correctas por construcción y cero intervención humana en la anotación.
A.2.
DESCRIPCIÓN DEL DATASET
A.2.1.
Características generales El Workcell Auto-Label Dataset Batch 1 contiene 47,650 frames capturados simultáneamente por las tres cámaras calibradas del entorno de simulación. La Tabla 16 resume sus estadísticas principales.
A.2.2.
Clases de objetos El dataset cubre cuatro clases de objetos visualmente distintas que pueblan la celda robótica simulada: cube_red, cube_green, cube_blue y sphere_gray. La distribución de anotaciones entre clases presenta una asimetría deliberada: cube_red cuenta con
Tabla 16. Estadísticas generales del Workcell Auto-Label Dataset Batch 1. Característica Valor Frames totales
47,650
Imágenes con objetos
20,613
Imágenes de fondo (background)
39,055
Cámaras sincronizadas
3
Clases de objetos
4
Anotaciones totales
138 020
Formato de anotaciones YOLO (txt + JPEG) Plataforma de simulación ROS 2 Humble / Gazebo Classic 11 Robots presentes
2 × UR5 (estado articular sincronizado)
13 802 anotaciones frente a 41 406 de cada uno de los tres objetos restantes, lo que
refleja que el cubo rojo aparece con menor frecuencia en las trayectorias de manipulación generadas. Esta distribución permite estudiar el efecto del desbalance de clases en detectores modernos, un problema análogo al abordado en el clasificador de zonas de la sección principal mediante la ponderación inversa de frecuencia (Ecuación 61). A.2.3.
Partición y estructura de directorios El dataset se divide en los subconjuntos de entrenamiento, validación y prueba con proporciones 80/10/10 %, como se detalla en la Tabla 17.
Tabla 17. Distribución de frames por subconjunto en el Workcell Auto-Label Dataset Batch 1.
Subconjunto Frames Con objetos Fondo
%
Entrenamiento
38162
16581
31288
80.1
Validación
4758
2055
3899
10.0
Prueba
4730
1977
3868
9.9
Total
47650
20613
39055
100
La estructura de directorios sigue la convención estándar de Ultralytics compatible con YOLOv8 y versiones posteriores:
workcell_autolabel_batch1/ |-- dataset.yaml (nc=4, rutas train/val/test) |-- train/ | |-- images/ (JPEG, 640x480 px) | \-- labels/ (txt: clase cx cy w h) |-- val/ | |-- images/ | \-- labels/ \-- test/ |-- images/ \-- labels/ A.2.4.
Estado articular sincronizado Un aspecto diferenciador del dataset es la inclusión del estado articular de ambos robots en cada frame. El archivo annotations.csv registra los vectores qur1, qur2 ∈R6 (ángulos en radianes) de forma sincronizada con las imágenes, lo que habilita líneas de investigación que van más allá de la detección clásica: modelos de detección condicionados por la pose articular, predicción de oclusión mediante modelos de eslabones, y estudio de la correlación entre configuración visual y estado del robot para políticas de control basadas en visión.
A.3.
PIPELINE DE ETIQUETADO AUTOMÁTICO
El pipeline de etiquetado automático reutiliza directamente los componentes de la plataforma de simulación de la Sección 5: el simulador Gazebo proporciona las posiciones 3D de los objetos en el marco mundo, y la proyección perspectiva mediante los pará-
metros intrínsecos K (Ecuación 46) y extrínsecos [Rj | tj] de cada cámara transforma esas posiciones en coordenadas de píxel. Las esquinas de cada objeto cúbico o esférico se proyectan individualmente y su envolvente convexa define la caja delimitadora en formato YOLO normalizado (cx, cy, w, h).
El proceso completo desde la pose del objeto en Gazebo hasta el archivo .txt de anotación YOLO tiene una latencia de < 1 ms por frame, lo que permite operar al mismo ritmo de captura de 1 Hz que el nodo colector principal (ur5_dataset_generator). No se requiere ningún paso de post-procesamiento ni revisión humana. A.4.
CASOS DE USO Y APLICACIONES
El Workcell Auto-Label Dataset Batch 1 está diseñado para servir como recurso de referencia en las siguientes líneas de investigación:
1. Líneas base de detección de objetos: compatibilidad inmediata con YOLOv8,
YOLOv11 y RT-DETR mediante el archivo dataset.yaml incluido.
2. Fusión multivista: las tres vistas sincronizadas permiten investigación en de-
tección estereoscópica y trinocular, incluyendo estimación de profundidad y reconstrucción 3D de la escena.
3. Transferencia simulación–realidad: el dataset proporciona la mitad sintética
para experimentos de adaptación de dominio (domain adaptation) evaluados con una contraparte real equivalente.
4. Minería de negativos difíciles: los 39 055 frames de fondo (escena sin objetos,
con los robots en distintas configuraciones) constituyen un recurso valioso para reducir la tasa de falsos positivos en detectores entrenados con escenas complejas.
5. Aprendizaje robot: los pares imagen–estado articular permiten entrenar polí-
ticas de control visual que integran información de percepción y cinemática de forma simultánea.
A.5.
RELACIÓN CON EL TRABAJO PRINCIPAL
Este dataset complementa el trabajo principal de la tesis en tres dimensiones. Primero, valida que la plataforma de simulación desarrollada es suficientemente general: el mismo entorno ROS 2/Gazebo que genera el dataset de zonas de operación produce sin modificaciones un dataset de detección de objetos en formato estándar de la industria. Segundo, proporciona datos para una tarea de percepción ortogonal que puede integrarse con el clasificador de zonas en un sistema de manipulación autónoma completo: el clasificador determina en qué zona están los brazos, mientras que el detector determina dónde están los objetos a manipular. Tercero, las imágenes de fondo del dataset corresponden a exactamente el mismo tipo de frames procesados por el clasificador RGBJointsNet, lo que permite reutilizarlas para análisis de robustez de la clasificación frente a la presencia y ausencia de objetos en la escena.
A.6.
PÓSTER DE PRESENTACIÓN
La Figura 21 reproduce el póster académico del Workcell Auto-Label Dataset Batch 1, presentado en abril de 2026. El documento sintetiza la motivación, el pipeline de etiquetado automático, las estadísticas del dataset y los casos de uso en el formato estándar de divulgación científica.
LATEX TikZposter Workcell Auto-Label Dataset A Multi-Camera, Multi-Object ROS2 Dataset for Robot Manipulation and Vision Benchmarking Kevin Ortega Dept. Electrical Engineering – GSEEA Research Group Universidad Tecnol´ogica de Pereira Pereira, Colombia Email: kevin.ortega@utp.edu.co Batch 1 Release, April 2026 Workcell Auto-Label Dataset A Multi-Camera, Multi-Object ROS2 Dataset for Robot Manipulation and Vision Benchmarking Kevin Ortega Dept. Electrical Engineering – GSEEA Research Group Universidad Tecnol´ogica de Pereira Pereira, Colombia Email: kevin.ortega@utp.edu.co Batch 1 Release, April 2026 Abstract We present Workcell Auto-Label Batch 1, an open dataset for object detection in industrial robot-manipulation environments. The dataset contains 47,650 annotated frames captured simultaneously from three calibrated cameras mounted around a simulated ROS2 workcell, alongside synchronized UR5 robot joint states. All annotations are generated via an automated labeling pipeline and provided in YOLO format, covering four visually distinct object classes. The dataset is designed to benchmark multi-view detection, domain adaptation, and sim-to-real transfer in manipulation tasks. Quick Stats: 47,650 frames – 20,613 images – 3 cameras – 4 object classes – 138,020 annotations. Introduction Robotic manipulation research requires large, annotated perception datasets that couple visual observations with robot state. Hand-labeling such datasets is expensive and error-prone.
• Built in a ROS2 / Gazebo workcell simulation.
• Three synchronized cameras provide different
viewpoints of the same scene.
• Two UR5 robot arms with joint-state logging at
every frame.
• YOLO-format labels ready for direct training with
Ultralytics YOLOv8/v11.
• Supports detection, tracking, and multi-view fusion
research.
Auto-Labeling Pipeline The pipeline exploits the known simulation state to derive exact pixel-level bounding boxes without any human annotation.
ROS2
Workcell Simulation Multi-Camera Image Capture (3 cameras) Robot Joint State Logging (UR5) Auto-Label Pipeline (YOLO format)
YOLO
Dataset Batch 1 Auto-Labeling Pipeline Overview Fig. 1: Simulation pipeline.
Dataset Structure The dataset is organized into Train/Val/Test splits (80/10/10%).
train
80.1%
val
10.0%
test
9.9%
Dataset Split Distribution (Total: 47,650 frames)
0 objects
(background)
20 objects
(full scene) Objects per Frame
0
1000
2000
3000
4000
5000
6000
7000
Frame Count Object Count Distribution (Frames with Objects) Fig. 2: Left: Train/Val/Test split. Split Frames Images w/ Objects Background Train
38,162
16,581
6,874
31,288
Val
4,758
2,055
859
3,899
Test
4,730
1,977
862
3,868
Total 47,650 20,613
8,595
39,055
Table 1: Dataset splits summary.
Sample Annotated Frames The same scene is captured simultaneously by three cameras. Bounding boxes are colored by class: red = cube red, green = cube green, blue = cube blue, gray = sphere gray.
Camera 1 (Front) Camera 2 (Side) Camera 3 (Top) Multi-Camera Auto-Labeled Frame Workcell Scene Fig. 3: Multi-camera synchronized capture of the same scene from three viewpoints.
CAM1
frame04077...
CAM3
frame04078...
CAM2
frame04078...
CAM1
frame04078...
CAM3
frame04079...
CAM2
frame04079...
Sample Auto-Labeled Frames (Train Split) cube\_red cube\_green cube\_blue sphere\_gray Fig. 4: Six representative labeled frames from the training split across all three camera viewpoints, illustrating scene variability. Object Classes and Annotations cube\_red cube\_green cube\_blue sphere\_gray
0
10000
20000
30000
40000
Annotation Count
13,802
41,406
41,406
41,406
Object Class Distribution Across All Splits Fig. 5: Class distribution of annotations across the dataset. Bounding Box Statistics
2.6
2.7
2.8
2.9
3.0
3.1
3.2
3.3
Bounding Box Width (%)
3.4
3.6
3.8
4.0
4.2
4.4
Bounding Box Height (%) BBox Size Distribution by Class cube_red cube_green cube_blue sphere_gray
0.09
0.10
0.11
0.12
0.13
0.14
BBox Area (% of image)
0
5000
10000
15000
20000
25000
Count Bounding Box Area Histogram Fig. 6: Left: width vs. height scatter (% of image dimensions) by class. Right: bounding-box area histogram. Key geometric properties:
• Width range: 1.8%–5.5% of image width.
Synchronized Robot State Each frame record in annotations.csv includes 6- DOF joint angles (radians) for both robot arms: joints_ur1: [θ1, θ2, θ3, θ4, θ5, θ6] joints_ur2: [θ1, θ2, θ3, θ4, θ5, θ6] This makes the dataset suitable for:
• Kinematic-aware detection: arm pose as context
feature.
• Occlusion prediction: arm linkage models predict
self-occlusion.
• Grasp outcome studies: correlating visual state
with arm configuration.
Use Cases & Applications
• Object detection baselines: Plug-and-play with
YOLOv8/v11, RT-DETR, etc.
• Multi-view fusion: Three synchronized views en-
able stereo/trinocular research.
• Sim-to-real transfer: Evaluate domain adaptation
with real counterpart data.
• Hard negative mining: 39K background frames for
false-positive reduction.
• Robot learning:
Joint state + image pairs for vision-based control policies.
Conclusions Workcell Auto-Label Batch 1 provides a large-scale, automatically annotated multi-camera dataset for industrial robot-manipulation scenes. Key contributions:
1. An end-to-end auto-labeling pipeline requiring
zero human annotation effort.
2. 20,613 images across 3 viewpoints with 138,020
bounding boxes.
3. Synchronized robot joint-state metadata enabling
state-conditioned models.
4. Immediate
compatibility with modern
YOLO-
family detectors.
Dataset Access Format: YOLO (txt labels + JPEG images) Config: dataset.yaml (nc=4, train/val/test splits) Contact: kevin.ortega@utp.edu.co Figura 21. Póster de presentación del Workcell Auto-Label Dataset Batch 1
Cita: Ortega-Quiñones, Kevin David (2026), Clasificación de zonas de operación en manipuladores seriales industriales utilizando redes neuronales profundas, Universidad Tecnológica de Pereira, p. N. https://hdl.handle.net/11059/16920