Maestría en Ingeniería de Sistemas y Computación · 2021
Desarrollo de un sistema automático de análisis de expresiones faciales para la detección de la mentira en adultos utilizando técnicas de aprendizaje automático
Existen 7 tipos de expresiones faciales universales, las cuales son: enfado, disgusto, miedo, felicidad, tristeza, sorpresa y desprecio. Estas expresiones faciales son indiferentes a la raza o la cultura de las regiones del mundo. Estas expresiones pueden ser falsificadas y son los pequeños movimientos los que nos pueden decir si una expresión está siendo real o es una mentira. Estos pequeños movimientos se llaman microexpresiones faciales, los cuales ocurren entre 1/15 y 1/25 segundos y son imperceptibles al ojo humano. Este trabajo de grado tiene como objetivo reconocer las microexpresiones faciales mediante un modelo profundo de aprendizaje automático. Para este fin, se desarrollan 3 modelos cada uno para dos bases de datos de microexpresiones faciales SMIC (X. Li, T. Pfister, X. Huang, G. Zhao & M. Pietikäinen, 2013) y CASME II (Yan WJ, Li X, Wang SJ, Zhao G, Liu YJ, Chen YH & Fu X., 2014). El primer modelo implementado fue MicroExpSTCNN el cual fue propuesto por (S. P. Teja Reddy, S. Teja Karri, S. R. Dubey & S. Mukherjee, 2019) utilizando sobre las mismas bases de datos de microexpresiones faciales, este trabajo de grado logró obtener un accuracy mayor para ambas bases de datos (90 % para CASME II y 91.6 % para SMIC); que el reportado por la referencia, el cual fue de 87.80 % para la base de datos CASME II. El segundo modelo implementado fue un CNN 3D con data augmentation rotando las imágenes con cierto número de grados escogidos aleatoriamente, para este modelo se logró mejorar el acurracy para la base de datos CASME II (94.2 %). El tercer modelo se construyó con una CNN 2D temporal y una capa de LSTM, lo cual logró mejorar notablemente la predicción para ambas bases de datos de microexpresiones faciales, ya que tuvo en cuenta la característica temporal de los 18 frames. También se desarrolló una aplicación donde se creó el modelo de la red neuronal y se le cargaron los pesos entrenados previamente para ambas bases de datos de SMIC (X. Li, et al., 2013) y CASME II (Yan WJ, et al., 2014). Se usó el framework Flask para visualizar el video y mostrar la microexpresión facial que predice el modelo.
Full text 276 pages with text out of 277
Read the full thesis Record in the repository
Contents
- Tabla 1 Ejemplo de una Matriz de Confusión. Fuente: Elaboración propiap. 104
- MicroExpSTCNN para la base de datos CASME IIp. 109
- Google Colabp. 114
- base de datos CASME II. Fuente: Elaboración propiap. 113
- MicroExpSTCNN para la base de datos SMIC. Fuente: Elaboración propiap. 115
- Colabp. 125
- base de datos SMIC. Fuente: Elaboración propiap. 118
- augmentation para la base de datos CASME II. Fuente: Elaboración propiap. 125
- datos CASME II. Fuente: Elaboración propiap. 131
- Augmentation para la base de datos CASME II. Fuente: Elaboración propiap. 128
- augmentation para la base de datos SMIC. Fuente: Elaboración propiap. 131
- Augmentation para la base de datos SMIC. Fuente: Elaboración propiap. 133
- CASME II. Fuente: Elaboración propiap. 127
- para la base de datos CASME II. Fuente: Elaboración propia gráficap. 140
- SMIC. Fuente: Elaboración propiap. 149
- para la base de datos SMIC. Fuente: Elaboración propiap. 145
- Elaboración propiap. 129
- propiap. 148
- Fuente: Elaboración propiap. 108
- el modelo CNN temporal con una capa LSTM. Fuente: Elaboración propiap. 149
- al., 2019)p. 151
- CASME II. Fuente: Tomado el artículo original (S. P. Teja Reddy, et al., 2019)p. 152
- SMIC. Fuente: Tomado el artículo original (S. P. Teja Reddy, et al., 2019)p. 152
- Fuente: Elaboración propiap. 108
- desarrollados en este trabajo de grado. Fuente: Elaboración propiap. 153
- Elaboración propiap. 129