Ingeniería de Sonido · 2021
Representación de las propiedades tímbricas y dinámicas de una señal de audio a través de una matriz RGB para la sustitución sensorial del oído a la vista
This thesis shows the development of a method for the visual representation of the timbral and dynamic properties of an audio signal in an RGB matrix, for ear-to-vision sensory substitution in people with hearing disabilities. In the first part, were obtained audio descriptors and a comparison was made between the different types, such as the MFCC, spectral descriptors such as the spectral centroid, spectral flatness, spectral slope among others, descriptors such as the "Chroma Vector" were also used. Which allows identifying musical notes. To obtain these descriptors, the audio characteristics extraction tools included in the Matlab 2020B Audio Toolbox and the Dan Ellis “Chroma Feature Analysis and Synthesis” library were used. Based on the "Chroma Vector" an experimental algorithm was developed, using type IIR filters and later improved with the Q transform. Based on this method, were achieved visual representations in an RGB matrix. These visual representations were inspired by the phenomenon of synesthesia, more precisely sound-color synesthesia (Chromesthesia) and the analogous characteristics between hearing and vision. Visual representations based on this algorithm were obtained, similar to a spectrogram in real time, using the chromatic scale and colors according to this. Such visualizations appear to be useful to observe the temporal evolution of harmony and notes in music and for identifying basic patterns in short voice signals (logatomes). Finally, a subjective visual comparison between similar voice and music signals visualizations was made. a comparison using the “VGGish” neural network was made too, for this using its original input (mel scale filters), and the constant Q spectrum that was obtained as an audio descriptor previously, in this case showing the original input a better performance, but qualitatively it seems that the method chosen in this work visually represents the music and voice signals better
Full text 94 pages with text
Read the full thesis Record in the repository
Contents
- RESUMENp. 11
- ABSTRACTp. 12
- I. INTRODUCCIÓNp. 13
- II. ANTECEDENTESp. 15
- A. Sustitución Sensorialp. 15
- B. Herramientas de análisis de señal y descriptores de audiop. 16
- C. Aprendizaje de máquina para la clasificación de señales de audiop. 17
- C. Limitacionesp. 17
- III. PLANTEAMIENTO DEL PROBLEMAp. 19
- IV. JUSTIFICACIÓNp. 20
- V. OBJETIVOSp. 21
- A. Objetivo generalp. 21
- B. Objetivos específicosp. 21
- VI. MARCO TEÓRICOp. 22
- A. Bandas criticasp. 22
- B. Filtros auditivosp. 22
- C. Percepción del Colorp. 23
- D. Modelo del color RGBp. 23
- E. Sustitución sensorialp. 25
- 1) Analogía entre el oído y la visiónp. 25
- 2) Sinestesiap. 25
- F. Filtros IIRp. 26
- G. Transformada de Fourierp. 27
- H. Transformada discreta de Fourierp. 27
- I. Transformada Q-constantep. 28
- J. Representación visual de señales de audiop. 28
- K. Descriptores de audiop. 29
- L. Cepstrump. 31
- M. MFCCp. 32
- N. “Chroma Vector”p. 33
- O. Aprendizaje de maquinasp. 33
- 1) Aprendizaje supervisadop. 33
- 2) Aprendizaje no supervisadop. 33
- P. Redes neuronalesp. 34
- 1) Convoluciónp. 37
- 2) “Pooling”:p. 37
- VII. METODOLOGÍAp. 38
- A. Selección de muestrasp. 38
- B. Obtención de diferentes descriptoresp. 40
- C. Comparación entre descriptores de audiop. 41
- D. Desarrollo de algoritmo para la representación visual de una señal de audiop. 42
- E. Evaluación del descriptor “Chroma-Color” mediante red neuronal VGGishp. 38
- E. Otras formas de visualizaciónp. 47
- 1) Visualización tipo espectrograma de colores basado en filtrosp. 47
- 2) Visualización tipo espectrograma de colores basado en la transformada Qp. 48
- VIII. RESULTADOSp. 49
- A. Obtención de diferentes descriptoresp. 49
- B. Comparación entre descriptores de audiop. 51
- 1) Comparación entre descriptores de audio usando logatomosp. 54
- C. Representación visual de Logatomos en “Chroma-Color”p. 55
- 1) Vocalesp. 56
- 2) Consonantesp. 58
- D. Representación visual de voz en “Chroma-Color”p. 59
- E. Representación visual de voces diciendo una frase en “Chroma-Color”p. 61
- F. Representación visual de música en “Chroma-Color”p. 62
- G. Representación visual de Otras señales en “Chroma-Color”p. 65
- 1) Acorde de Do mayor y onda sierrap. 65
- 2) Señales de alarmap. 66
- H. Evaluación mediante el uso de la red neuronal “VGGish”p. 67
- 1) Entrenamiento y clasificación red neuronal “VGGish”, entrada original:p. 69
- bandas, 64 fragmentos temporales:p. 70
- bandas, 96 fragmentos temporalesp. 72
- 4) Visualización básica de la salida del preprocesamiento (Original vs “Chroma-Color”)p. 74
- IX. DISCUSIÓNp. 75
- X. CONCLUSIONESp. 78
- XI. RECOMENDACIONESp. 79
- REFERENCIASp. 80
- ANEXOSp. 85
- TABLA I, COMPARACION ENTRE PRE-PROCESAMIENTO DE LA RED VGGISHp. 68
- TABLA II, RESUMEN DE ENTRENAMIENTO RED VGGISH, ENTRADA ORIGINALp. 69
- COLOR” 96 BANDASp. 70
- COLOR” 64 BANDASp. 72
- Fig. 1. Distribución aproximada en frecuencia de los filtros auditivos entre 0 y 10.000 Hzp. 22
- Fig. 2. Distribución de la sensibilidad en longitud de onda de los conos S, M y Lp. 23
- Fig. 3. Rueda HSV y rueda HSV desenrollada en su capa externa, con ángulosp. 24
- Fig. 4. Diagrama de flujo de un filtro bicuadrático en la forma directa Ip. 26
- Fig. 5. Diagrama del orden del procesamiento para obtener los coeficientes “cepstrales”p. 31
- escala “Mel”p. 32
- Fig. 7. Diagrama del orden del procesamiento para obtener los coeficientes “MFCC”p. 32
- Fig. 8. “Perceptron”, unidad basica de una red neuronal, basado en una sola neuronap. 34
- Fig. 9. Ejemplo de red neuronal basica, con cinco neuronasp. 35
- Fig. 10. Pesos y sesgos de una red neuronal básicap. 36
- convencional al finalp. 37
- Fig. 12. Representacion de la funcion “max pooling”p. 38
- los “bins”p. 45
- a cada nota se le asignara un color de acuerdo a estop. 45
- Fig. 15. Representación de un fragmento de señal de audio en una matriz RGB 8x12p. 46
- estas?, ¿Cómo te ha ido?, ¡espero que te encuentres muy bien!”p. 49
- ido?, ¡espero que te encuentres muy bien!”p. 49
- bien!”p. 52
- Fig. 20. Espectrograma y descriptores de audio de una muestra de música clásicap. 53
- Fig. 21. Logatomos representados en “Chroma Vector”p. 54
- Fig. 22. Logatomos representados en MFCC, en mapa de calorp. 55
- Fig. 23. Logatomos representados en descriptores espectrales y periodicos, en mapa de calorp. 55
- Fig. 24. Logatomos representados en “Chroma-Color”p. 56
- Fig. 25. Logatomos con la vocal “A” en “Chroma-Color”p. 56
- Fig. 26. Logatomos con la vocal “E” en “Chroma-Color”p. 57
- Fig. 27. Logatomos con la vocal “I” en “Chroma-Color”p. 57
- Fig. 28. Logatomos con la vocal “o” en “Chroma-Color”p. 57
- Fig. 29. Logatomos con la vocal “U” en “Chroma-Color”p. 58
- Fig. 30. Logatomos con la consonante “S” en “Chroma-Color”p. 58
- Fig. 31. Logatomos con la consonante “X” en “Chroma-Color”p. 58
- Fig. 32. Logatomos con la consonante “R” en “Chroma-Color”p. 59
- Fig. 33. Logatomos con la consonante “M” en “Chroma-Color”p. 59
- Fig. 34. Logatomos con la consonante “F” en “Chroma-Color”p. 59
- Fig. 35. Representacion visual de voz de mujer diciendo la palabra “hola”, 1ra tomap. 60
- Fig. 36. Representacion visual de voz de mujer diciendo la palabra “hola”, 2da tomap. 60
- Fig. 37. Representacion visual de una voz de hombre diciendo la palabra “hola”, 1ra tomap. 60
- Fig. 38. Representacion visual de una voz de hombre diciendo la palabra “hola”, 2da tomap. 60
- ¡espero que te encuentres muy bien!”p. 61
- Fig. 40. Escala de colores usada para las notas musicales en la representación visualp. 62
- canción (inferior)p. 63
- Fig. 42. Fragmento de la canción Paint it, Blackp. 64
- Fig. 43. Representación visual tipo espectrograma de un fragmento de música clásicap. 64
- Fig. 44. Acorde de Do Mayor en Pianop. 65
- Fig. 45. Onda Sierra tocando un Do y sus armónicosp. 65
- Fig. 46. Representación visual del sonido de una sirena de ambulanciap. 66
- Fig. 47. Representación visual del sonido de pitos de carrop. 66
- Fig. 48. Representación visual del sonido de pito de camiónp. 66
- Fig. 49. Representación visual del sonido de timbre de escuelap. 66
- Fig. 50. Representación visual del sonido de una alarma de incendiosp. 67
- preprocesamiento original de la redp. 70
- preprocesamiento “Chroma-Color”p. 71
- preprocesamiento “Chroma-Color”, 64 bandasp. 72
- Color”p. 74
- la entrada original a la red VGGishp. 76
- Fig. 56. Visualizacion de logatomos en “Chroma-Color”p. 76
- método de filtros, abajo método basado en la transformada Qp. 85
- método basado en la transformada Qp. 86
- RGB 8X12, abajo matriz basada en la transformada Qp. 87
- método de filtros, abajo con el método basado en la transformada Qp. 88