Maestría en Ciencias de los Datos y Analítica · 2023
Aplicación de técnicas de clusterización para la clasificación de música dance electrónica
Audio processing is one of the essential tasks for a data scientist, and audio analysis has applications in a diverse range of fields, such as medicine, telecommunications, improving sound quality in music production, and even military applications (filtering suspicious or terrorist audio). This project aims to use hard clustering techniques (such as k-means or k-nearest neighbor) and soft clustering techniques (such as fuzzy clustering) to classify input songs using different metrics. The classification methods will be used to segment previously processed input audios and obtain a sample of representative segments of the songs, determining their similarity with other songs of the same genre.Another technique that has proven effective for audio classification is convolutional neural networks (CNNs), which have been used in a wide range of fields. In the music field, they have been used to classify violin bowing techniques [1] and even detect potential heart problems using heartbeat sounds [2]. In this project, we will use this technique up to the point of feature extraction, and then use classical classification techniques to determine which group a section of a song belongs to.
Texto completo 41 páginas con texto
Leer la tesis completa Ficha en el repositorio
Contenido
- INTRODUCCIÓNp. 6
- PLANTEAMIENTO DEL PROBLEMAp. 6
- JUSTIFICACIÓNp. 6
- OBJETIVOSp. 7
- Objetivo generalp. 7
- Objetivo específicop. 7
- ESTADO DEL ARTE Y MARCO TEORICOp. 7
- MEL-FREQUENCY CEPSTRAL COEFFICIENTS (MFCC)p. 10
- REDES NEURONALES CONVOLUCIONALES (CNN)p. 11
- VISUAL GEOMETRY GROUP (VGG)p. 12
- DATOSp. 13
- PLAN DE GESTIÓN DE DATOSp. 13
- ADQUISICIÓN DE DATOSp. 13
- DESCRIPCIÓN Y ANÁLISIS PRELIMINAR DE LOS DATOSp. 13
- PREPROCESAMIENTO DE LOS DATOSp. 13
- ASPECTOS ÉTICOSp. 14
- Desarrollo de modelosp. 14
- METODOLOGÍAp. 14
- FLUJO DE TRABAJOp. 16
- PROCEDIMIENTO DE CLASIFICACIÓN UTILIZANDO VARIABLES CLÁSICASp. 17
- Entendimiento de negociop. 17
- Entendimiento de los datosp. 17
- Preparación de datosp. 16
- Modelado (K-Means variables clásicas)p. 22
- Evaluación (Variables Clásicas)p. 23
- UTILIZANDO REDES NEURONALESp. 25
- Entendimiento de negociop. 17
- Preparación de Datosp. 16
- Modelado (K-Means características VGGish)p. 26
- Evaluación (Características CNN)p. 27
- EVALUACIÓNp. 16
- TABLERO DE CONTROLp. 34
- Vista Principal (características clásicas)p. 34
- Vista (Redes Neuronales)p. 35
- Vista (Comparación métodos)p. 37
- DESPLIEGUEp. 16
- CONCLUSIONES Y TRABAJO FUTUROp. 38
- BIBLIOGRAFIAp. 40
- Ilustración 1 - espectograma 3d [8]p. 8
- Ilustración 2 - espectograma audio de violín [9]p. 9
- Ilustración 3 - proceso obtención MFCCp. 10
- Ilustración 4 - proceso transformación Spectrum a Cepstrump. 11
- Ilustración 5 - Arquitectura básica CNNp. 11
- Ilustración 6 - Arquitectura VGG19p. 12
- Ilustración 7 - Metodología CRISP-DMp. 14
- Ilustración 8 - Flujo de trabajop. 16
- Ilustración 9 - Señal audio canción completap. 17
- Ilustración 10 - espectrograma de una canción de muestrap. 18
- Ilustración 11 - separación de audio en secciones de 15 segundosp. 18
- Ilustración 12 - Spectral bandwithp. 19
- Ilustración 13 - Spectral rolloffp. 19
- Ilustración 14 - Frame Size y Hop Sizep. 20
- Ilustración 15 - variables extraídas para cada sección de audiop. 20
- Ilustración 16 - Selección partes centrales de una canciónp. 21
- Ilustración 17 - Curva del codop. 22
- Ilustración 18 - centroidesp. 23
- Ilustración 19 - Grupos K-Means Variables clásicasp. 23
- Ilustración 20 - resultado variables más importantes árboles de decisiónp. 24
- Ilustración 21 - Estructura red CNN Vggishp. 25
- Ilustración 22 - Nombre canción sección y partep. 26
- Ilustración 23 - espectograma secciones de audiop. 26
- Ilustración 24 - data preparadap. 26
- Ilustración 25 - Curva del codop. 27
- Ilustración 26 - Grupos K-Means características VGGishp. 27
- Ilustración 27 - Espectograma y media de activación sección 7 parte 7 de la canción Detlefp. 28
- Ilustración 28 - configuración para gráfico T-SNEp. 30
- Ilustración 29 - Resultado algoritmo T-SNEp. 30
- Ilustración 30 - T-SNE puntos centralesp. 31
- Ilustración 31 - T-SNE puntos limítrofesp. 32
- Ilustración 32 - T-SNE segmentos anómalosp. 33
- Ilustración 33 - Sección de controles variables clásicasp. 34
- Ilustración 34 - Análisis exploratorio por secciónp. 35
- Ilustración 35 - Sección de resultados generalp. 36
- Ilustración 36 - Análisis exploratorio de segmentos de 1 segundop. 36
- Ilustración 37 - Arquitectura AWSp. 38