Maestría en Ciencias de los Datos y Analítica · 2024
Análisis de discurso basado en modelos grandes de lenguaje
This thesis explores the implementation of natural language processing techniques and large language models (LLMs) to support discourse analysis tasks in the context of the "Tenemos que hablar Colombia" program. Techniques such as topic modeling, sentiment analysis, clustering, visualization, and the creation of a conversational assistant based on Retrieval Augmented Generation (RAG) have been addressed using advanced text modeling, vector embeddings, and prompt engineering approaches. A text classification model focused on predicting the label of the verbal indicator variable, assigned manually by the interviewer, is also presented, although this model is not directly applied to discourse analysis. This work adds to the studies of the " Tenemos que hablar Colombia " program, where other authors have contributed through computational linguistics analysis and machine learning techniques. Using advanced NLP techniques, we have sought to improve the interpretation of text data and its application in discourse analysis. The results have shown improvements in the accuracy of data classification and analysis through the techniques explored, providing a better understanding of citizen perceptions.
Texto completo 79 páginas con texto
Leer la tesis completa Ficha en el repositorio
Contenido
- INTRODUCCIÓNp. 9
- 1.1 PLANTEAMIENTO DEL PROBLEMAp. 9
- 1.2 JUSTIFICACIÓNp. 10
- 1.3 OBJETIVOSp. 11
- 1.4 METODOLOGÍA DEL PROYECTOp. 11
- 1.5 ESTRUCTURA DEL PROYECTOp. 13
- MARCO TEÓRICO Y ESTADO DEL ARTEp. 14
- MARCO TEÓRICOp. 14
- 2.1.1 Procesamiento de lenguaje naturalp. 14
- 2.1.1.1 Aplicaciones del NLPp. 14
- 2.1.2 Procesamiento de lenguaje natural en el análisis de discursop. 15
- ESTADO DEL ARTEp. 17
- 2.2.1. Avances en LLMp. 17
- 2.2.1.1. Embeddingsp. 17
- 2.2.1.2. Modelos generativosp. 19
- 2.2.1.3. Prompt engineeringp. 20
- 2.2.1.4. RAG - Retrieval-Augmented Generationp. 22
- 2.2.1.5 Aplicaciones en el análisis de discursop. 24
- DESARROLLO DEL TRABAJOp. 25
- 3.1. ENTENDIMIENTO Y COMPRENSIÓN DEL NEGOCIOp. 25
- 3.2. ENTENDIMIENTO Y COMPRENSIÓN DEL DATOp. 26
- 3.3. PREPARACIÓN DE DATOSp. 28
- 3.4. MODELADO DE DATOSp. 28
- 3.4.1. Modelado de tópicos utilizando Prompt Engineering y LLMsp. 28
- 3.4.2. Modelado de Sentimiento utilizando Prompt Engineering y LLMsp. 31
- 3.4.3. Agrupamiento y visualizaciónp. 32
- 3.4.4. Asistente conversacionalp. 36
- 3.4.5. Modelado de clasificación de textop. 39
- 3.5. EVALUACIÓNp. 45
- 4 RESULTADOSp. 46
- LLMsp. 50
- 4.3. AGRUPAMIENTO Y VISUALIZACIÓNp. 32
- 4.4. ASISTENTE CONVERSACIONALp. 36
- 4.5. MODELADO DE CLASIFICACIÓN DE TEXTOp. 39
- 5 CONCLUSIONES Y TRABAJOS FUTUROSp. 69
- 5.1 CONCLUSIONESp. 69
- TRABAJOS FUTUROSp. 71
- 6 REFERENCIASp. 72
- ANEXOSp. 78
- Figura 1. Etapas metodología CRISP-DMp. 12
- Figura 3. Sistema RAG con LLM para una aplicación de QAp. 23
- Figura 4. Función de clasificación de tópicos usando API de OpenAIp. 29
- Figura 5. Contexto para asignar tópicos utilizando prompt Engineeringp. 30
- Figura 6. Proceso general para asignar tópicos a respuestasp. 30
- Figura 7. Función para calcular sentimiento usando API OpenAIp. 31
- Figura 8.Proceso general para asignar sentimiento a respuestasp. 32
- Figura 9. Función para construir macro etiquetas a partir de API de OpenAIp. 34
- Figura 10. Contexto utilizado para función de macro etiquetasp. 35
- Figura 11. Proceso general para agrupamiento y visualizaciónp. 36
- Figura 12. Proceso de creación y almacenamiento de embeddingsp. 37
- Figura 13. Proceso general de funcionamiento del asistentep. 37
- Figura 14. Función para crear contexto completop. 38
- Figura 15. Función para hacer llamado al modelo con contexto completop. 39
- Figura 16. Función para construir embeddings a partir de API OpenAIp. 40
- Figura 17. Proceso general de clasificación con aproximación 1p. 41
- Figura 18. Ejemplo de construcción de texto a partir de respuestasp. 41
- Figura 19. Función para mejorar texto concatenado usando LLMs de OpenAIp. 42
- Figura 20. Ejemplo de uso de salida de función para transformar respuestap. 43
- Figura 21. Función para obtener embeddingsp. 43
- Figura 22. Proceso general de clasificación con aproximación 2p. 44
- Figura 24. Proceso general de clasificación con aproximación 3p. 45
- Figura 25. Análisis de tópicos y temas principalesp. 46
- Figura 26. Análisis de tema por sentimientos top 10 temas generalesp. 47
- Figura 27. Análisis por génerop. 48
- Figura 28. Análisis por zonasp. 49
- Figura 29. Análisis por otras categoríasp. 50
- Figura 30. Distribución del análisis de sentimientosp. 51
- Figura 31. Valor medio sentimiento por género y categoría de pregunta 1p. 52
- Figura 32. Valor medio sentimiento por grupo etario y categoría de pregunta 1p. 53
- Figura 33. Valor medio sentimiento por Región y categoría de pregunta 1p. 53
- Figura 35. Valor medio sentimiento por zona y categoría de pregunta 1p. 55
- Figura 36. Resultado método del codo para clustering de categoría “cambiar”p. 56
- cambiar?p. 56
- cambiar?p. 56
- Figura 39. Resultado método del codo para clustering de categoría “mejorar”p. 58
- mejorar?p. 59
- mejorar?p. 59
- mantener?p. 61
- mantener?p. 61
- Figura 45. Respuesta del asistente conversacionalp. 63
- Figura 46. Respuesta del asistente conversacional ante otra preguntap. 64
- Tabla 1: Resumen modelos y técnicasp. 25
- Tabla 2 Indicadores verbales y descripciónp. 26
- Tabla 3 Muestra de datos empleados (ciclo 1)p. 27
- Tabla 4 Conjunto de datos seleccionado para modelo de clasificación de textop. 40
- Tabla 5 Resultado Regresión Logística con diferentes aproximacionesp. 65
- Tabla 6 Resultado Random Forest con diferentes aproximacionesp. 66
- Tabla 7 Resultado Naives Bayes con diferentes aproximacionesp. 67