Maestría en Ciencias de los Datos y Analítica · 2024
Evaluación de rendimiento de diferentes modelo grandes de lenguaje para el reconocimiento de emociones en texto
It is becoming more common for people to express their opinions in short texts through different media thanks to the expansion of internet access. Understanding and efficiently analyzing an individual’s sentiment from a text is a task that is useful in multiple scenarios. For the above, a branch of computer science called Natural Language Processing (NLP) has been dedicated to developing techniques to understand everything related to human language. Traditional techniques, based on the frequency of a word or a group of consecutive words to classify the text in a positive, negative or neutral sentiment. These techniques have limitations because they fail to capture the full context of each word in a sentence, affecting their accuracy and ability to detect a more detailed spectrum of emotions. Recently, Long Language Models (LLMs) or Transformers revolutionized the way NLP is performed thanks to their ability to capture the context around each word in a text. This allows for the detection of feelings in a more precise way and even, the classification of the text into a more specific emotion such as joy, optimism, anger, sadness or others. This project aims to evaluate the performance of different LLMs to find the best performing one in emotion detection from short texts in English using datasets typically used in research related to NLP models.
Full text 71 pages with text
Read the full thesis Record in the repository
Contents
- INTRODUCCIÓNp. 9
- JUSTIFICACIÓNp. 11
- OBJETIVOSp. 12
- GENERALp. 12
- ESPECÍFICOSp. 12
- MARCO TEÓRICO O MARCO CONCEPTUALp. 13
- Definición, técnicas y modelos de NLPp. 13
- Técnicas basadas en reglasp. 13
- Técnicas estadísticasp. 14
- Técnicas de aprendizaje automáticop. 16
- Técnicas con Redes Neuronales:p. 18
- Técnicas de Modelos Largos de Lenguaje (LLM):p. 19
- Definición de emociones en NLPp. 28
- ESTADO DE ARTEp. 31
- DISEÑO METODOLÓGICOp. 34
- DESARROLLO DEL TRABAJOp. 38
- ENTENDIMIENTO DEL NEGOCIOp. 38
- ENTENDIMIENTO DEL CONJUNTO DE DATOSp. 39
- PREPARACIÓN DE DATOSp. 41
- MODELADO DE DATOSp. 44
- automáticop. 44
- Clasificación de texto en emociones usando LLMsp. 46
- EVALUACIÓN DE LOS MODELOSp. 55
- DESPLIEGUE DEL MEJOR MODELOp. 56
- RESULTADOSp. 59
- RESULTADOS DE EVALUACIÓN CUANTITATIVA DE LOS LLMp. 59
- ENGINEERINGp. 59
- RESULTADOS DE DETECCIÓN DE EMOCIONES CON FINE-TUNINGp. 61
- CONSOLIDADOp. 63
- RESULTADOS DE EVALUACIÓN CUALITATIVA DE LOS LLMp. 64
- CONCLUSIONESp. 66
- REFERENCIASp. 67
- ANEXOSp. 71
- Figura 1: Arquitectura Transformersp. 20
- Figura 3: Rueda de las Emociones Plutchikp. 29
- Figura 4: Emociones básicas de Paul Ekmanp. 30
- datos ISEARp. 32
- de datos ISEARp. 31
- datos ISEARp. 32
- Figura 8: Diagrama metodología CRISP-DMp. 34
- Ilustración 1: Frecuencia de emociones en ISEARp. 40
- Ilustración 2: Distribución de la longitud de los textosp. 40
- Ilustración 3: Distribución de la longitud de los textos por emociónp. 41
- Ilustración 4: Frecuencia de emociones en ISEAR limpiop. 42
- Ilustración 5: Mensaje del sistema del prompt para los LLMsp. 49
- Ilustración 6: Ejemplo de interacción con prototipo funcionalp. 57
- Ilustración 7: Arquitectura de solución de análisis de emociones socialesp. 58
- Sonnet sobre el conjunto de datos de pruebas con Prompt Engineeringp. 60
- datos de pruebas con Fine-tuningp. 62
- Tabla 1: Muestra del conjunto de datos ISEARp. 39
- Tabla 2: Detalle de observaciones eliminadas por emociónp. 42
- preprocesamiento del textop. 45
- Tabla 4: Detalle de modelos de uso abierto y de pago a evaluarp. 47
- Tabla 5: Lista de LLMs evaluados en el experimento de prompt engineeringp. 51
- Tabla 6: Lista de LLMs evaluados en el experimento de fine-tuningp. 55
- Tabla 7: F1-score para diferentes LLMs con Prompt Engineringp. 60
- Tabla 8: F1-score para diferentes LLMs con Fine-tuningp. 61
- Tabla 9: F1-score para diferentes LLMs con Fine-tuning y Prompt engineeringp. 63
- Tabla 10: Detalle evaluación de usuarios del mejor modelop. 64