Maestría en Ciencias de los Datos y Analítica · 2023
Análisis de la tendencia de la solución de una interacción con un Chatbot de atención al cliente, basado en análisis de sentimiento y otras variables
A chatbot is a program created with artificial intelligence. In the context of customer service, can establish conversations with customers and they are trained to resolve their queries, problems and complaints. A chatbot’s skill to identify when a customer is not meeting their request represents a challenge for companies that currently use this technology. One of the strategies to avoid quitting the conversation for this reason, is to escalate or transfer the conversation to a human agent. Therefore, it is essential to detect when it is time to carry out this escalation. This project evaluates different Natural Language Processing (NLP) techniques, rule-based labeling algorithms, classical supervised machine learning models and a simple neural network for classification, applied to interactions between a customer service chatbot and a user, in order to find a mechanism for automatic labeling of the data and to build a model that can be used to make the decision on whether the customer should continue interacting with the chatbot or if he should be transferred to a conversation with a human agent. The labeling mechanism could also be used to classify historical data, to later train a model. Different models and techniques are evaluated and those with the best performance in detecting the conversations that should escalate to a human agent are presented.
Texto completo 50 páginas con texto
Leer la tesis completa Ficha en el repositorio
Contenido
- Planteamiento del problemap. 6
- Justificaciónp. 7
- Objetivosp. 7
- Objetivo generalp. 7
- Objetivos específicosp. 7
- Chatbotsp. 8
- Análisis de sentimiento en textop. 8
- Análisis de tendencia de los sentimientosp. 10
- Análisis de similitud entre interaccionesp. 11
- Clasificación con redes neuronalesp. 11
- Estado del artep. 12
- Plan de Gestión de Datosp. 13
- Adquisición de datosp. 13
- Descripción y análisis preliminar de los datosp. 14
- Preprocesamiento de los datosp. 23
- Entendimiento del negociop. 26
- Entendimiento de los datosp. 26
- Preparación de los datosp. 25
- Modeladop. 28
- Análisis de sentimientos de las interaccionesp. 30
- Análisis de similitud de las interaccionesp. 31
- Algoritmo de etiquetado de las conversacionesp. 31
- Modelo de aprendizaje de máquina para la predicción del desbordep. 35
- Evaluaciónp. 38
- Desplieguep. 43
- Figura 1. Función de aumentop. 12
- Figura 2. Atributos extraídos de las conversacionesp. 14
- Figura 3. Calificaciones de las conversacionesp. 15
- Figura 4. Calificaciones de las conversaciones con frases negativasp. 16
- general de la conversaciónp. 16
- Figura 6. Calificaciones de las conversaciones con frases positivasp. 16
- Figura 7. Tipos de dialogo más comunesp. 17
- Figura 8. Top 10 palabras más utilizadasp. 18
- Figura 9. Nube de palabrasp. 18
- Figura 10. Clasificación del sentimiento de las interacciones del usuariop. 19
- conversacionesp. 27
- Figura 12. Distribución del sentimiento en las conversacionesp. 20
- Figura 13. Cantidad de frases por conversaciónp. 20
- Figura 14. Cantidad de conversaciones con desborde/no desbordep. 21
- Figura 15. Información de los datos pre procesadosp. 25
- Figura 16. Ciclo de vida de minería de datos (IBM, 2020)p. 25
- Figura 17. Extracto conversación usuario y chatbotp. 27
- Figura 18. Flujo de trabajop. 29
- Figura 19. Cantidad interacciones sentimiento VADER y TextBlobp. 30
- Figura 20. Desborde/no desborde con función distribución negativap. 32
- Figura 21. Desborde/no desborde con función combinadap. 34
- Figura 22. Desborde/no desborde con mejor hiperparametrizaciónp. 35
- Figura 23. Estructura del árbol de decisiónp. 37
- Figura 24. Matriz de confusión distribución negativap. 38
- Figura 25. Matriz de confusión acumulación no lineal del sentimientop. 39
- Figura 26. Resultados algoritmo combinadop. 39
- Figura 27. Mejores resultados algoritmo combinadop. 40
- Figura 28. Resultados regresión logísticap. 41
- Figura 29. Resultados regresión logística con oversamplingp. 41
- Figura 30. Resultados regresión logística con undersamplingp. 41
- Figura 31. Resultados árbol de decisiónp. 42
- Figura 32. Resultado redes neuronales con 20 épocasp. 42
- Figura 33. Resultado redes neuronales con 30 épocasp. 42
- Tabla 1. Descripción del conjunto de datosp. 21
- Tabla 2. Conjunto de datos de conversaciones para etiquetarp. 22
- Tabla 3. Conjunto de datos de conversaciones etiquetadasp. 23
- Tabla 4. Texto original y pre procesadop. 24
- Tabla 5. Conjunto de datos originalp. 27
- Tabla 6. Interacciones de un usuario en una conversaciónp. 27
- Tabla 7. Clasificación del sentimiento con AFINNp. 30
- Tabla 8. Sentimiento VADER y sentimiento TextBlobp. 30
- Tabla 9. Conjunto de datos etiquetado para el modelo de desbordep. 36
- Tabla 10. Cantidad de conversaciones con etiqueta calculadap. 45
- Tabla 11. Resultados evaluación modelo de desbordep. 45