Maestría en Ingeniería · 2019
Estandarización de datos y priorización de algoritmos para un sistema de recomendación
Un sistema de recomendación es un conjunto de herramientas y técnicas de software que provee sugerencias al usuario de un sistema sobre cuáles ítem le pueden ser de utilidad [1], [2]. Un negocio físico ofrece al consumidor productos o servicios populares, ya que existen limitaciones de espacio que no le permiten presentar muchas opciones en un solo lugar. Por otro lado, los negocios en línea pueden poner a disposición del consumidor cualquier cosa que exista, incluyendo artículos populares y poco populares. Este fenómeno, llamado The Long Tail, obliga a estos negocios a recomendar artículos personalizados a cada usuario [3] logrando así una mayor cobertura del catálogo y una mejor experiencia a sus clientes. La implementación y despliegue de un sistema de recomendación puede implicar una inversión sustancial, es por esto que muchas empresas de comercio electrónico prefieren externalizar los servicios de recomendación [4]. Este tipo de implementaciones son llamadas recomendaciones como servicio. El desarrollo de estos servicios requiere definir aspectos como la captura y actualización de los datos de entrenamiento, la evaluación, selección e hibridación de algoritmos según los datos disponibles y las interfaces para consumir el servicio [5]. Cada cliente, que requiere un sistema de recomendación, tiene un conjunto de datos con características específicas. Diseñar una solución para diferentes conjuntos de datos implica un proceso de preparación y adaptación a los algoritmos que se van a utilizar, esta etapa representa un esfuerzo significativo.En la literatura se encuentra una gran variedad de algoritmos de recomendación, no todos presentan los mismos resultados para diferentes conjuntos de datos. Es una tarea importante seleccionar el algoritmo que mejores resultados ofrece según las características de los datos del cliente. Este trabajo propone un sistema de recomendación que estandariza los conjuntos de datos y presenta un mecanismo que explora diferentes algoritmos, prioriza y selecciona el que mejor lo hace según un conjunto de métricas definidas. Se implementa un prototipo del sistema propuesto y se prueba con tres conjuntos de datos diferentes. Se comprueba la estandarización de los datos de entrada para los formatos propuestos, permitiendo el uso de diferentes fuentes de datos. También se usa el prototipo para entrenar, hibridar, evaluar y priorizar los algoritmos en cada conjunto de datos.
Full text 141 pages with text
Read the full thesis Record in the repository
Contents
- RESUMENp. 6
- ÍNDICE DE FIGURASp. 8
- ÍNDICE DE TABLASp. 9
- DICCIONARIO DE TÉRMINOSp. 10
- CAPÍTULO 1: INTRODUCCIÓNp. 12
- OBJETIVOSp. 16
- Objetivo general:p. 16
- Objetivos específicos:p. 16
- ALCANCEp. 17
- METODOLOGÍAp. 19
- CAPÍTULO 2: MARCO CONCEPTUAL Y TRABAJOS RELACIONADOSp. 24
- SISTEMAS DE RECOMENDACIÓNp. 24
- Datos y fuentes de conocimientop. 26
- Espacio de diseño técnico de un sistema de recomendaciónp. 29
- Dimensiones del espacio de dominiop. 29
- TÉCNICAS NO PERSONALIZADAS DE RECOMENDACIÓNp. 30
- TÉCNICAS PERSONALIZADAS DE RECOMENDACIÓNp. 31
- Filtro basado en contenidop. 32
- Filtro colaborativop. 34
- Demográficop. 35
- Basado en el conocimientop. 36
- Basado en la comunidadp. 37
- Sistemas de recomendación híbridosp. 37
- ALGORITMOS DE FILTRO COLABORATIVOp. 39
- Algoritmos básicosp. 40
- Aproximación básica de k vecinos más próximos (KNN - K-Nearest Neighbors)p. 42
- Algoritmos basados en factorización matricialp. 44
- Algoritmos Slope onep. 47
- Co-clusteringp. 47
- Propiedades de un sistema de recomendaciónp. 49
- ETL (EXTRACT – TRANSFORM – LOAD)p. 60
- MÉTODO K-FOLD PARA VALIDACIÓN CRUZADAp. 62
- ARQUITECTURA DE REFERENCIAp. 63
- SELECCIÓN DE ALGORITMOSp. 66
- CAPÍTULO 3: DISEÑO DE LA SOLUCIÓNp. 69
- MÉTODO DE ESTANDARIZACIÓN DE DATOSp. 76
- MODELO DE PRIORIZACIÓN DE ALGORITMOSp. 78
- DESCRIPCIÓN DE SERVICIOSp. 83
- IMPLEMENTACIÓN DEL PROTOTIPOp. 86
- Tecnologías seleccionadas para prototipop. 86
- Proceso ETLp. 88
- Selección de hiperparámetrosp. 90
- Entrenamiento del modelop. 90
- CAPITULO 4. VALIDACIÓN Y RESULTADOSp. 91
- INFRAESTRUCTURA PARA PRUEBASp. 92
- CASOS DE ESTUDIOp. 92
- Movielensp. 94
- ANÁLISIS DE RESULTADOSp. 128
- CONCLUSIONES Y TRABAJOS FUTUROSp. 131
- CONCLUSIONESp. 132
- TRABAJOS FUTUROSp. 133
- REFERENCIASp. 136
- Figura 2: Framework general para el proceso ETL. Tomado de [39]p. 61
- Figura 3: Arquitectura técnica para recomendar proveedores. Tomada de [42]p. 65
- Tomado de [43]p. 66
- Figura 5: Arquitectura del sistemap. 70
- Figura 6:Proceso de Sampling o muestreop. 73
- Figura 7: Proceso de entrenamiento de los algoritmosp. 73
- Figura 8: Proceso de evaluación de los modelosp. 74
- Figura 9: Proceso de hibridación de algoritmosp. 75
- Figura 10: Proceso de extracción y estandarización de datosp. 78
- Figura 11: Proceso de priorización y selección de algoritmosp. 81
- Figura 12: Dataframe resultante - Movielensp. 98
- Figura 13: Distribución de ratings - Movielensp. 100
- Figura 14: Dataframe resultante - Amazonp. 109
- Figura 15: Distribución de ratings – Amazonp. 110
- Figura 16: Dataframe resultante - Yelpp. 122
- Figura 17: Distribución de ratings - Yelpp. 123
- Tabla 1: Matriz de confusión. Tomada de [21]p. 52
- Tabla 2: Descripción estadística - Movielensp. 99
- Tabla 3: Descripción estadística - Amazonp. 110
- Tabla 4: Descripción estadística - Yelpp. 122