Maestría en Ciencias de los Datos y Analítica · 2024
Revisión de técnicas estadísticas bayesianas para la coincidencia de entidades en conjuntos de datos grandes
In the context of data analysis, entity matching is a crucial task that involves identifying and pairing records that represent the same entity across different data sources. This work provides a review of various statistical techniques, with a particular focus on Bayesian methods, to address this problem in large datasets. In the theoretical framework and state of the art, various matching techniques are reviewed, including rule-based methods, text distance functions, and machine learning-based methods. Several optimization strategies are also presented to reduce the computational cost associated with entity matching, including heuristics, less complex distance measures, and fast-converging learning algorithms. A notable approach is to group and then compare entities, which significantly reduces the complexity of the necessary comparisons. In the data description section, the procedures for data acquisition and preprocessing are detailed, which are fundamental to ensure the quality and relevance of the datasets used in the experiments. The work methodology is described in detail, covering everything from business knowledge to data acquisition, understanding, and modeling. Finally, in the development of methods and results, the findings obtained through the application of the reviewed and proposed techniques in this thesis are presented. The conclusions highlight the effectiveness of Bayesian techniques and suggest areas for future research.
Full text 56 pages with text
Read the full thesis Record in the repository
Contents
- RESÚMENp. 5
- ABSTRACTp. 6
- INTRODUCCIÓNp. 7
- Planteamiento del problemap. 7
- Justificaciónp. 7
- Objetivosp. 8
- Objetivo generalp. 8
- Objetivos específicosp. 8
- MARCO TEÓRICO Y ESTADO DEL ARTEp. 9
- Coincidencia en base a reglasp. 10
- Funciones de distancia para textop. 10
- Coincidencia basada en aprendizajep. 18
- Estrategias de optimización:p. 24
- Sistemas disponibles para coincidencia de entidadesp. 25
- DESCRIPCIÓN DE LOS DATOSp. 26
- Adquisición de los datosp. 26
- Preprocesamiento de los datosp. 27
- METODOLOGÍA DE TRABAJOp. 29
- Entendimiento Empresarialp. 30
- Adquisición y comprensión de los datosp. 32
- Modeladop. 32
- Implementación:p. 42
- Aceptación del modelo:p. 43
- DESARROLLO DE LOS MÉTODOS Y RESULTADOSp. 45
- CONCLUSIONESp. 53
- Discusión de los resultadosp. 53
- Trabajo futurop. 54
- REFERENCIASp. 55
- Tabla 1 Descripción de medidas de distanciap. 10
- Tabla 2 Campos de la fuente de datos de retailp. 26
- Tabla 3 Conteo de registros por subconjunto de datosp. 28
- Tabla 4 Fuentes de datos consideradasp. 30
- Tabla 5 Estadísticos de las distribuciones para Levenshteinp. 33
- Tabla 6 Estadísticos de las distribuciones para Jaro-Winklerp. 33
- Tabla 7 Estadísticos de las distribuciones para Solapamientop. 34
- Tabla 8 Estadísticos de las distribuciones para Bagp. 34
- Tabla 9 Red Neuronal con 5 nodos padresp. 38
- Tabla 10 Estadísticos de las distribuciones para Levenshteinp. 40
- Tabla 11 Estadísticos de las distribuciones para Needleman-Wunshp. 40
- Tabla 12 Estadísticos de las distribuciones para Jarop. 40
- Tabla 13 Estadísticos de las distribuciones para Partial Ratiop. 41
- Tabla 14 Métricas de clasificaciónp. 42
- Tabla 15 Métricas del modelo inicialp. 45
- Tabla 16 Métricas de clasificación para el modelo Multinomial NBp. 46
- Tabla 17 Métricas de clasificación modelo Complemento NBp. 47
- Tabla 18 Métricas de clasificación modelo Bernoulli NBp. 47
- Tabla 19 Punto óptimo de corte para las distancias vectorialesp. 49
- Tabla 20 Métricas de clasificación de la red neuronal inicialp. 49
- Tabla 21 Métricas de clasificación red neuronal con los datos alternosp. 50
- Tabla 22 Métricas de clasificación red neuronal con los datos alternosp. 50
- Tabla 23 Métricas de clasificación red neuronal RNNp. 51
- Tabla 24 Métricas de clasificación modelo SVM Linealp. 52
- Tabla 25 Resúmen de métricas de clasificación para los modelos probadosp. 53
- Ilustración 1 Grafo acíclico eventos A, B, Cp. 22
- Ilustración 2 Red neuronal propuesta con embeddings de textop. 24
- Ilustración 3 Conteo de productos por sus agrupacionesp. 27
- Ilustración 4 Marco de trabajo TDSP en españolp. 30
- Levenshtein entre los datos reales y los sintéticosp. 33
- Winkler entre los datos reales y los sintéticosp. 33
- entre los datos reales y los sintéticosp. 34
- bolsa (bag) entre los datos reales y los sintéticosp. 34
- Ilustración 9 Matriz de correlación de los datos realesp. 35
- Ilustración 10 Matriz de correlación de los datos sintéticos por cópulasp. 36
- Ilustración 12 Distribuciones para la distancia de Levenshteinp. 39
- Ilustración 13 Distribuciones para la distancia de Needleman-Wunshp. 40
- Ilustración 14 Distribuciones para la distancia de Jarop. 40
- Ilustración 15 Distribuciones para la distancia para Partial Ratiop. 41
- Ilustración 17 Matriz de confusión, modelo inicialp. 45
- Ilustración 18 Matriz de confusión modelo Multinomial NBp. 46
- Ilustración 19 Matrices de confusión para Complemento y Bernoullip. 47
- entidadesp. 48
- Ilustración 21 Convergencia red neuronal inicialp. 49
- Ilustración 22 Matriz de confusión de la red neuronal con los datos alternosp. 50
- Ilustración 24 Convergencia de la red neuronal RNNp. 51
- Ilustración 25 Matriz de confusión red neuronal RNNp. 51
- Ilustración 26 Matriz de confusión modelo SVM linealp. 52
- Ecuación 1 Definición de similaridadp. 10
- Ecuación 2 Ejemplo de reglas de coincidenciap. 18
- Ecuación 3 Probabilidad de Bayesp. 18
- Ecuación 4 𝑃𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 𝑁𝐵 𝐺𝑎𝑢𝑠𝑠𝑖𝑎𝑛𝑜p. 19
- Ecuación 5 Probabilidad NB Multinomialp. 20
- Ecuación 6 Probabilidad NB Complementop. 20
- Ecuación 7 Probabilidad NB Bernoullip. 21
- Ecuación 8 Probabilidad NB Categóricop. 21