Medellín - Minas - Maestría en Ingeniería - Analítica · 2021
Aproximación metodológica para la integración de las metodologías DataOps y MLOps aplicadas al trading automático
Las metodologías tradicionales usadas para el desarrollo de aplicaciones de ciencia de datos dan cabida a una gran deuda técnica en su proceso desarrollo que termina por ocasionar el fracaso de muchos proyectos. Para mitigar dicha deuda, se plantea una integración entre los enfoques de DataOps y MLOps, en donde se definen los beneficios, pasos y principios a seguir en la construcción de una aplicación enmarcada bajo esta integración propuesta. Posterior a ello se comparan dos aplicaciones de trading automático usando Deep learning, una de ella es desarrollada bajo las metodologías tradicionales y otra bajo la integración de los enfoques de MLOps y DataOps. Se concluye que la integración de ambos enfoques resulta altamente provechosa, permitiendo suplir las falencias de las metodologías tradicionales y las deficiencias de cada uno de los enfoques usados de forma independiente. (Texto tomado de la fuente)
Texto completo 103 páginas con texto de 109
Leer la tesis completa Ficha en el repositorio
Contenido
- Introducciónp. 19
- Antecedentesp. 20
- Definición del problema realp. 22
- 1.2.1 Problemas asociados al despliegue de productos de analíticap. 22
- 1.2.2 Problemas asociados al trading automáticop. 25
- 1.2.3 Definición del problema en analíticap. 26
- Hipótesisp. 30
- Objetivosp. 30
- 1.4.1 Objetivo general:p. 30
- 1.4.2 Objetivos específicos:p. 30
- Mapa del documentop. 30
- Similitudes y diferencias entre DataOps y MLOpsp. 31
- Producto de datosp. 31
- Ingeniería de Datosp. 31
- DevOpsp. 17
- DataOpsp. 32
- MLOpsp. 17
- Similitudes y diferenciasp. 35
- 2.6.1 Similitudesp. 35
- 2.6.2 Diferenciasp. 36
- 2.6.3 Relación de Ingeniería de Datos y DataOpsp. 37
- Conclusionesp. 38
- Propuesta de integración de DataOps y MLOpsp. 39
- Resumenp. 40
- Consideracionesp. 41
- Marco general de la propuesta de integraciónp. 42
- Fases de la Metodologíap. 43
- 3.4.1 Datosp. 30
- machine learningp. 17
- Ingestión de datosp. 40
- Limpieza de datosp. 46
- Manipulación de datosp. 47
- Exploración de datosp. 48
- Ingeniería de característicasp. 49
- Almacén de característicasp. 50
- División de datosp. 51
- 3.4.2 Modelop. 52
- Entrenamiento y evaluación del modelop. 53
- Validación funcional del modelop. 54
- Empaquetado del modelop. 55
- 3.4.3 Desplieguep. 55
- Despliegue del modelop. 40
- Monitoreo del modelop. 57
- Monitoreo de datos, modelo e infraestructurap. 58
- Registro del modelop. 61
- Principios de la Metodologíap. 61
- 3.5.1 Versionamientop. 62
- Datosp. 30
- Modelop. 52
- Códigop. 64
- 3.5.2 Pruebasp. 65
- Datosp. 30
- Modelop. 52
- Códigop. 64
- 3.5.3 Automatizaciónp. 70
- Integración continuap. 41
- Despliegue continuop. 41
- Orquestaciónp. 40
- 3.5.4 Reproducibilidadp. 74
- Conclusiónp. 77
- Comparación práctica entre metodologíasp. 79
- Descripción conceptual del modelo de tradingp. 80
- Comparación técnica del desarrollo de ambos enfoquesp. 84
- Principiosp. 89
- 4.3.1 Versionamientop. 62
- 4.3.2 Pruebasp. 65
- 4.3.3 Automatizaciónp. 70
- Integración continuap. 41
- Despliegue Continuop. 41
- Orquestaciónp. 40
- 4.3.4 Reproducibilidadp. 74
- 4.3.5 Conclusionesp. 38
- Conclusionesp. 38
- Respuesta a la pregunta de Investigaciónp. 102
- Cumplimiento de objetivosp. 102
- 5.2.1 Objetivo generalp. 102
- 5.2.2 Objetivo específicosp. 102
- Bibliografíap. 81
- Figura 1 Niveles fundamentalesp. 42
- Figura 2. Nivel de Datosp. 43
- Figura 3. Nivel de Modelop. 52
- Figura 4. Nivel de Desplieguep. 56
- Figura 5 Algoritmo de etiquetadop. 81
- Figura 6 Ej. de características diarias financieras a Imagenp. 82
- Figura 7. Tipo de arquitectura utilizadop. 82
- Figura 8. Matriz de confusión de modelo de clasificaciónp. 83
- Figura 9. Pipeline de Datos Metodología tradicionalp. 85
- Figura 10. Pipeline de Datos en DataOps y MLOpsp. 86
- Figura 11. Pipeline de Modelo metodología tradicionalp. 88
- Figura 12. Pipeline de Modelo bajo MLOps y DataOpsp. 89
- Figura 13. Versionamiento tradicionalp. 90
- Figura 14. Versionamiento en MLOps y DataOpsp. 91
- Figura 15. Pruebas en metodologías tradicionalesp. 92
- Figura 16. Flujo de Pruebas en el desarrollo y ejecución de la aplicaciónp. 94
- Figura 17. Flujo de pruebas en CI/CDp. 96
- Figura 18. Proceso de CI y CDp. 97
- Figura 19. Ejecución del pipeline en Kubeflowp. 99
- Figura 20. Herramientas y flujo usado para reproducibilidad de la aplicaciónp. 100