Ciencia de Datos
Implementación de un modelo de procesamiento de lenguaje natural para facilitar el uso de la información financiera sobre tasas de interés en créditos de Colombia
En Colombia, a pesar de la creciente era digital y la masificación de fuentes de consulta inmediatas, la brecha de desinformación sobre el área financiera emitida por los entes gubernamentales sigue sin verse afectada. Una de las posibles causas es la forma en la que se presentan los datos dentro del portal de datos abiertos, debido a que, para personas sin conocimientos técnicos en manejo de datos, es de difícil acceso la información que podrían transformar en valor. De acuerdo con esto, se desarrolló una herramienta que facilita el uso de los datos en el ámbito de las tasas de interés activas, información clasificada dentro de la sección economía y finanzas, por medio de la implementación de un LLM con fine-tuning de tipo LoRA que realiza la tarea de traducción de consultas en lenguaje natural a SQL. Esta labor se desarrolló a través de una metodología de trabajo CRISP-DM, dividida en fases como exploración, preparación y limpieza de datos, desarrollo y evaluación de resultados. De lo encontrado, se evidencia cómo el modelo de Mistral con fine-tuning LoRA tiene comparablemente mejor desempeño que SQLCoder; en consecuencia, se utilizó la configuración con mejores métricas para implementarse en la interfaz. Por último, en términos generales el proyecto se realizó con retos que debieron superarse, como las limitaciones computacionales. Se reconoce la herramienta como un producto eficiente y adecuado para contrarrestar el problema planteado, así como se presentan ideas de mejora como el incremento de muestras y se manifiestan los posibles caminos a seguir para implementarla en nuevos ámbitos.
Texto completo 85 páginas con texto
Leer la tesis completa Ficha en el repositorio
Contenido
- Introducciónp. 11
- Planteamiento del problemap. 13
- Justificaciónp. 14
- Objetivosp. 15
- Objetivo Generalp. 15
- Objetivos específicosp. 15
- Marco Teóricop. 16
- Gobierno de datos abiertosp. 16
- Inclusión financierap. 17
- Procesamiento de lenguaje natural (PNL)p. 18
- Campo del Text to SQLp. 20
- Redes Neuronalesp. 21
- Arquitectura Transformer autoregresivop. 22
- Word Embeddings y RoPEp. 22
- Self attention causalp. 24
- Multi-head attentionp. 25
- Grouped query attentionp. 27
- Sliding window attentionp. 28
- Feed forward networkp. 28
- Técnica supervisada de Fine-tunig LoRAp. 29
- Metodologíap. 31
- 7. Cronogramap. 38
- 8. Desarrollo de la metodologíap. 39
- 8.1 Exploración inicial y benchmarkingp. 39
- 8.1.1 Exploración preliminarp. 39
- 8.1.2 Exploración inicial y elección de modelosp. 41
- 8.2 Preparación y procesamiento de datosp. 49
- 8.3 desarrollo e implementación de modelos en el contexto problemap. 56
- 8.4 Fine-tunningp. 56
- 8.5 Exportación de los modelosp. 59
- 8.6 Presentación de la interfazp. 60
- 9. Resultadosp. 63
- 10. Conclusionesp. 69
- 11. Referenciasp. 72
- 12. Apéndicep. 74