Professor X Estudiantes:
Frederick J. Casta˜neda Perez Santiago Murillo Ossa Director:
Jose Alfredo Jaramillo Villegas, PhD. Universidad Tecnol´ogica de Pereira
2025
´Indice
1. INTRODUCCI´ON
3
2. Objetivo general
3
2.1. Objetivos espec´ıficos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3. MARCO REFERENCIAL
4
3.1. Antecedentes de la idea
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
3.2. Definici´on del problema
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
3.3. Estado del arte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
3.3.1.
T´ecnicas de Ajuste Fino en LLMs
. . . . . . . . . . . . . . . . . . . . . . . . . .
5
3.3.2.
Innovaciones en Ajuste Fino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
3.3.3.
Aplicaciones Espec´ıficas de Ajuste Fino
. . . . . . . . . . . . . . . . . . . . . . .
6
3.3.4.
Optimizaci´on y Desempe˜no . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
3.3.5.
Enfoques Multimodales y Contextuales
. . . . . . . . . . . . . . . . . . . . . . .
7
3.3.6.
Aplicaciones en Salud y Bienestar
. . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.4. Comparaci´on y Contraste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.4.1.
Similitudes
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.4.2.
Diferencias
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.4.3.
Fortalezas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.4.4.
Debilidades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
4. Marco Te´orico
10
4.1. Introducci´on a los Modelos de Lenguaje de Gran Escala (LLMs)
. . . . . . . . . . . . .
10
4.2. Importancia del Ajuste Fino (Fine-tuning) . . . . . . . . . . . . . . . . . . . . . . . . . .
10
4.3. T´ecnicas Avanzadas de Ajuste Fino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
5. MARCO METODOL´OGICO
12
5.1. Identificar una tem´atica espec´ıfica donde la especializaci´on del modelo puede tener un impacto significativo.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
5.1.1.
Identificaci´on de la Tem´atica Espec´ıfica
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
5.2. Desarrollar y aplicar una metodolog´ıa de fine-tuning para ajustar LLaMA a la tem´atica seleccionada.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
5.2.1.
Selecci´on y Preparaci´on del Dataset
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
5.2.2.
Desarrollo de la Metodolog´ıa de Fine-Tuning
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
5.3. Evaluar la precisi´on y relevancia del modelo especializado mediante pruebas controladas.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
5.3.1.
Evaluaci´on del Modelo Especializado
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
5.4. Documentar y analizar los resultados para establecer un marco de mejora continua en
la especializaci´on del modelo.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
5.4.1.
Documentaci´on y An´alisis de Resultados
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
5.5. Promover la adaptaci´on del modelo especializado en aplicaciones pr´acticas.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
5.5.1.
Aplicaci´on del Modelo Especializado
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
5.5.2.
Plan de Adaptaci´on y Evaluaci´on
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6. CRONOGRAMA
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
6. RESULTADOS
22
6.1. Identificar una tem´atica espec´ıfica donde la especializaci´on del modelo puede tener un impacto significativo
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
6.2. Desarrollar y aplicar una metodolog´ıa de fine-tuning para ajustar LLaMA a la tem´atica seleccionada
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
6.3. Documentar y analizar los resultados para establecer un marco de mejora continua en
la especializaci´on del modelo
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
6.4. Promover la adaptaci´on del modelo especializado en aplicaciones pr´acticas relevantes . .
23
7. CONCLUSIONES
44
8. BIBLIOGRAF´IA
1.
INTRODUCCI´ON
¿C´omo puede el proceso de fine-tuning mejorar la capacidad de un Modelo de Lenguaje de Gran Tama˜no, como LLaMA, para generar contenido espec´ıfico y relevante sobre una tem´atica determinada? En la era digital, la educaci´on enfrenta desaf´ıos ´unicos, especialmente en la integraci´on de tecnolog´ıas avanzadas. Este proyecto propone utilizar el ajuste fino (fine-tuning) de un Modelo de Lenguaje de Gran Tama˜no (LLM), como LLaMA, para especializarlo en un ´area tem´atica espec´ıfica. La relevancia de esta iniciativa radica en su capacidad para desarrollar herramientas que se ajusten precisamente a tem´aticas especializadas, mejorando la precisi´on y relevancia de las respuestas generadas.
2.
Objetivo general Especializar LLaMA, un Modelo de Lenguaje de Gran Tama˜no, para que pueda generar contenido preciso y relevante sobre un ´area tem´atica espec´ıfica.
2.1.
Objetivos espec´ıficos Identificar una tem´atica espec´ıfica donde la especializaci´on del modelo puede tener un impacto significativo.
Desarrollar y aplicar una metodolog´ıa de fine-tuning para ajustar LLaMA a la tem´atica seleccionada.
Evaluar la precisi´on y relevancia del modelo especializado mediante pruebas controladas. Documentar y analizar los resultados para establecer un marco de mejora continua en la especializaci´on del modelo.
Promover la adaptaci´on del modelo especializado en aplicaciones pr´acticas relevantes.
3.
MARCO REFERENCIAL
3.1.
Antecedentes de la idea El creciente inter´es en la especializaci´on de Modelos de Lenguaje de Gran Tama˜no (LLMs) para aplicaciones concretas subraya la necesidad de adaptar estas tecnolog´ıas a necesidades espec´ıficas mediante el uso de redes neuronales profundas. Aunque los LLMs han demostrado una gran versatilidad, su potencial para ser especializados en ´areas tem´aticas concretas a´un no se ha explotado completamente, lo que refleja una oportunidad significativa para mejorar tanto la funcionalidad como la eficacia de estos modelos. La evoluci´on de las arquitecturas de redes neuronales, como las redes transformadoras, ha permitido avances notables, pero la personalizaci´on de los LLMs sigue siendo un desaf´ıo que se puede superar con t´ecnicas como el fine-tuning.
Esta brecha en su aplicaci´on pr´actica abre puertas a la especializaci´on, utilizando redes neuronales para ajustar los modelos a dominios particulares, lo que optimiza su rendimiento en tareas espec´ıficas. Aunque los modelos de lenguaje masivos como GPT-4 han demostrado su capacidad en una variedad de tareas, su habilidad para generar respuestas altamente especializadas y contextualmente relevantes en dominios t´ecnicos sigue siendo limitada. El ajuste fino de LLMs utilizando conjuntos de datos especializados de redes neuronales puede abordar esta limitaci´on, incrementando su capacidad para procesar y comprender la terminolog´ıa y los conceptos complejos propios de cada campo, como la educaci´on, la medicina, el derecho y otros.
El ajuste fino de los LLMs no solo mejora la precisi´on de las respuestas generadas, sino que tambi´en refina su arquitectura neuronal para optimizar la comprensi´on y el procesamiento de datos. Mediante t´ecnicas de transferencia de aprendizaje y redes neuronales espec´ıficas, es posible configurar el modelo para adaptarse a las caracter´ısticas ´unicas de cada dominio. Esta capacidad es particularmente valiosa en el ´ambito educativo, donde los sistemas basados en redes neuronales pueden ofrecer conocimientos profundos y precisos, esenciales para el ´exito acad´emico. Las redes neuronales permiten la creaci´on de materiales educativos personalizados y la provisi´on de asistencia en tiempo real para los estudiantes, lo que mejora la experiencia de aprendizaje.
Adem´as, la implementaci´on de modelos especializados a trav´es de redes neuronales puede llevar a una mayor eficiencia en el uso de recursos computacionales. Al enfocar el entrenamiento en un conjunto de datos espec´ıfico, los modelos ajustados pueden operar de manera m´as eficiente, minimizando la necesidad de grandes vol´umenes de datos y reduciendo el tiempo de procesamiento. Este enfoque no solo mejora el rendimiento, sino que tambi´en facilita la adopci´on de estas tecnolog´ıas en entornos con recursos limitados, maximizando el impacto de las redes neuronales en sectores como la educaci´on y la investigaci´on acad´emica.
3.2.
Definici´on del problema La limitaci´on de generalidad en los Modelos de Lenguaje de Gran Tama˜no impide la generaci´on de contenido altamente especializado y relevante. Los modelos preentrenados, aunque poderosos, suelen ofrecer respuestas gen´ericas que no siempre satisfacen las necesidades espec´ıficas de usuarios en ´areas especializadas. Este proyecto busca especializar LLaMA el cual es un LLM open source desarrollado por Meta en una tem´atica espec´ıfica mediante el fine-tuning, ajustando los par´ametros del modelo con datos espec´ıficos del dominio de inter´es. As´ı, LLaMA podr´a generar respuestas m´as precisas y contextuales, mejorando su aplicabilidad y utilidad en contextos educativos y otros campos t´ecnicos, superando las limitaciones actuales.
El fine-tuning de Modelos de Lenguaje de Gran Escala (LLM) para especializaci´on en ´areas espec´ıficas ha emergido como una pr´actica clave en el campo de la inteligencia artificial y el procesamiento de lenguaje natural (NLP). La evoluci´on de los LLMs, como GPT-3 y BERT, ha transformado significativamente estas disciplinas, demostrando capacidades impresionantes en diversas tareas de NLP, desde la generaci´on de texto hasta la traducci´on autom´atica y el an´alisis de sentimientos. Sin embargo, para maximizar su efectividad en aplicaciones espec´ıficas, es imprescindible realizar un ajuste fino (fine-tuning) que permita especializar su conocimiento y adaptarlo a contextos espec´ıficos de uso.
En este estado del arte, se presenta una visi´on cr´ıtica y comprensiva de los trabajos relevantes en el campo del fine-tuning de LLMs, empleando una selecci´on de 20 art´ıculos clave. Estos estudios proporcionan una base s´olida y una referencia valiosa para el desarrollo del proyecto de especializaci´on de un LLMs. Los art´ıculos seleccionados abarcan diversas metodolog´ıas y enfoques de ajuste fino, explorando t´ecnicas avanzadas de optimizaci´on, transferencia de aprendizaje y enriquecimiento de datos.
3.3.
Estado del arte El proceso de fine-tuning implica ajustar los par´ametros de un modelo preentrenado utilizando un conjunto de datos espec´ıfico del dominio de inter´es. Este ajuste permite que el modelo genere respuestas m´as precisas y contextualmente relevantes, aline´andose mejor con las necesidades del usuario en un campo particular. En el contexto educativo, esta tecnolog´ıa puede ser revolucionaria, proporcionando un recurso valioso tanto para estudiantes como para educadores. Puede facilitar el aprendizaje personalizado, adapt´andose a las necesidades y niveles de comprensi´on de cada estudiante, y ofreciendo contenidos y respuestas que est´an directamente alineados con los planes de estudio y objetivos educativos espec´ıficos.
Adem´as, la implementaci´on de LLaMA en el ´ambito educativo no solo mejora la precisi´on de los contenidos generados, sino que tambi´en contribuye a la creaci´on de una plataforma de aprendizaje m´as interactiva y din´amica. Los estudiantes pueden beneficiarse de respuestas detalladas y contextualizadas en tiempo real, lo que puede llevar a una mayor comprensi´on y retenci´on de la informaci´on. Por otro lado, los educadores pueden utilizar esta tecnolog´ıa para dise˜nar materiales de ense˜nanza m´as efectivos y personalizados, optimizando as´ı el proceso de ense˜nanza-aprendizaje.
La capacidad de los LLMs para ser afinados y especializados en ´areas tem´aticas espec´ıficas abre un abanico de posibilidades en la educaci´on superior. Esto incluye desde la generaci´on de explicaciones detalladas sobre conceptos complejos hasta la creaci´on de ejercicios y evaluaciones personalizadas.
3.3.1.
T´ecnicas de Ajuste Fino en LLMs Seg´un (Lankford, Afli y Way, 2023), el ajuste fino en lenguas con pocos recursos es crucial para mejorar la precisi´on y cobertura ling¨u´ıstica de los modelos de lenguaje a gran escala (LLMs) en contextos multiling¨ues con recursos limitados. Utilizando t´ecnicas de transferencia de aprendizaje y enriquecimiento de datos, este enfoque busca optimizar los LLMs para maximizar su utilidad y efectividad en entornos con escasez de datos. Los resultados demuestran mejoras significativas en la precisi´on y cobertura, subrayando la relevancia de adaptar los modelos a contextos espec´ıficos. Por otro lado, (Kumar, 2024) destacan que el ajuste fino y la cuantizaci´on pueden aumentar las vulnerabilidades de los LLMs a ataques adversarios. Este estudio identifica nuevas vulnerabilidades que surgen durante estos procesos y propone medidas para mitigarlas. La investigaci´on se enfoca en la seguridad y robustez de los modelos, subrayando la necesidad de implementar estrategias que protejan a los LLMs frente a posibles amenazas mientras se optimiza su rendimiento y eficiencia. Adem´as, (Zhang et al., 2024) abordan la dualidad entre especializaci´on y versatilidad en los LLMs. Este estudio propone un enfoque balanceado que permite a los modelos mantener un alto rendimiento en tareas espec´ıficas sin sacrificar su adaptabilidad general. Este enfoque es crucial para aplicaciones especializadas, permitiendo a los LLMs ser altamente efectivos en contextos particulares mientras conservan la flexibilidad necesaria para adaptarse a una variedad de tareas. La investigaci´on sugiere que es posible lograr un equilibrio entre especializaci´on y versatilidad, optimizando as´ı el rendimiento de los modelos en m´ultiples dominios sin comprometer su capacidad general.
En conjunto, estas t´ecnicas de ajuste fino son fundamentales para mejorar la precisi´on, seguridad y adaptabilidad de los LLMs en aplicaciones especializadas. La revisi´on de estos estudios proporciona una base s´olida para entender los desaf´ıos y oportunidades en la especializaci´on de LLMs, guiando el
desarrollo de estrategias efectivas para optimizar estos modelos en contextos espec´ıficos.
3.3.2.
Innovaciones en Ajuste Fino El art´ıculo seg´un (Xiao y Chen, 2023) introduce un enfoque evolutivo para la generaci´on de res´umenes de noticias, utilizando algoritmos gen´eticos para mejorar la capacidad del modelo. Este m´etodo innovador demuestra una mejora significativa en la calidad de los res´umenes generados, al optimizar iterativamente los par´ametros del modelo para obtener resultados m´as coherentes y precisos. La utilizaci´on de algoritmos gen´eticos permite explorar una amplia gama de configuraciones posibles, seleccionando las m´as efectivas para la tarea espec´ıfica de generar res´umenes informativos y concisos. Este avance no solo mejora la calidad del contenido generado, sino que tambi´en abre nuevas posibilidades para la aplicaci´on de LLMs en la s´ıntesis de informaci´on.
A continuaci´on, seg´un (Huang et al., 2023), se explora el uso de LLMs como evaluadores de otros LLMs. Este estudio demuestra que los modelos pueden ser entrenados para evaluar la calidad de las respuestas generadas por otros modelos, ofreciendo una nueva perspectiva en la evaluaci´on autom´atica de LLMs. La implementaci´on de LLMs como jueces permite una evaluaci´on m´as objetiva y consistente, reduciendo la dependencia de evaluaciones humanas y acelerando el proceso de mejora continua de los modelos. Este enfoque tambi´en facilita la comparaci´on sistem´atica de diferentes modelos y t´ecnicas de ajuste fino, identificando las estrategias m´as efectivas para diversas aplicaciones. Adem´as, el art´ıculo seg´un (Hu et al., 2023) presenta adaptadores que permiten un ajuste fino eficiente en t´erminos de par´ametros, reduciendo significativamente el n´umero de par´ametros necesarios y manteniendo un alto rendimiento. Estos adaptadores act´uan como m´odulos intermediarios que se integran f´acilmente con los modelos existentes, permitiendo ajustes finos r´apidos y efectivos sin la necesidad de reentrenar completamente el modelo base. Esta innovaci´on no solo mejora la eficiencia del ajuste fino, sino que tambi´en reduce los recursos computacionales y el tiempo requerido, haciendo que la especializaci´on de LLMs sea m´as accesible y pr´actica en una variedad de contextos. Estas innovaciones en t´ecnicas de ajuste fino subrayan el potencial de optimizar los LLMs para tareas espec´ıficas, mejorando tanto la calidad del contenido generado como la eficiencia del proceso de ajuste. La revisi´on de estos estudios proporciona una comprensi´on m´as profunda de las metodolog´ıas avanzadas y sus aplicaciones pr´acticas, ofreciendo una gu´ıa valiosa para el desarrollo de estrategias efectivas en la especializaci´on de LLMs.
3.3.3.
Aplicaciones Espec´ıficas de Ajuste Fino El art´ıculo seg´un (Ma et al., 2024) utiliza LLMs ajustados finamente para la auditor´ıa de contratos inteligentes, combinando ajuste fino con agentes basados en LLM para proporcionar auditor´ıas justificadas y mejoradas en transparencia. Este enfoque permite que los modelos no solo detecten posibles problemas en los contratos inteligentes, sino que tambi´en ofrezcan explicaciones detalladas y justificadas sobre los hallazgos. La combinaci´on de ajuste fino y agentes basados en LLM mejora la precisi´on y la confiabilidad de las auditor´ıas, proporcionando una herramienta m´as robusta y transparente para la auditor´ıa de contratos inteligentes, lo cual es crucial en el ´ambito legal y financiero. A su vez, seg´un (Lin et al., 2024), se enfoca en la eficiencia de datos para el ajuste fino de LLMs en sistemas de recomendaci´on. Este estudio busca reducir la cantidad de datos necesarios para entrenar modelos efectivos, lo cual es particularmente importante en contextos con datos limitados. La investigaci´on presenta t´ecnicas innovadoras para optimizar el uso de datos, permitiendo que los modelos aprendan de manera m´as eficiente y efectiva. Al reducir la necesidad de grandes vol´umenes de datos, este enfoque no solo mejora la accesibilidad del ajuste fino, sino que tambi´en acelera el proceso de entrenamiento, haciendo posible la implementaci´on de sistemas de recomendaci´on efectivos en una variedad de entornos y aplicaciones.
Por otro lado, el art´ıculo seg´un (Goel et al., 2023) explora el ajuste fino de LLMs para mejorar la comprensi´on del lenguaje natural en lenguas con pocos recursos. Utilizando t´ecnicas avanzadas para compensar la falta de datos de entrenamiento, este estudio demuestra c´omo el ajuste fino puede ser adaptado para mejorar la precisi´on y comprensi´on en lenguas minoritarias o menos estudiadas. Las
t´ecnicas presentadas incluyen la transferencia de aprendizaje y el uso de datos sint´eticos para enriquecer el conjunto de datos de entrenamiento, logrando as´ı que los LLMs puedan manejar mejor las particularidades y sutilezas de estos idiomas. Este avance es crucial para la preservaci´on y revitalizaci´on de lenguas en peligro, as´ı como para proporcionar herramientas ling¨u´ısticas m´as inclusivas y accesibles a nivel global.
En conjunto, estas aplicaciones espec´ıficas de ajuste fino destacan el potencial de los LLMs para ser adaptados a una amplia gama de tareas especializadas. Desde la auditor´ıa de contratos inteligentes hasta la recomendaci´on eficiente de datos y la comprensi´on mejorada del lenguaje natural en lenguas con pocos recursos, las t´ecnicas de ajuste fino permiten que los modelos sean m´as precisos, eficientes y relevantes en contextos espec´ıficos. La revisi´on de estos estudios proporciona insights valiosos para el desarrollo de aplicaciones pr´acticas y efectivas de LLMs, subrayando la importancia de la especializaci´on en la mejora del rendimiento y la utilidad de estos modelos en diversos dominios.
3.3.4.
Optimizaci´on y Desempe˜no El art´ıculo seg´un (Zhang et al., 2024) investiga c´omo el escalado del modelo, la cantidad de datos y los m´etodos de ajuste fino afectan el rendimiento de los LLMs, proporcionando directrices valiosas para maximizar la precisi´on y eficiencia del modelo mediante un enfoque equilibrado. Este enfoque de optimizaci´on del rendimiento de los LLMs se complementa con la t´ecnica presentada por (Liu et al., 2024), que introduce una optimizaci´on de orden cero para el ajuste fino con un menor n´umero de par´ametros. Esta t´ecnica mejora la eficiencia en t´erminos de memoria y computaci´on, logrando mantener un alto rendimiento del modelo a pesar de la reducci´on en la cantidad de par´ametros ajustados. La investigaci´on muestra c´omo la optimizaci´on de orden cero puede ser una estrategia efectiva para mejorar la eficiencia de los LLMs, especialmente en entornos con recursos computacionales limitados. Al reducir la complejidad del modelo sin comprometer su rendimiento, esta t´ecnica es particularmente ´util para aplicaciones pr´acticas donde la eficiencia es crucial. A su vez, (Zhang et al., 2024) profundiza en la optimizaci´on de orden cero, enfoc´andose en reducir significativamente el uso de memoria mientras se mantiene un rendimiento competitivo. Esta investigaci´on revisita y mejora t´ecnicas de optimizaci´on de orden cero, proponiendo m´etodos innovadores para minimizar el consumo de memoria durante el proceso de ajuste fino. Los resultados indican que es posible lograr un ajuste fino eficiente y efectivo sin la necesidad de grandes cantidades de memoria, lo que es esencial para la implementaci´on de LLMs en dispositivos con capacidades limitadas o en entornos donde la eficiencia de recursos es una prioridad.
En conjunto, estas investigaciones sobre optimizaci´on y desempe˜no ofrecen un marco s´olido para entender c´omo mejorar la eficiencia y efectividad del ajuste fino en LLMs. Al abordar tanto la escalabilidad del modelo como la eficiencia en el uso de par´ametros y memoria, estos estudios proporcionan estrategias pr´acticas para optimizar el rendimiento de los LLMs en una variedad de aplicaciones.
3.3.5.
Enfoques Multimodales y Contextuales El art´ıculo seg´un (Li et al., 2023) investiga el ajuste fino de LLMs multimodales para seguir instrucciones demostrativas sin entrenamiento previo. Este enfoque combina m´ultiples modalidades, como texto e imagen, para mejorar la comprensi´on y el seguimiento de instrucciones. La investigaci´on demuestra que al integrar diferentes tipos de datos, los LLMs pueden desarrollar una mejor capacidad para interpretar y ejecutar instrucciones complejas en diversos formatos. Esta capacidad es especialmente ´util en aplicaciones donde la interacci´on con m´ultiples tipos de informaci´on es esencial, como en la educaci´on, la asistencia m´edica y la inteligencia artificial aplicada a la rob´otica. Por otro lado, el art´ıculo seg´un (Jin et al., 2024) presenta un enfoque innovador para extender la ventana de contexto de los LLMs sin necesidad de ajuste fino. Esta t´ecnica permite a los modelos procesar y generar texto en contextos m´as largos, mejorando su capacidad para mantener la coherencia
y relevancia en respuestas extensas. Al evitar el ajuste fino, esta t´ecnica reduce significativamente el tiempo y los recursos necesarios para modificar el modelo, haciendo que la extensi´on de la ventana de contexto sea m´as accesible y pr´actica. Este enfoque es particularmente valioso en aplicaciones que requieren procesamiento de grandes vol´umenes de texto, como la generaci´on de informes detallados o la asistencia en tareas de investigaci´on.
Estos enfoques multimodales y contextuales subrayan la importancia de integrar diferentes tipos de datos y extender las capacidades de los LLMs para mejorar su rendimiento en tareas complejas. La combinaci´on de modalidades textuales y visuales permite a los modelos comprender mejor las instrucciones y el contexto, lo que se traduce en respuestas m´as precisas y ´utiles. Adem´as, la capacidad de extender la ventana de contexto sin necesidad de ajuste fino ofrece una soluci´on eficiente para manejar tareas que requieren un procesamiento de informaci´on m´as profundo y extenso.
3.3.6.
Aplicaciones en Salud y Bienestar Seg´un (Yang et al., 2024), se ha identificado un problema en la disminuci´on de la capacidad de comprensi´on de contextos largos en los modelos de lenguaje grandes (LLMs) especializados en el ´ambito m´edico. Aunque estos modelos mejoran en conocimientos espec´ıficos del dominio, su rendimiento en la comprensi´on de contextos largos y el seguimiento de instrucciones se ve afectado. A trav´es de experimentos, se investiga c´omo el ajuste fino con datos generales y m´edicos puede influir en esta capacidad. Los resultados muestran que, aunque los LLMs m´edicos mejoran con datos m´edicos espec´ıficos, su rendimiento en comprensi´on de contextos largos disminuye. Sin embargo, ajustando estos modelos con una proporci´on adecuada de datos generales, es posible mejorar su capacidad para entender contextos largos, logrando un equilibrio entre conocimiento especializado y comprensi´on amplia del lenguaje. En esta misma l´ınea, el art´ıculo de (Shima et al., 2023) se enfoca en mejorar la capacidad de respuesta de los LLMs mediante el ajuste fino de la ingenier´ıa de prompts. Esta t´ecnica optimiza la presentaci´on de los prompts para obtener respuestas m´as precisas y coherentes. La investigaci´on revela que ajustar finamente c´omo se formulan las preguntas y se estructuran las solicitudes puede tener un impacto significativo en la calidad de las respuestas generadas por los LLMs. Este enfoque resulta especialmente ´util en aplicaciones m´edicas, donde la claridad y precisi´on de la informaci´on son esenciales para la toma de decisiones cl´ınicas y la atenci´on al paciente.
Estas investigaciones subrayan el potencial de los LLMs ajustados finamente para transformar la manera en que se proporciona atenci´on m´edica y se gestionan las consultas de salud. Al mejorar la precisi´on y relevancia de las recomendaciones m´edicas, estos modelos pueden apoyar a los profesionales de la salud en la toma de decisiones informadas y ofrecer a los pacientes una experiencia m´as personalizada y efectiva. Adem´as, la optimizaci´on de la ingenier´ıa de prompts facilita una comunicaci´on m´as clara y efectiva en contextos m´edicos, mejorando la interacci´on entre los usuarios y los modelos. Esto evidencia c´omo los ajustes espec´ıficos en los LLMs pueden abordar tanto la comprensi´on de contextos largos como la precisi´on en las respuestas, integrando as´ı conocimiento especializado con una interacci´on m´as eficaz.
3.4.
Comparaci´on y Contraste En esta secci´on se realizar´a una comparaci´on y contraste de varios estudios que se centran en mejorar el rendimiento y la eficiencia de los Modelos de Lenguaje Grandes (LLMs) mediante t´ecnicas de ajuste fino. Se analizar´an las similitudes entre los estudios, como el uso de t´ecnicas avanzadas de aprendizaje y optimizaci´on, as´ı como sus diferencias en t´erminos de aplicaciones espec´ıficas y enfoques innovadores. Adem´as, se evaluar´an las fortalezas, incluyendo la innovaci´on y diversidad en t´ecnicas aplicadas, y se identificar´an las debilidades, tales como la complejidad de implementaci´on y los riesgos de privacidad y seguridad en aplicaciones m´edicas.
3.4.1.
Similitudes Todos los estudios se centran en mejorar el rendimiento y la eficiencia de los LLMs mediante t´ecnicas de ajuste fino.
Utilizan t´ecnicas avanzadas como la transferencia de aprendizaje, optimizaci´on de orden cero y ajuste fino multimodal.
Enfoques innovadores para abordar problemas espec´ıficos como la eficiencia de datos, seguridad, y personalizaci´on.
3.4.2.
Diferencias Algunos estudios, como (Ma et al., 2024), se enfocan en aplicaciones espec´ıficas como la auditor´ıa de contratos inteligentes, mientras que otros son m´as generales.
(Lin et al., 2024) y (Li et al., 2023) se centran en la eficiencia de datos y la integraci´on multimodal, respectivamente.
(Jin et al., 2024) presenta una t´ecnica ´unica para extender la ventana de contexto sin ajuste fino, a diferencia de otros estudios que optimizan directamente el ajuste fino.
3.4.3.
Fortalezas Innovaci´on en t´ecnicas de ajuste fino y optimizaci´on de LLMs.
Diversidad en enfoques que permiten aplicaciones en distintos contextos y dominios. Mejora en la eficiencia y efectividad de los LLMs en contextos espec´ıficos y generales.
3.4.4.
Debilidades Complejidad en la implementaci´on y necesidad de datos de alta calidad para el entrenamiento. Potencial riesgo de privacidad y seguridad en aplicaciones m´edicas.
Necesidad de ajustes constantes y t´ecnicas avanzadas para mantener la efectividad y precisi´on de los modelos.
El campo del ajuste fino de modelos de lenguaje de gran escala sigue evolucionando r´apidamente, con enfoques innovadores que mejoran la eficiencia y efectividad de los LLMs. La combinaci´on de t´ecnicas avanzadas, aplicaciones espec´ıficas y optimizaci´on de recursos presenta un camino prometedor para la especializaci´on de LLMs en diversas ´areas, proporcionando herramientas poderosas para la resoluci´on de problemas complejos en distintos dominios. Con el continuo avance de las t´ecnicas de aprendizaje profundo y la disponibilidad de datos, es probable que estos modelos jueguen un papel cada vez m´as importante en la especializaci´on y mejora del rendimiento en aplicaciones espec´ıficas.
4.
Marco Te´orico
4.1.
Introducci´on a los Modelos de Lenguaje de Gran Escala (LLMs) Los Modelos de Lenguaje de Gran Escala (LLMs) como GPT-3, BERT y otros, han revolucionado el campo del procesamiento de lenguaje natural (NLP) debido a su capacidad para entender y generar texto humano con una precisi´on sin precedentes. Estos modelos, entrenados en vastos corpus de datos textuales, son capaces de realizar una amplia gama de tareas ling¨u´ısticas, desde la traducci´on de idiomas hasta la redacci´on de textos coherentes y contextualmente apropiados. La arquitectura subyacente de los LLMs, basada en transformadores, permite que estos modelos capturen relaciones complejas y contextuales en el lenguaje, lo que les permite generar respuestas que son no solo precisas, sino tambi´en relevantes y contextualmente adecuadas. Este avance ha permitido aplicaciones en diversos campos, desde asistentes virtuales hasta la creaci´on de contenido automatizado, demostrando su versatilidad y potencia. Adem´as, la capacidad de los LLMs para aprender de una amplia variedad de datos textuales les permite adaptarse a diferentes dominios y estilos de lenguaje, lo que los hace extremadamente ´utiles en un entorno digital cada vez m´as diverso y din´amico. La capacidad de los LLMs para realizar tareas complejas de NLP tambi´en ha abierto nuevas posibilidades para la investigaci´on y el desarrollo en inteligencia artificial. Por ejemplo, los LLMs han sido utilizados para analizar grandes vol´umenes de datos textuales, identificar patrones y tendencias, y generar hip´otesis basadas en el an´alisis de textos. Esta capacidad ha sido particularmente valiosa en campos como la biomedicina, donde los investigadores pueden utilizar LLMs para analizar art´ıculos cient´ıficos, identificar nuevas ´areas de investigaci´on y generar nuevos conocimientos. En resumen, los LLMs representan una herramienta poderosa y vers´atil que tiene el potencial de transformar una amplia gama de industrias y aplicaciones.
4.2.
Importancia del Ajuste Fino (Fine-tuning) El ajuste fino de LLMs implica tomar un modelo preentrenado y adaptarlo a una tarea espec´ıfica mediante un entrenamiento adicional con un conjunto de datos m´as peque˜no y especializado. Este proceso es crucial para mejorar la precisi´on y relevancia del modelo en contextos espec´ıficos, permitiendo su aplicaci´on en dominios como la medicina, la legalidad, la finanza, y muchos otros. El ajuste fino permite que los modelos aprovechen el conocimiento general adquirido durante el preentrenamiento y lo enfoquen en problemas particulares, aumentando as´ı su efectividad y utilidad en aplicaciones pr´acticas. El art´ıculo seg´un (Lankford, Afli y Way, 2023) destaca c´omo el ajuste fino puede ayudar a mejorar el rendimiento de LLMs en lenguas con pocos recursos, utilizando t´ecnicas de transferencia de aprendizaje y enriquecimiento de datos. Este enfoque es esencial para adaptar los LLMs a contextos multiling¨ues con recursos limitados, ampliando su aplicabilidad y mejorando su capacidad para proporcionar respuestas precisas y culturalmente relevantes en m´ultiples idiomas. La transferencia de aprendizaje permite que los modelos utilicen informaci´on de lenguas m´as ricas en datos para mejorar su rendimiento en lenguas menos documentadas, lo que es crucial para la inclusi´on y el acceso equitativo a la tecnolog´ıa.
Por otro lado, el art´ıculo seg´un (Kumar, 2024) revela que el ajuste fino puede introducir vulnerabilidades en los modelos, lo que subraya la importancia de considerar la seguridad y robustez durante el proceso de ajuste fino. La cuantizaci´on y el ajuste fino pueden exponer a los modelos a ataques adversarios y errores de seguridad, lo que es especialmente preocupante en aplicaciones sensibles como la medicina y la finanza. Este hallazgo resalta la necesidad de desarrollar t´ecnicas de ajuste fino que no solo optimicen el rendimiento, sino que tambi´en fortalezcan la seguridad y la integridad del modelo.
4.3.
T´ecnicas Avanzadas de Ajuste Fino Diversos estudios han explorado t´ecnicas avanzadas para optimizar el proceso de ajuste fino de LLMs, proponiendo enfoques innovadores que mejoran tanto la precisi´on como la eficiencia del modelo. Estos estudios abordan diferentes aspectos del ajuste fino, desde la especializaci´on y la versatilidad hasta la eficiencia en el uso de par´ametros y recursos computacionales. El art´ıculo seg´un (Zhang et al., 2024) aborda la necesidad de equilibrar la especializaci´on y versatilidad de los LLMs, permitiendo que mantengan un rendimiento alto en tareas espec´ıficas sin sacrificar su adaptabilidad general. Este enfoque propone t´ecnicas que permiten a los modelos ser altamente efectivos en contextos particulares, mientras conservan la flexibilidad necesaria para adaptarse a una variedad de tareas. Este equilibrio es crucial para aplicaciones que requieren tanto precisi´on especializada como la capacidad de manejar diferentes tipos de consultas y contextos. Seg´un (Xiao y Chen, 2023), introduce un enfoque evolutivo utilizando algoritmos gen´eticos para mejorar la capacidad del modelo en la generaci´on de res´umenes de noticias. Este m´etodo innovador aplica t´ecnicas evolutivas para iterar sobre las configuraciones del modelo, seleccionando las m´as efectivas para optimizar la calidad de los res´umenes generados. Los algoritmos gen´eticos permiten explorar una amplia gama de par´ametros y configuraciones, mejorando la capacidad del modelo para generar res´umenes precisos y coherentes de manera eficiente.
El art´ıculo seg´un (Hu et al., 2023) propone adaptadores para un ajuste fino eficiente en t´erminos de par´ametros, reduciendo significativamente la cantidad de recursos necesarios. Estos adaptadores act´uan como m´odulos intermediarios que se integran con los modelos existentes, permitiendo ajustes finos r´apidos y efectivos sin necesidad de modificar toda la estructura del modelo. Esta t´ecnica no solo mejora la eficiencia del ajuste fino, sino que tambi´en reduce el tiempo y los recursos computacionales requeridos, haciendo que la especializaci´on de LLMs sea m´as accesible y pr´actica para una variedad de aplicaciones.
5.
MARCO METODOL´OGICO
5.1.
Identificar una tem´atica espec´ıfica donde la especializaci´on del modelo puede tener un impacto significativo.
5.1.1.
Identificaci´on de la Tem´atica Espec´ıfica Como parte del desarrollo en el grupo de Investigaci´on Sirius, se ha identificado el dise˜no e implementaci´on de arquitectura reconfigurable con RISC-V como ´area de especializaci´on. Esta tem´atica se alinea con el programa acad´emico de Arquitectura de Computadores y se basa en el alto nivel de conocimiento y experiencia de los autores del proyecto, asegurando una base s´olida para el ajuste fino del modelo de lenguaje.
El enfoque en RISC-V y arquitectura reconfigurable es particularmente relevante debido a la creciente importancia de estas tecnolog´ıas en el dise˜no de sistemas computacionales modernos. RISC-V es una arquitectura de conjunto de instrucciones (ISA) abierta y libre que ha ganado una considerable tracci´on en la industria y la academia por su flexibilidad y eficiencia. La capacidad de dise˜nar y reconfigurar arquitecturas basadas en RISC-V permite la creaci´on de sistemas personalizados que pueden adaptarse a una amplia variedad de aplicaciones, desde dispositivos embebidos hasta servidores de alto rendimiento.
La especializaci´on en esta ´area ofrece m´ultiples beneficios. Primero, proporciona una oportunidad para aplicar t´ecnicas avanzadas de ajuste fino en un dominio altamente t´ecnico y espec´ıfico, demostrando la versatilidad y capacidad de los modelos de lenguaje de gran escala en aplicaciones pr´acticas. Segundo, permite la creaci´on de recursos educativos y herramientas que pueden mejorar significativamente la ense˜nanza y el aprendizaje en cursos de arquitectura de computadores. Los estudiantes pueden beneficiarse de materiales de estudio personalizados y detallados, generados por modelos que entienden profundamente el contenido tem´atico.
5.2.
Desarrollar y aplicar una metodolog´ıa de fine-tuning para ajustar LLa- MA a la tem´atica seleccionada.
5.2.1.
Selecci´on y Preparaci´on del Dataset La selecci´on y preparaci´on del dataset es una etapa crucial para el proceso de fine-tuning de un modelo de lenguaje como LLaMA. A continuaci´on, se detallan los pasos llevados a cabo para recopilar, limpiar y estructurar los datos.
Recopilaci´on de Informaci´on Para la recopilaci´on de informaci´on, se reunieron diversos documentos relevantes relacionados con la asignatura de Arquitectura de Computadores. Estos documentos incluyen: El libro de la asignatura escrito por el docente. (Villegas, Bucheli y Caviedes, 2022) C´odigos en SystemVerilog de proyectos realizados durante el curso.
Presentaciones sobre temas espec´ıficos como el monociclo.
Divisi´on y Organizaci´on del Contenido El libro de la asignatura se dividi´o en secciones, siguiendo el ´ındice del libro. Cada secci´on se convirti´o en un archivo PDF independiente:
Secciones como la ALU, la unidad de registro, etc., se aislaron en documentos separados. En casos donde la informaci´on de un tema quedaba a mitad de p´agina, se recortaron las secciones correspondientes para mantener la coherencia del contenido. Integraci´on de C´odigos y Presentaciones Los c´odigos en SystemVerilog y las presentaciones se integraron a los PDFs correspondientes a cada tema. Por ejemplo:
Los c´odigos relacionados con la ALU se a˜nadieron al documento de la ALU. Las presentaciones sobre el monociclo se a˜nadieron a los documentos pertinentes. Estructuraci´on de los Documentos Para estructurar los documentos, se utiliz´o el siguiente m´etodo:
1. Se ley´o cada documento y cada p´agina fue convertida a una imagen.
2. Estas im´agenes se procesaron con un modelo de lenguaje con visi´on por computadora para extraer
el texto y las descripciones de subim´agenes.
3. El texto extra´ıdo se organiz´o en un archivo JSON, donde cada clave correspond´ıa al n´umero de
p´agina y cada valor al texto de dicha p´agina.
Generaci´on de Preguntas y Respuestas Se utiliz´o un modelo de lenguaje avanzado para generar preguntas y respuestas:
1. Por cada p´agina de cada documento, el modelo gener´o tres preguntas diferentes.
2. Estas preguntas se almacenaron en un JSON, con la estructura: n´umero de p´agina como clave y
una lista de preguntas como valor.
3. Las respuestas a estas preguntas se generaron usando otro modelo de lenguaje, validando cada
respuesta para asegurar su precisi´on.
Aumento de Datos Para aumentar la cantidad de datos, se generaron versiones parafraseadas de cada pregunta:
1. Por cada pregunta original, se generaron cuatro versiones parafraseadas.
2. Esto result´o en un total de 15 preguntas por p´agina.
Generaci´on del Dataset de Entrenamiento y Pruebas El dataset se dividi´o en conjuntos de entrenamiento (train) y pruebas (test): En el dataset de entrenamiento, se incluyeron cuatro versiones de cada pregunta. En el dataset de pruebas, se incluy´o la quinta versi´on de cada pregunta. La estructura de los datos en ambos datasets es una lista de diccionarios con las claves instruction y response. La instrucci´on contiene el texto base y la pregunta, mientras que la respuesta contiene la respuesta generada.
Ejemplos de Archivos y C´odigo: Estructura de Archivos JSON de las preguntas
1 {
2
"0": {
3
"0": [
4
"Version 0 de la pregunta 0 de la pagina 0",
5
"Version 1 de la pregunta 0 de la pagina 0",
6
"Version 2 de la pregunta 0 de la pagina 0",
7
"Version 3 de la pregunta 0 de la pagina 0",
8
"Version 4 de la pregunta 0 de la pagina 0",
9
],
10
"1": [
11
"Version 0 de la pregunta 1 de la pagina 0",
12
"Version 1 de la pregunta 1 de la pagina 0",
13
"Version 2 de la pregunta 1 de la pagina 0",
14
"Version 3 de la pregunta 1 de la pagina 0",
15
"Version 4 de la pregunta 1 de la pagina 0",
16
],
17
"2": [
18
"Version 0 de la pregunta 2 de la pagina 0",
19
"Version 1 de la pregunta 2 de la pagina 0",
20
"Version 2 de la pregunta 2 de la pagina 0",
21
"Version 3 de la pregunta 2 de la pagina 0",
22
"Version 4 de la pregunta 2 de la pagina 0",
23
]
24
},
25
...
26 }
Listing 1: Ejemplo de estructura JSON de las preguntas Estructura de Archivos JSON de las respuestas
1 {
2
"0": [
3
"Respuesta de la pregunta 0 de pagina 0",
4
"Respuesta de la pregunta 1 de pagina 0",
5
"Respuesta de la pregunta 2 de pagina 0",
6
],
7
...
8 }
Listing 2: Ejemplo de estructura JSON de las respuestas Estructura de Archivos JSON de entrenamiento
1 [
2
{
3
" instruction ": "Version 0 de la pregunta de entrenamiento 0 de la pagina 0",
4
"response ": "Respuesta de la pregunta 0 de pagina 0"
5
},
6
{
7
" instruction ": "Version 1 de la pregunta de entrenamiento 0 de la pagina 0",
8
"response ": "Respuesta de la pregunta 0 de pagina 0"
9
},
10
{
11
" instruction ": "Version 2 de la pregunta de entrenamiento 0 de la pagina 0",
12
"response ": "Respuesta de la pregunta 0 de pagina 0"
13
},
14
{
15
" instruction ": "Version 3 de la pregunta de entrenamiento 0 de la pagina 0",
16
"response ": "Respuesta de la pregunta 0 de pagina 0"
17
},
18 ...
19 ]
Listing 3: Ejemplo de estructura JSON
Estructura de Archivos JSON de train
1 [
2
{
3
" instruction ": "Version 4 de la pregunta de entrenamiento 0 de la pagina 0",
4
"response ": "Respuesta de la pregunta 0 de pagina 0"
5
},
6
{
7
" instruction ": "Version 4 de la pregunta de entrenamiento 1 de la pagina 0",
8
"response ": "Respuesta de la pregunta 1 de pagina 0"
9
},
10
{
11
" instruction ": "Version 4 de la pregunta de entrenamiento 2 de la pagina 0",
12
"response ": "Respuesta de la pregunta 2 de pagina 0"
13
},
14 ...
15 ]
Listing 4: Ejemplo de estructura JSON de train
5.2.2.
Desarrollo de la Metodolog´ıa de Fine-Tuning Se implement´o un procedimiento de fine-tuning utilizando t´ecnicas avanzadas de ajuste fino de modelos de lenguaje. Para llevar a cabo este proceso, se emplearon frameworks y bibliotecas especializadas, como PyTorch y Hugging Face Transformers. Durante el ajuste, se realizaron modificaciones en los hiperpar´ametros del modelo para optimizar su rendimiento en la generaci´on de contenido relacionado con la tem´atica espec´ıfica seleccionada.
El proceso comenz´o con la configuraci´on del modelo y el tokenizador, seleccionando un modelo preentrenado adecuado y ajustando sus par´ametros. Se aplicaron t´ecnicas de Low Rank Adaptation (LoRA) para mejorar la eficiencia del modelo, permitiendo un ajuste fino con un menor n´umero de par´ametros. Esto facilit´o la optimizaci´on del uso de recursos computacionales y memoria durante el entrenamiento.
La preparaci´on del dataset incluy´o la recopilaci´on y tokenizaci´on de conjuntos de datos de entrenamiento y evaluaci´on espec´ıficos del dominio. Se aseguraron que los datos estuvieran en el formato correcto para ser procesados por el modelo, aplicando t´ecnicas de tokenizaci´on para estructurar adecuadamente las instrucciones y respuestas. Los valores t´ıpicos de tokenizaci´on incluyeron un m´aximo de 256 tokens por secuencia.
Los argumentos de entrenamiento se configuraron con par´ametros como un tama˜no de batch de 2, un n´umero de epochs de 10, una tasa de aprendizaje de 1e-5, y el uso de acumulaci´on de gradientes con 8 pasos. Adem´as, se aplicaron t´ecnicas de optimizaci´on con precisi´on flotante de 16 bits (fp16) para mejorar la eficiencia computacional. Se implement´o una callback personalizada para monitorear y guardar m´etricas de rendimiento, como las p´erdidas de entrenamiento y evaluaci´on. El entrenamiento del modelo se realiz´o utilizando el framework de Hugging Face, que proporcion´o las herramientas necesarias para el ajuste fino. Se monitore´o el rendimiento del modelo a lo largo de las epochs, ajustando los hiperpar´ametros seg´un fuera necesario para mejorar la precisi´on y relevancia del contenido generado.
Finalmente, el modelo ajustado se guard´o junto con el tokenizador. Este enfoque permiti´o optimizar el modelo LLaMA para tareas espec´ıficas, mejorando su utilidad en el contexto de la tem´atica seleccionada y proporcionando una base s´olida para futuras iteraciones y mejoras en el ajuste fino de modelos de lenguaje.
5.3.
Evaluar la precisi´on y relevancia del modelo especializado mediante pruebas controladas.
5.3.1.
Evaluaci´on del Modelo Especializado El modelo ajustado fue sometido a pruebas controladas para evaluar su capacidad de responder preguntas espec´ıficas relacionadas con la tem´atica seleccionada. Estas pruebas compararon las respuestas generadas por el modelo ajustado (con fine-tuning y cuantizaci´on) frente al modelo base (sin ajustes), utilizando criterios como relevancia, precisi´on y alineaci´on con el contenido especializado. Adicional al proceso de fine-tuning, se implement´o un m´etodo de cuantizaci´on a 4 bits, que permiti´o reducir significativamente el consumo de recursos del modelo. Este ajuste disminuy´o el requerimiento de memoria VRAM del modelo de 16 GB a 6 GB, manteniendo un desempe˜no competitivo y haci´endolo m´as eficiente para entornos con recursos limitados.
Se evaluaron un total de 37 temas espec´ıficos, generando respuestas para cada uno de ellos. Los resultados globales obtenidos en t´erminos de puntuaciones acumuladas fueron los siguientes: Modelo con fine-tuning y cuantizaci´on: Puntuaci´on total: 290.
Modelo base (sin ajustes): Puntuaci´on total: 175.
El an´alisis detallado por tema mostr´o una mejora significativa en las respuestas del modelo ajustado, especialmente en ´areas t´ecnicas espec´ıficas, como:
Criterios de dise˜no de computadoras: 16 puntos (modelo ajustado) frente a 4 puntos (modelo base).
Historia de la computaci´on: 31 puntos (modelo ajustado) frente a 17 puntos (modelo base). Procesador segmentado con soluci´on a problemas de segmentaci´on por hardware: 17 puntos (modelo ajustado) frente a 12 puntos (modelo base).
Sin embargo, en temas generales, como Introducci´on a RISC-V, el modelo base gener´o respuestas m´as s´olidas, lo que indica posibles ´areas de mejora en el ajuste fino o la selecci´on de datos de entrenamiento.
5.4.
Documentar y analizar los resultados para establecer un marco de mejora continua en la especializaci´on del modelo.
5.4.1.
Documentaci´on y An´alisis de Resultados Se document´o detalladamente el proceso de ajuste, incluyendo las configuraciones del modelo, los resultados de las evaluaciones y los desaf´ıos encontrados durante el entrenamiento. El an´alisis de los resultados revel´o tanto fortalezas como ´areas de mejora.
Fortalezas:
Incremento en la relevancia y precisi´on de las respuestas en temas especializados. Mejora significativa en la puntuaci´on acumulada del modelo ajustado (incremento del 65.7 % en comparaci´on con el modelo base).
Implementaci´on exitosa de cuantizaci´on a 4 bits, que redujo el uso de memoria VRAM de 16 GB a 6 GB, aumentando la eficiencia del modelo sin comprometer significativamente su precisi´on.
Capacidad para adaptarse a terminolog´ıas t´ecnicas y generar contenido detallado y alineado con el tema.
´Areas de Mejora:
En temas generales, como Introducci´on a RISC-V y Unidad de registros, no se observ´o una ventaja significativa del modelo ajustado sobre el modelo base.
En algunos casos, el ajuste fino introdujo sesgos hacia los conceptos m´as frecuentes en el dataset, reduciendo la capacidad del modelo para generalizar.
Marco de Mejora Continua:
Optimizaci´on del dataset: Ampliar y diversificar el conjunto de datos de entrenamiento para abarcar tanto temas especializados como generales, garantizando un equilibrio adecuado. Iteraci´on del proceso de ajuste fino: Refinar los hiperpar´ametros y explorar t´ecnicas avanzadas como Low Rank Adaptation (LoRA) para mejorar la eficiencia. Pruebas iterativas: Implementar evaluaciones peri´odicas que combinen m´etricas cuantitativas y cualitativas para monitorear el impacto de las mejoras.
Retroalimentaci´on de usuarios finales: Recolectar opiniones de estudiantes y profesores para identificar necesidades espec´ıficas y ajustar el modelo de acuerdo con ellas. A continuaci´on presentamos uno a uno los 37 temas que se tomaron para evaluar la relevancia del modelo especializado, a grandes rasgos el proceso de fine-tuning si mejoro significativamente la exactitud de la informaci´on generada por el modelo base, inclusive con los detalles como los recursos excasos podemos lograr hacer mejoras significativas a los LLMs los cuales podr´an ayudarnos de mejorar manera siguiendo estas t´ecnicas
5.5.
Promover la adaptaci´on del modelo especializado en aplicaciones pr´acticas.
5.5.1.
Aplicaci´on del Modelo Especializado La integraci´on de un modelo especializado, como el desarrollado en este proyecto, ofrece m´ultiples posibilidades para su implementaci´on en aplicaciones pr´acticas. Tras el proceso de ajuste fino y cuantizaci´on a 4 bits, el modelo resultante combina precisi´on tem´atica con un uso optimizado de recursos computacionales. Esto lo hace ideal para su adaptaci´on en entornos con limitaciones de hardware y necesidades espec´ıficas de procesamiento eficiente.
Ventajas pr´acticas del modelo ajustado:
Optimizaci´on de recursos: La cuantizaci´on a 4 bits redujo el uso de VRAM de 16 GB a 6 GB, permitiendo la ejecuci´on del modelo en dispositivos con capacidades limitadas. Especializaci´on tem´atica: El modelo es capaz de generar contenido relevante y preciso en temas espec´ıficos como dise˜no de computadoras, historia de la computaci´on y procesamiento segmentado.
Accesibilidad: Su menor demanda de recursos lo hace accesible para instituciones educativas y peque˜nas empresas que buscan implementar soluciones basadas en inteligencia artificial. ´Areas potenciales de implementaci´on:
1. Educaci´on: Generaci´on de materiales de aprendizaje personalizados y detallados, apoyo a estu-
diantes con contenido tem´atico espec´ıfico y dise˜no de evaluaciones automatizadas.
2. Industria tecnol´ogica: Asistencia en el dise˜no y simulaci´on de arquitecturas computacionales,
especialmente en ´areas relacionadas con RISC-V y arquitecturas reconfigurables.
3. Entrenamiento de personal: Creaci´on de recursos de capacitaci´on t´ecnica para empleados
que requieren profundizar en conceptos avanzados de arquitectura de computadores.
5.5.2.
Plan de Adaptaci´on y Evaluaci´on Para asegurar una implementaci´on exitosa, es necesario desarrollar un plan estrat´egico que contemple las siguientes etapas:
Personalizaci´on del modelo: Ajustar el modelo a las necesidades espec´ıficas de cada aplicaci´on, integrando datos adicionales si es necesario.
Pruebas de campo: Evaluar el desempe˜no del modelo en entornos reales y recopilar retroalimentaci´on de usuarios finales.
Monitoreo y mejora continua: Implementar un sistema de monitoreo que permita identificar ´areas de mejora y optimizar el modelo con base en nuevas necesidades o datos.
5.6.
CRONOGRAMA
El proyecto se divide en varias fases clave que cubren desde la planificaci´on inicial y recolecci´on de datos, hasta el desarrollo, entrenamiento, validaci´on, optimizaci´on, integraci´on, pruebas y despliegue del modelo especializado. Cada fase incluye actividades espec´ıficas que aseguran un progreso sistem´atico y controlado del proyecto, abordando todos los aspectos necesarios para el fine-tuning y la implementaci´on exitosa del modelo.
Semana 1-2: Planificaci´on y Dise˜no Durante las primeras dos semanas, se lleva a cabo la fase de planificaci´on y dise˜no. Esta etapa incluye la definici´on de los objetivos y metas del proyecto, la identificaci´on de los recursos necesarios (como personal, equipos y financiamiento), y la elaboraci´on de un plan detallado del proyecto. Se establecen claramente los roles y responsabilidades, se desarrolla un presupuesto y se crea un cronograma de actividades, hitos y entregables. Tambi´en se realiza un an´alisis de riesgos y se planifican estrategias de mitigaci´on para posibles problemas.
• Definici´on de objetivos y metas del proyecto.
• Identificaci´on de recursos necesarios (personal, equipos, financiamiento).
• Elaboraci´on de un plan detallado del proyecto.
Semana 3-4: Recolecci´on de Datos En las semanas 3 y 4, se realiza la recolecci´on de datos especializados relevantes para la tem´atica seleccionada. Esto incluye la obtenci´on de documentos como libros, proyectos, c´odigos en System Verilog y presentaciones relacionados con la asignatura de Arquitectura de Computadores. Posteriormente, se lleva a cabo el preprocesamiento y limpieza de los datos para eliminar ruido y asegurar su calidad y adecuaci´on para el proceso de entrenamiento del modelo.
• Obtenci´on de datos especializados relevantes para el ´area espec´ıfica.
• Preprocesamiento y limpieza de datos para garantizar su calidad y adecuaci´on.
Semana 5-6: Desarrollo de la Arquitectura del Modelo Durante las semanas 5 y 6, se dise˜na la arquitectura de la red neuronal ajustada y se implementa una versi´on inicial del modelo LLaMA. Esta fase implica la selecci´on de la estructura
del modelo, la configuraci´on de los hiperpar´ametros y la elecci´on de t´ecnicas de optimizaci´on. El entorno de desarrollo se configura adecuadamente, instalando las bibliotecas y herramientas necesarias para preparar el modelo para el entrenamiento.
• Dise˜no de la arquitectura de la red neuronal ajustada.
• Implementaci´on inicial del modelo de LLM para la tarea espec´ıfica.
Semana 7-8: Entrenamiento Inicial del Modelo En las semanas 7 y 8, se realiza el entrenamiento inicial del modelo utilizando los datos preprocesados. Se aplican t´ecnicas avanzadas de ajuste fino y se monitorea el rendimiento del modelo a lo largo del proceso de entrenamiento. Los hiperpar´ametros del modelo se ajustan seg´un sea necesario para optimizar su rendimiento, y se eval´uan los resultados para asegurar un aprendizaje efectivo del modelo.
• Entrenamiento del modelo con los datos preprocesados.
• Monitoreo y ajuste de los par´ametros del modelo para optimizar el rendimiento.
Semana 9-10: Validaci´on y Evaluaci´on del Modelo Durante las semanas 9 y 10, se lleva a cabo la validaci´on y evaluaci´on del modelo utilizando un conjunto de datos separado. Se emplean m´etricas est´andar de evaluaci´on en procesamiento de lenguaje natural (NLP) para medir la precisi´on, recall y F1-score del modelo. Los resultados de la evaluaci´on se analizan para identificar ´areas de mejora y se realizan ajustes necesarios en el modelo para mejorar su rendimiento.
• Evaluaci´on del modelo utilizando un conjunto de datos separado para validaci´on.
• An´alisis de los resultados y ajustes necesarios basados en el rendimiento del modelo.
Semana 11-12: Optimizaci´on del Modelo En las semanas 11 y 12, se realiza la optimizaci´on del modelo mediante ajustes adicionales en los hiperpar´ametros y la implementaci´on de t´ecnicas avanzadas de optimizaci´on, como la optimizaci´on de orden cero y Low Rank Adaptation (LoRA). Estas t´ecnicas mejoran la eficiencia del modelo, permitiendo un ajuste fino m´as efectivo con un menor uso de recursos computacionales.
• Ajuste de hiperpar´ametros para mejorar la precisi´on y eficiencia del modelo.
• Implementaci´on de t´ecnicas adicionales de optimizaci´on (e.g., optimizaci´on de orden cero).
Semana 13-14: Integraci´on y Desarrollo de la Interfaz Durante las semanas 13 y 14, se desarrolla una interfaz de usuario para interactuar con el modelo ajustado y se integra el modelo en una plataforma aplicable para usuarios finales. Esta fase incluye la configuraci´on de los servicios necesarios para ejecutar el modelo y la implementaci´on de mecanismos para asegurar su rendimiento y disponibilidad.
• Desarrollo de una interfaz de usuario para interactuar con el modelo ajustado.
• Integraci´on del modelo en una plataforma aplicable para usuarios finales.
Semana 15-16: Pruebas y Ajustes Fines En las semanas 15 y 16, se realizan pruebas exhaustivas del modelo en el entorno implementado para asegurar su correcto funcionamiento y cumplimiento de los requisitos del proyecto. Se recolecta feedback de los usuarios finales para identificar problemas o ´areas de mejora y se realizan ajustes adicionales en el modelo y la interfaz de usuario seg´un sea necesario.
• Realizaci´on de pruebas exhaustivas en el entorno implementado.
• Recolecci´on de feedback de usuarios y ajustes adicionales basados en las pruebas.
Semana 17-18: Despliegue y Mantenimiento Finalmente, durante las semanas 17 y 18, se realiza el despliegue final del modelo en un entorno real de producci´on. Se implementan medidas para asegurar el rendimiento y la disponibilidad del modelo, incluyendo el monitoreo continuo del rendimiento y el mantenimiento basado en nuevos datos y feedback continuo. Se realizan actualizaciones y mejoras en el modelo para mantener su relevancia y precisi´on en el tiempo.
• Despliegue final del modelo en un entorno real de producci´on.
• Monitoreo continuo del rendimiento del modelo en producci´on.
• Mantenimiento y actualizaci´on del modelo basado en nuevos datos y feedback continuo.
6.
RESULTADOS
6.1.
Identificar una tem´atica espec´ıfica donde la especializaci´on del modelo puede tener un impacto significativo La tem´atica espec´ıfica de ”dise˜no e implementaci´on de arquitectura reconfigurable con RISC-V”fue identificada por el equipo, aline´andose con el programa acad´emico de Arquitectura de Computadores y bas´andose en el alto nivel de conocimiento y experiencia de los autores del proyecto.
6.2.
Desarrollar y aplicar una metodolog´ıa de fine-tuning para ajustar LLa- MA a la tem´atica seleccionada Se desarroll´o una metodolog´ıa de fine-tuning que incluy´o los siguientes pasos: Buscar informaci´on sobre el modelo LLaMA y c´omo realizar el fine-tuning. Crear un dataset especializado con documentos relevantes relacionados con la asignatura de Arquitectura de Computadores.
Entrenar el modelo con el dataset creado.
Realizar pruebas con un dataset de pruebas para evaluar el rendimiento del modelo ajustado. tionEvaluar la precisi´on y relevancia del modelo especializado mediante pruebas controladas Para evaluar la precisi´on y relevancia del modelo especializado, se realizaron las siguientes pruebas: Se crearon 447 preguntas espec´ıficas relacionadas con la tem´atica seleccionada. Se pasaron las 447 preguntas al modelo base y al modelo especializado. Se compararon las respuestas generadas por ambos modelos.
6.3.
Documentar y analizar los resultados para establecer un marco de mejora continua en la especializaci´on del modelo Los resultados de estas pruebas se documentan en las siguientes gr´aficas, mostrando la comparativa de resultados obtenidos por ambos modelos en diferentes temas:
6.4.
Promover la adaptaci´on del modelo especializado en aplicaciones pr´acticas relevantes La promoci´on de la adaptaci´on del modelo especializado en aplicaciones pr´acticas relevantes es esencial para maximizar su impacto y utilidad en diversos campos. Para lograr esto, se propone un enfoque multifac´etico que incluye:
1. Colaboraci´on con la Industria y el Sector Educativo:
Industria Tecnol´ogica: Establecer alianzas con empresas tecnol´ogicas para integrar el modelo especializado en procesos de dise˜no y simulaci´on de arquitecturas computacionales, especialmente en ´areas relacionadas con RISC-V y arquitecturas reconfigurables. Educaci´on: Colaborar con instituciones educativas para desarrollar materiales de aprendizaje personalizados y detallados, apoyando a estudiantes con contenido tem´atico espec´ıfico y dise˜no de evaluaciones automatizadas. Esto incluye la creaci´on de cursos online y talleres pr´acticos donde los estudiantes puedan interactuar directamente con el modelo.
2. Desarrollo de Casos de Uso Espec´ıficos:
Aplicaciones en Salud y Bienestar: Implementar el modelo en sistemas de toma de decisiones cl´ınicas y gesti´on de la atenci´on al paciente, mejorando la precisi´on y relevancia de las recomendaciones m´edicas.
Auditor´ıas y Contratos Inteligentes: Utilizar el modelo para la auditor´ıa de contratos inteligentes, proporcionando an´alisis detallados y justificaciones sobre los t´erminos contractuales, mejorando la transparencia y la eficiencia en las auditor´ıas legales.
3. Optimizaci´on de Recursos:
Cuantizaci´on y Eficiencia: La aplicaci´on de t´ecnicas de cuantizaci´on a 4 bits ha demostrado reducir significativamente el uso de VRAM, permitiendo la ejecuci´on del modelo en dispositivos con capacidades limitadas. Este enfoque es ideal para su implementaci´on en entornos donde los recursos de hardware son limitados, como dispositivos embebidos y servidores de bajo rendimiento.
4. Recopilaci´on de Retroalimentaci´on y Mejora Continua:
Monitoreo y Evaluaci´on: Implementar un sistema de monitoreo continuo para evaluar el desempe˜no del modelo en aplicaciones pr´acticas, recopilando retroalimentaci´on de los usuarios finales para identificar ´areas de mejora.
Iteraci´on y Ajustes: Basado en la retroalimentaci´on, realizar ajustes peri´odicos al modelo para optimizar su rendimiento y precisi´on en contextos espec´ıficos. Esto incluye la reevaluaci´on y refinamiento de los hiperpar´ametros y t´ecnicas de ajuste fino utilizadas.
5. Difusi´on y Capacitaci´on:
Entrenamiento de Personal: Crear programas de capacitaci´on t´ecnica para empleados que requieran profundizar en conceptos avanzados de arquitectura de computadoras y el uso del modelo especializado.
Documentaci´on y Recursos: Proveer documentaci´on detallada y recursos educativos que faciliten la adopci´on del modelo especializado en diferentes dominios y aplicaciones pr´acticas.
A trav´es de estos enfoques, se busca no solo promover la adopci´on del modelo especializado en aplicaciones pr´acticas relevantes, sino tambi´en asegurar su integraci´on efectiva y sostenible en diversos entornos, maximizando as´ı su impacto y utilidad.
Introduccion procesador segmentado Figura 1 En la Figura 1 se observa una comparativa de respuestas relacionadas con la introducci´on del procesador segmentado. La pregunta sobre las contribuciones de Ada Lovelace, destacadas por Luigia Carlucci Aiello, resalta que el modelo base supera al modelo ajustado al proporcionar una respuesta m´as completa y detallada. Con un total de 5 respuestas correctas frente a 4 del modelo ajustado, el modelo base describe de manera m´as precisa las contribuciones de Ada Lovelace, incluyendo su visi´on innovadora sobre el uso de la m´aquina anal´ıtica no solo para c´alculos num´ericos, sino tambi´en para la creatividad y la generaci´on de arte, m´usica y literatura. Esto indica que, en este contexto, el modelo base ofrece un rendimiento superior en t´erminos de precisi´on y relevancia de las respuestas, demostrando su eficacia al capturar la esencia de las contribuciones de Ada Lovelace.
Instrucciones aritm´etico l´ogicas - Instrucciones tipo R Figura 2 En la Figura 2 se presenta una comparativa entre los modelos ajustado y base en t´erminos de respuestas correctas e incorrectas para las instrucciones aritm´etico l´ogicas, tipo R. A partir de los datos visualizados, el modelo base demuestra un mejor rendimiento al generar 7 respuestas correctas frente a las 5 obtenidas por el modelo ajustado. Esta diferencia se traduce en un 28.57 Instrucciones de memoria de datos - Instrucciones de escritura en memoria tipo S
Figura 3 En la Figura 3 se presenta una comparativa de respuestas para las instrucciones de memoria de datos, espec´ıficamente las instrucciones de escritura en memoria tipo S, entre un modelo ajustado y un modelo base. Ambos modelos muestran el mismo desempe˜no, con un total de 3 respuestas correctas y 6 incorrectas cada uno, lo que indica un porcentaje de aciertos id´entico. Esta paridad en el rendimiento sugiere que el proceso de ajuste no logr´o mejorar la precisi´on del modelo en este tipo de instrucciones. Por lo tanto, ambos modelos mantienen un nivel de efectividad similar en t´erminos de identificar correctamente las respuestas asociadas a las instrucciones de escritura en memoria tipo S. Evaluaci´on de rendimiento de la computadora Figura 4 En la Figura 4 se presenta una comparativa de respuestas para la evaluaci´on del rendimiento de la computadora entre el modelo ajustado y el modelo base. Ambos modelos han obtenido un desempe˜no equivalente, cada uno con un total de 3 respuestas correctas y 3 incorrectas. La igualdad en el n´umero de respuestas acertadas sugiere que, en este caso particular, el proceso de ajuste no ha producido una mejora significativa en el rendimiento del modelo ajustado en comparaci´on con el modelo base. Esta paridad en el n´umero de aciertos e incorrectos indica que, al menos en esta prueba espec´ıfica, ambos modelos ofrecen un nivel de precisi´on similar en la evaluaci´on del rendimiento computacional. Flujo de datos
Figura 5 En la Figura 5 se presenta una comparativa de respuestas entre el modelo ajustado y el modelo base en el contexto de flujo de datos. Ambos modelos muestran un desempe˜no id´entico, con un total de 11 respuestas correctas y 1 incorrecta cada uno. Esto indica que, en t´erminos de precisi´on, no se observa una ventaja significativa de uno sobre el otro en este conjunto particular de preguntas. La gr´afica ilustra de manera clara que tanto el modelo ajustado como el base tienen el mismo porcentaje de aciertos, lo que sugiere que el proceso de ajuste no proporcion´o mejoras en este caso espec´ıfico. Este resultado podr´ıa implicar que, al menos para este conjunto de datos, ambos modelos son igualmente efectivos. Ejercicios introducci´on a la computadora y a RISC-V Figura 6 En la Figura 6 se observa una comparativa de respuestas correctas e incorrectas entre el modelo ajustado y el modelo base para los ejercicios de introducci´on a la computadora y a RISC-V. Se puede apreciar que el modelo ajustado gener´o una mayor cantidad de respuestas correctas (5) en comparaci´on con el modelo base (4). Adem´as, el modelo ajustado tuvo una menor cantidad de respuestas incorrectas (1) en comparaci´on con el modelo base (2). La pregunta sobre la anticipaci´on de los procesos post-bifurcaci´on y su impacto en la reducci´on del tiempo de ejecuci´on total de un programa se centra en la optimizaci´on a nivel de hardware, especialmente en procesadores con capacidad de ejecuci´on paralela como RISC-V. La respuesta 1 es la correcta, ya que explica c´omo un procesador puede anticipar el resultado de una bifurcaci´on y ejecutar instrucciones de la rama correcta antes de que la bifurcaci´on ocurra, lo que reduce la latencia y optimiza el uso de recursos. Este an´alisis demuestra que el modelo ajustado es superior, proporcioNonedo una descripci´on m´as precisa y relevante de las contribuciones y t´ecnicas de optimi-
zaci´on, confirmando as´ı la eficacia del proceso de ajuste en mejorar el rendimiento del modelo ajustado. Criterios de dise˜no de computadoras Introduccion a RISC-V Figura 8 En la Figura 8 se observa una comparaci´on entre las respuestas correctas e incorrectas generadas por el modelo ajustado y el modelo base en relaci´on con la introducci´on a RISC-V. La gr´afica muestra que el modelo base ha proporcionado un mejor rendimiento en t´erminos de precisi´on de las respuestas, con 12 respuestas correctas y 6 incorrectas. En cambio, el modelo ajustado ha generado 8 respuestas correctas y 10 incorrectas. La pregunta sobre los tipos de est´andares mencionados y sus campos de aplicaci´on es respondida correctamente por el modelo base, ya que abarca una variedad de est´andares espec´ıficos y relevantes en el contexto de la arquitectura de computadores, incluyendo ISA, API y varios protocolos de comunicaci´on ampliamente utilizados en la industria. Este resultado indica que el modelo base es mejor por un margen del 33.33 Memoria de instrucciones Figura 9 En la Figura 9 se observa una comparativa de respuestas para la memoria de instrucciones entre dos modelos, Ajustado y Base. Los resultados muestran que el modelo Base gener´o un total de 3 respuestas correctas y ninguna incorrecta, mientras que el modelo Ajustado produjo 1 respuesta correcta y 2
incorrectas. Esto indica que el modelo Base es mejor que el modelo Ajustado en un 66.67 Funciones en RISC-V Figura 10 En la Figura 10 se observa una comparaci´on entre el n´umero de respuestas correctas e incorrectas proporcionadas por el modelo ajustado y el modelo base en relaci´on con las funciones en RISC-V. La pregunta sobre los componentes y conexiones que se incluyen en el diagrama de flujo de datos para una instrucci´on tipo R pone de manifiesto que la respuesta 2 es correcta, ya que describe con precisi´on los componentes y conexiones involucrados en la ejecuci´on de una instrucci´on tipo R en la arquitectura RISC-V. Estos incluyen los campos espec´ıficos de la instrucci´on tipo R (opcode, rs, rt, rd, funct) y los registros asociados (RS, RT, RD). En contraste, la respuesta 1 incluye componentes no t´ıpicos para una instrucci´on tipo R de RISC-V, como el Registro de Direcciones y las fuentes de datos, que no son relevantes en este contexto. La gr´afica muestra que el modelo base super´o significativamente al modelo ajustado, con 12 respuestas correctas frente a solo 5 del modelo ajustado. Adem´as, el modelo ajustado present´o una mayor cantidad de respuestas incorrectas (16) en comparaci´on con el modelo base (9), indicando que el modelo base proporcion´o respuestas m´as precisas y relevantes sobre las funciones en RISC-V. Este hallazgo sugiere que el modelo base es m´as efectivo para responder preguntas sobre la arquitectura RISC-V, mejorando tanto en la cantidad como en la calidad de las respuestas correctas. Unidad de registros Figura 11 En la Figura 11 se observa una comparaci´on entre el modelo ajustado y el modelo base en t´erminos de
respuestas correctas e incorrectas para la unidad de registros. Es evidente que el modelo base proporcion´o un mejor desempe˜no, logrando 3 respuestas correctas en contraste con el modelo ajustado, que no logr´o ninguna respuesta correcta. Esto indica que el modelo base tiene una comprensi´on m´as precisa de c´omo se gestiona la direcci´on de retorno en RISC-V, almacen´andola en el registro ra”mediante la instrucci´on ”jal mientras que el modelo ajustado present´o una cantidad significativa de respuestas incorrectas, totalizando 6. Este resultado resalta la necesidad de mejorar el proceso de ajuste del modelo para cerrar la brecha en el rendimiento observado en esta prueba espec´ıfica. Controlador de teclado Figura 12 En la Figura 12 se presenta una comparativa de respuestas para el controlador de teclado, donde se puede observar que ambos modelos analizados, el ajustado y el base, tienen un desempe˜no similar en t´erminos de porcentaje de aciertos. El modelo ajustado logr´o responder correctamente a 3 preguntas mientras que el modelo base acert´o en 4 preguntas, lo que significa que el modelo base tuvo un acierto adicional. Sin embargo, es importante destacar que el modelo base tambi´en tuvo un menor n´umero de respuestas incorrectas, con solo 2 errores frente a los 3 del modelo ajustado. Esto lleva a concluir que, aunque el porcentaje de aciertos es similar, el modelo base muestra una ligera ventaja en t´erminos de precisi´on, siendo mejor por un margen del 25.00 Bibliografia Figura 13 En la Figura 13 se observa una comparativa de respuestas correctas e incorrectas entre el modelo
ajustado y el modelo base al responder preguntas sobre bibliograf´ıa. El modelo ajustado se muestra significativamente superior, con 19 respuestas correctas y solo 2 incorrectas, en comparaci´on con el modelo base que tiene 14 respuestas correctas y 7 incorrectas. La pregunta sobre el rol de un bit de paridad y su funcionamiento en un grupo de bits revela que la respuesta del modelo ajustado es m´as precisa, describiendo c´omo se calcula el bit de paridad y su funci´on en la detecci´on de errores en la transmisi´on de datos digitales. La segunda opci´on, aunque describe el c´alculo de la paridad, contiene errores en la explicaci´on de paridad par e impar y menciona conceptos confusos y no relevantes como ”paridad de posici´on
2
”paridad de columna”. Esto demuestra que el modelo ajustado no solo proporciona una mayor cantidad de respuestas correctas, sino que tambi´en ofrece explicaciones m´as claras y precisas, mejorando su rendimiento en un 35.71 Unidad de control Figura 14 En la Figura 14 se observa una comparaci´on entre los modelos ajustado y base en cuanto a su capacidad para responder preguntas sobre la unidad de control. El modelo ajustado gener´o un total de 7 respuestas correctas frente a las 6 del modelo base, mostrando una mejora del 16.67 Memoria de datos Figura 15 En la Figura 15 se observa una comparativa de respuestas correctas e incorrectas entre el modelo ajustado y el modelo base en relaci´on a la pregunta sobre las limitaciones de la pascalina en cuanto a operaciones aritm´eticas directas. El modelo base gener´o un mayor n´umero de respuestas correctas, totalizando 4, en comparaci´on con el modelo ajustado que solo obtuvo 2 respuestas correctas. Esto
demuestra que el modelo base es superior en este caso, ya que proporciona informaci´on precisa sobre las limitaciones hist´oricas de la pascalina, creada por Blaise Pascal, que solo pod´ıa realizar sumas y restas directamente. En contraste, el modelo ajustado present´o una mayor cantidad de respuestas incorrectas, sugiriendo una menor precisi´on en la interpretaci´on de la informaci´on hist´orica relevante. Este hallazgo confirma que, para esta pregunta espec´ıfica, el modelo base supera al modelo ajustado en t´erminos de cantidad y calidad de respuestas correctas.
Unidad aritmetica logica Figura 16 En la Figura 16 se observa una comparativa de respuestas para la unidad aritm´etica l´ogica entre el modelo ajustado y el modelo base. La pregunta sobre c´omo operaba la rueda de Leibniz y su influencia en el avance de las calculadoras mec´anicas muestra que la respuesta 2 es correcta al describir con precisi´on el mecanismo de la rueda de Leibniz, que inclu´ıa engranajes para realizar operaciones aritm´eticas fundamentales como la multiplicaci´on y la divisi´on. Adem´as, establece correctamente la influencia de la rueda en la calculadora de Leibniz-Wagner. En contraste, la respuesta 1 presenta errores conceptuales y de nombres hist´oricos. En t´erminos de rendimiento, el modelo base proporcion´o un mayor n´umero de respuestas correctas, con un total de 5 correctamente identificadas y solo 1 incorrecta, mientras que el modelo ajustado gener´o 4 respuestas correctas y 2 incorrectas. Esto indica que el modelo base es superior por un margen del 20.00 Instrucciones de saltos condicionados - Instrucciones Tipo B Figura 17
En la Figura 17 se presenta una comparativa entre el modelo ajustado y el modelo base respecto a las respuestas sobre instrucciones de saltos condicionados de tipo B. Ambos modelos muestran un porcentaje similar de aciertos, con el modelo ajustado obteniendo 9 respuestas correctas frente a 8 del modelo base. Aunque el modelo ajustado logra un acierto adicional, lo que representa un 12.50 Segmentos del procesador Figura 18 En la Figura 18 se observa que el modelo base super´o al modelo ajustado en cuanto a la cantidad de respuestas correctas sobre las caracter´ısticas t´ecnicas de la ENIAC. El modelo base proporcion´o 12 respuestas correctas frente a las 8 del modelo ajustado, lo que representa una mejora del 33.33 Estandar ISO-IEC 8000 Figura 19 En la Figura 19 se puede apreciar que el modelo base supera al modelo ajustado en t´erminos de respuestas correctas. Para la pregunta sobre las diferencias de las instrucciones tipo R de otras instrucciones en la arquitectura de computadoras, el modelo base proporcion´o dos respuestas correctas en comparaci´on con solo una respuesta correcta del modelo ajustado. El modelo base destac´o por ofrecer una descripci´on m´as precisa y detallada de las instrucciones tipo R, que se centran en operaciones registrador-registrador, en lugar de tratar generalidades sobre el conjunto de instrucciones RISC. Este rendimiento superior del modelo base sugiere que, para esta pregunta espec´ıfica, el modelo base logr´o un mejor entendimiento y claridad en sus respuestas, lo que indica que el ajuste no mejor´o el desempe˜no en este caso particular.
Introduccion procesador monociclo Figura 20 En la Figura 20 se observa una comparativa de respuestas para la introducci´on al procesador monociclo. La pregunta sobre las diferencias entre las operaciones l´ogicas bit a bit AND, OR y XOR en lenguaje ensamblador resalta que la respuesta 2 es correcta al describir el comportamiento de estas operaciones y proporcionar ejemplos precisos en ensamblador RISC-V. En cuanto a la comparativa, el modelo base gener´o un mayor n´umero de respuestas correctas en comparaci´on con el modelo ajustado. El modelo base acert´o 4 preguntas, mientras que el modelo ajustado solo acert´o 3 preguntas. Adem´as, el modelo base tuvo 5 respuestas incorrectas, una menos que el modelo ajustado, que tuvo 6 respuestas incorrectas. Este resultado indica que el modelo base es mejor que el modelo ajustado por un 25.00 Introduccion procesador Figura 21 En la Figura 21 se observa una comparativa de respuestas entre el modelo ajustado y el modelo base en el contexto de la introducci´on al procesador. El motivo de la pregunta se centra en la utilidad de las instrucciones auxiliares, destacando que la respuesta 1 es correcta por su descripci´on general y completa. En el gr´afico, el modelo ajustado gener´o 2 respuestas correctas y 1 incorrecta, mientras que el modelo base no logr´o ninguna respuesta correcta y gener´o 3 incorrectas. Esto indica que el modelo ajustado es significativamente superior al modelo base, proporcioNonedo respuestas m´as precisas y relevantes en el contexto de las instrucciones auxiliares. La mejora en el modelo ajustado es evidente, ya que abarca aspectos generales y espec´ıficos de las instrucciones auxiliares, demostrando una comprensi´on m´as integral y eficaz en comparaci´on con el modelo base.
Ejercicios sistema de entrada y salida Figura 22 En la Figura 22 se observa que el modelo ajustado gener´o un mayor n´umero de respuestas correctas en comparaci´on con el modelo base al abordar la pregunta sobre el uso de la instrucci´on ”lui.en RISC-V. La opci´on 1, que fue identificada como correcta, describe con precisi´on c´omo ”lui”se utiliza para cargar un valor inmediato no signado de 20 bits en un registro destino, desplaz´andolo 12 bits a la izquierda, lo que es crucial para entender su funcionamiento en el conjunto de instrucciones RISC-V. En contraste, el modelo base no logr´o proporcionar ninguna respuesta correcta, lo que destaca la mejora significativa en la precisi´on del modelo ajustado. Este hallazgo subraya la efectividad del proceso de ajuste fino en mejorar tanto la comprensi´on t´ecnica como la relevancia de las respuestas del modelo ajustado. Estandar ISO-IEC 8000 Figura 23 En la Figura 23 se muestra una comparativa de respuestas para el est´andar ISO-IEC 8000, donde se puede apreciar que el modelo base supera al modelo ajustado en t´erminos de precisi´on. El modelo base gener´o dos respuestas correctas y una incorrecta, mientras que el modelo ajustado produjo una respuesta correcta y dos incorrectas. La pregunta sobre las instrucciones tipo R y su distinci´on respecto a otras instrucciones en la arquitectura de computadoras refleja que la respuesta correcta describe espec´ıficamente las instrucciones de tipo R en cuanto a su estructura y acceso a operandos. Esto indica que el modelo base tiene una mejor comprensi´on de las instrucciones tipo R, dado que se centra en los
detalles relevantes de las instrucciones registrador-registrador, mientras que el modelo ajustado parece tener dificultades para proporcionar respuestas precisas en este contexto. Este an´alisis sugiere que el modelo base es m´as eficiente en proporcionar respuestas precisas y relevantes en el dominio espec´ıfico de las instrucciones tipo R.
Instrucciones Figura 24 En la Figura 24 se observa una comparaci´on de las respuestas correctas e incorrectas entre el modelo ajustado y el modelo base en relaci´on con las instrucciones de lectura de memoria tipo I. La pregunta sobre la funci´on de la instrucci´on ”lw.en la arquitectura RISC-V muestra que el modelo base ha tenido un mejor desempe˜no, con 3 respuestas correctas y 6 incorrectas, en comparaci´on con el modelo ajustado, que obtuvo 2 respuestas correctas y 7 incorrectas. La respuesta correcta a la pregunta explica adecuadamente la funci´on de la instrucci´on ”lw¸con la sintaxis ”lw rd, offset(rn)
2
proporciona un ejemplo correcto, mientras que la respuesta incorrecta incluye un error en la sintaxis mencioNonedo ”lw rd, offset(rs), rs lo cual no es v´alido en RISC-V. Este an´alisis indica que, aunque ambos modelos presentan un n´umero significativo de respuestas incorrectas, el modelo base es superior en un 33.33 Procesador segmentado con soluci´on a los problemas de segmentaci´on por software Figura 25 En la Figura 25 se presenta una comparaci´on entre el modelo ajustado y el modelo base en relaci´on con su desempe˜no al responder preguntas sobre un procesador segmentado con soluci´on a problemas de segmentaci´on por software. Observamos que ambos modelos tienen un porcentaje de aciertos id´entico,
con 5 respuestas correctas y 4 incorrectas cada uno. Esto indica que, en este caso espec´ıfico, el proceso de ajuste no ha logrado mejorar la cantidad de respuestas correctas en comparaci´on con el modelo base. Sin embargo, el rendimiento equilibrado sugiere que ambos modelos son igualmente efectivos en t´erminos de precisi´on para esta categor´ıa de preguntas. Este resultado podr´ıa ser indicativo de que el ajuste no siempre garantiza un aumento en el rendimiento en todos los contextos o que ambos modelos ya est´an optimizados para este tipo particular de tareas.
Glosario Figura 26 En la Figura 26 se observa que el modelo ajustado supera al modelo base por un margen de 9.09 Unidad de inmediatos Figura 27 En la Figura 27 se observa una comparativa de respuestas en relaci´on con la Unidad de inmediatos, donde se evidencia que el modelo base supera significativamente al modelo ajustado. La cantidad de respuestas correctas para el modelo base es de 5, en contraste con solo 1 respuesta correcta proporcionada por el modelo ajustado. En el contexto de la pregunta sobre instrucciones de saltos incondicionados, la respuesta 2 es considerada correcta al describir adecuadamente estas instrucciones como aquellas que permiten saltar a una direcci´on de memoria espec´ıfica sin depender de una condici´on. La eficacia del modelo base se pone de manifiesto al evitar errores conceptuales, como el que se encuentra en la respuesta 1, que incorrectamente menciona ¨Instrucci´on de salto condicional (JCC)”dentro de las instrucciones incondicionales. Este an´alisis refleja que el modelo base no solo es superior en cantidad,
sino tambi´en en la calidad de las respuestas, demostrando una comprensi´on m´as precisa y detallada del concepto de saltos incondicionados en la arquitectura de computadoras. Instrucciones Auxiliares Figura 28 En la Figura 28 se observa una comparativa de respuestas para las instrucciones auxiliares entre un modelo ajustado y un modelo base. La gr´afica muestra que el modelo ajustado gener´o un total de 6 respuestas correctas y 3 incorrectas, mientras que el modelo base produjo 4 respuestas correctas y 5 incorrectas. Esto indica que el modelo ajustado es superior al modelo base, mejorando el n´umero de respuestas correctas en un 50 Espacio de direccionamiento Figura 29 En la Figura 29 se aprecia un an´alisis comparativo de respuestas correctas e incorrectas entre el modelo ajustado y el modelo base al abordar el tema del espacio de direccionamiento. La pregunta sobre las contribuciones de John Hennessy y David Patterson destaca que el modelo base proporciona mejores resultados, con seis respuestas correctas, en contraste con el modelo ajustado que alcanz´o cinco respuestas correctas y una incorrecta. El modelo base es m´as efectivo en este caso, superando al ajustado por un 16.67 Estandar internacional para unidades
Figura 30 En la Figura 30 se observa una comparativa entre el modelo ajustado y el modelo base en relaci´on con el est´andar internacional para unidades. Ambos modelos muestran un rendimiento id´entico, con un total de 2 respuestas correctas y 1 incorrecta cada uno. Este resultado sugiere que, en este caso particular, el proceso de ajuste no ha proporcionado una ventaja significativa sobre el modelo base. El gr´afico ilustra claramente que tanto el modelo ajustado como el base alcanzaron el mismo porcentaje de aciertos, lo que indica que, para esta tarea espec´ıfica, ambos modelos son igualmente efectivos en t´erminos de precisi´on.
Instrucciones de saltos incondicionados - instrucciones Tipo I - jalr Tipo I Figura 31 En la Figura 31 se observa una comparativa de respuestas para las instrucciones de saltos incondicionados, espec´ıficamente para las instrucciones Tipo I y jalr Tipo I. El gr´afico ilustra que el modelo ajustado gener´o un n´umero igual de respuestas correctas e incorrectas, con 3 aciertos y 3 errores. Por otro lado, el modelo base proporcion´o 2 respuestas correctas y 4 incorrectas. La pregunta sobre la representaci´on de una instrucci´on tipo R en RISC-V muestra que el modelo ajustado es ligeramente superior, ya que proporciona una descripci´on adecuada de los campos caracter´ısticos de la arquitectura RISC-V, tales como opcode, rd, rs1, rs2, funct3 y funct7, mientras que el modelo base tiende a confundirse con el formato de la arquitectura MIPS. Este resultado indica que el fine-tuning ha mejorado el rendimiento del modelo ajustado en t´erminos de precisi´on, permiti´endole superar al modelo base en un 50 Ejercicios procesador
Figura 32 En la Figura 32 se observa que el modelo ajustado gener´o una mayor cantidad de respuestas correctas en comparaci´on con el modelo base. La pregunta sobre la ejecuci´on de instrucciones en un procesador monociclo indica que la respuesta correcta describe adecuadamente c´omo este tipo de procesador maneja cada instrucci´on en un solo ciclo de reloj y explica las etapas de recepci´on, decodificaci´on, ejecuci´on y actualizaci´on del estado del procesador sin mencionar el uso de pipeline, caracter´ıstica de los procesadores multiciclo. El modelo ajustado proporcion´o 6 respuestas correctas, mientras que el modelo base solo 4, adem´as de incurrir en 2 respuestas incorrectas. Esto demuestra que el fine-tuning ha mejorado tanto la cantidad como la calidad de las respuestas del modelo ajustado, superando significativamente al modelo base en t´erminos de precisi´on y relevancia de las respuestas. Este hallazgo confirma la eficacia del proceso de fine-tuning en mejorar el rendimiento del modelo ajustado. Instrucciones de memoria de datos - Instrucciones de lectura de memoria tipo I Figura 33 En la Figura 33 se observa una comparativa de respuestas entre el modelo ajustado y el modelo base en relaci´on con instrucciones de memoria de datos, espec´ıficamente las instrucciones de lectura de memoria tipo I. El modelo ajustado logr´o un total de 6 respuestas correctas y 3 incorrectas, mientras que el modelo base obtuvo 4 respuestas correctas y 5 incorrectas. Esto indica que el modelo ajustado super´o al modelo base en un 50.00 Instrucciones de saltos incondicionados - Instrucciones Tipo J - jal Tipo J
Figura 34 En la Figura 34 se observa una comparativa de respuestas para las Instrucciones de saltos incondicionados de Tipo J, espec´ıficamente la instrucci´on ”jal Tipo J”. Tanto el modelo ajustado como el modelo base muestran un rendimiento id´entico, con un total de cuatro respuestas correctas y dos incorrectas cada uno. Esto indica que, en t´erminos de precisi´on y cantidad de respuestas correctas, ambos modelos son equivalentes para esta categor´ıa de instrucciones. No se evidencia una mejora en el modelo ajustado respecto al modelo base, lo que sugiere que, para las instrucciones de tipo J, el proceso de ajuste no ha proporcionado un beneficio adicional en t´erminos de efectividad. Este hallazgo es relevante para evaluar la eficacia del fine-tuning en este tipo particular de instrucciones, ya que muestra que no siempre se obtiene una mejora significativa con el ajuste del modelo.
Controlador de video Figura 35 En la Figura 35 se observa una comparaci´on entre el modelo ajustado y el modelo base respecto a la cantidad de respuestas correctas e incorrectas en relaci´on al tema de los componentes principales de un procesador. El gr´afico muestra que el modelo base supera al modelo ajustado en un 50.00 Unidad de saltos
Figura 36 En la Figura 36 se observa una comparativa de respuestas entre el modelo ajustado y el modelo base para la Unidad de saltos. El gr´afico muestra que el modelo ajustado gener´o un total de 6 respuestas, de las cuales 3 fueron correctas y 3 incorrectas. Por otro lado, el modelo base tambi´en gener´o 6 respuestas, pero con 2 correctas y 4 incorrectas. La pregunta sobre la memoria de instrucciones en un procesador destaca la importancia de la cach´e de instrucciones (I-cache) en mejorar el rendimiento al almacenar temporalmente las instrucciones del programa en ejecuci´on para un acceso m´as r´apido. El modelo ajustado se desempe˜n´o mejor que el modelo base, proporcioNonedo un 50 Instrucciones aritm´etico l´ogicas - Instrucciones tipo I Figura 37 En la Figura 37 se observa una comparativa de respuestas para las instrucciones aritm´etico l´ogicas, espec´ıficamente las instrucciones tipo I. En esta gr´afica, el modelo base ha demostrado un desempe˜no superior en comparaci´on con el modelo ajustado. El modelo base ha generado 9 respuestas correctas frente a las 4 respuestas correctas del modelo ajustado, lo que representa una mejora del 55.56 Historia de la computaci´on
Figura 38 En la Figura 38 se aprecia una comparaci´on entre el modelo ajustado y el modelo base en t´erminos de respuestas correctas e incorrectas en el contexto de la historia de la computaci´on. El modelo ajustado ha demostrado un rendimiento superior, generando 27 respuestas correctas en comparaci´on con las 24 del modelo base. Esto representa una mejora del 12.50 % (3 respuestas correctas adicionales) para el modelo ajustado. En la pregunta sobre el funcionamiento de la unidad de detecci´on de riesgos en procesadores segmentados, el modelo ajustado proporcion´o una explicaci´on detallada y precisa sobre la gesti´on de dependencias de tipo 1, abarcando aspectos como el an´alisis de dependencias, la cola de dependencias y la resoluci´on de las mismas. Por otro lado, el modelo base se centr´o m´as en la predicci´on de saltos, sin abordar adecuadamente el tema de las dependencias de tipo 1 en el contexto de la unidad de detecci´on de riesgos. Estos resultados demuestran que el fine-tuning aplicado al modelo ajustado ha mejorado tanto la precisi´on como la relevancia de las respuestas, logrando un mejor rendimiento en comparaci´on con el modelo base.
Pseudo instrucciones Figura 39 En la Figura 39 se observa una comparativa de respuestas para Pseudo instrucciones entre el modelo ajustado y el modelo base. El modelo ajustado gener´o un total de 6 respuestas, de las cuales 4 fueron correctas y 2 incorrectas. Por otro lado, el modelo base tambi´en gener´o 6 respuestas, pero solo 3 fueron correctas y 3 incorrectas. La pregunta sobre c´omo se representan las operaciones de suma y resta en la unidad aritm´etica l´ogica destaca que la respuesta 1 es correcta debido a su explicaci´on detallada de la implementaci´on de estas operaciones a nivel de hardware mediante circuitos combinacionales. Este
an´alisis muestra que el modelo ajustado es superior al modelo base en un 33.33 Procesador segmentado con soluci´on a los problemas de segmentacion por hardware Figura 40 En la Figura 40 se observa una comparativa entre un modelo ajustado y un modelo base en t´erminos de la cantidad de respuestas correctas e incorrectas sobre el tema de variaci´on de la se˜nal ALUOp entre los formatos R, I y I-Shift en un procesador monociclo RISC-V. La pregunta planteada destaca que el modelo base ofrece un mejor desempe˜no, con 14 respuestas correctas en comparaci´on con 12 del modelo ajustado. Esta diferencia del 14.29 Comparativa general Figura 41 La figura 41 muestra una comparativa general de respuestas entre el modelo ajustado y el modelo base. En esta gr´afica, se evidencia que el modelo base ha generado un mayor n´umero de respuestas correctas en comparaci´on con el modelo ajustado. Espec´ıficamente, el modelo base ha alcanzado un total de 247 respuestas correctas, mientras que el modelo ajustado ha logrado 223 respuestas correctas. Por otro lado, en t´erminos de respuestas incorrectas, el modelo base ha producido 200, en tanto que el modelo ajustado ha generado 224. Esto indica que la base es superior al modelo ajustado por un margen del
9.72
7.
CONCLUSIONES
El proceso de fine-tuning ha demostrado ser esencial para mejorar la capacidad de los modelos de lenguaje de gran tama˜no, como LLaMA, permitiendo generar contenido espec´ıfico y relevante en ´areas tem´aticas particulares.
La especializaci´on de estos modelos mediante el ajuste fino puede abordar limitaciones en la generaci´on de respuestas gen´ericas y poco contextuales, optimizando su rendimiento en aplicaciones pr´acticas.
La metodolog´ıa desarrollada para el fine-tuning del modelo, que incluy´o la creaci´on de un dataset especializado y la implementaci´on de t´ecnicas avanzadas de ajuste fino, result´o en un modelo significativamente m´as preciso y relevante en comparaci´on con el modelo base. La cuantizaci´on a 4 bits redujo el uso de memoria VRAM de 16 GB a 6 GB, haciendo el modelo m´as eficiente y accesible para entornos con recursos limitados.
Las pruebas controladas y comparativas mostraron una perdida minima en la precisi´on y relevancia de las respuestas generadas por el modelo ajustado en temas espec´ıficos, como dise˜no de computadoras y procesamiento segmentado.
La cantidad total de respuestas correctas generadas por el modelo ajustado fue levemente menor (223 respuestas) en comparaci´on con el modelo base (247 respuestas), demostrando que con el fine-tuning se consiguieron resultados mas que aceptables para la cuantizacion realizada. El modelo ajustado mostr´o fortalezas en la generaci´on de respuestas detalladas y contextualmente relevantes, especialmente en ´areas t´ecnicas espec´ıficas.
Sin embargo, se identificaron ´areas de mejora en temas generales, donde el modelo base gener´o respuestas m´as s´olidas, sugiriendo la necesidad de optimizar el dataset y refinar los hiperpar´ametros del modelo.
La especializaci´on del modelo mediante t´ecnicas de ajuste fino y cuantizaci´on no solo demuestra su viabilidad t´ecnica, sino tambi´en su capacidad para generar un impacto significativo en aplicaciones pr´acticas. Con un plan estructurado de adaptaci´on y evaluaci´on, este modelo tiene el potencial de transformarse en una herramienta clave para sectores como la educaci´on y la industria tecnol´ogica.
El modelo ajustado puede proporcionar materiales de aprendizaje personalizados y detallados, asistir en el dise˜no y simulaci´on de arquitecturas computacionales, y ofrecer recursos de capacitaci´on t´ecnica adaptados a necesidades espec´ıficas.
La documentaci´on y el an´alisis de resultados establecieron un marco de mejora continua, que incluye la optimizaci´on del dataset, iteraciones del proceso de ajuste fino, pruebas iterativas y la recolecci´on de retroalimentaci´on de usuarios finales.
Estas medidas asegurar´an la evoluci´on y adaptaci´on del modelo ajustado, mejorando su relevancia y precisi´on en aplicaciones pr´acticas a lo largo del tiempo.
8.
BIBLIOGRAF´IA
[1] Academia.edu. Academia.edu. https://www.academia.edu/. s.f.
[2] American Psychological Association. Psychological Bulletin. https://www.apa.org/pubs/ journals/bul. s.f.
[3] American Psychological Association. PsycINFO. https://www.apa.org/pubs/databases/ psycinfo. s.f.
[4] Michiel A. Bakker et al. “Fine-tuning Language Models to Find Agreement Among Humans with Diverse Preferences”. En: (2022). url: https://proceedings.neurips.cc/paper_files/ paper/2022/file/f978c8f3b5f399cae464e85f72e28503-Paper-Conference.pdf. [5] National Center for Biotechnology Information. PubMed. https://pubmed.ncbi.nlm.nih.gov/. s.f.
[6] Elsevier. ScienceDirect. https://www.sciencedirect.com/. s.f. [7] Hugging face. Hugging face. https://huggingface.co/. s.f.
[8] GitHub. Repositorios de c´odigo abierto. https://github.com/. s.f. [9] Mansi Goel et al. “Fine-tuning LLMs for Enhanced Natural Language Understanding in Low- Resource Languages”. En: (2023). url: https://arxiv.org/pdf/2305.07552. [10] Zhiqiang Hu et al. “LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-tuning of Large Language Models”. En: (2023). url: https://arxiv.org/abs/2304.01933. [11] Hui Huang et al. “An Empirical Study of LLM-as-a-Judge for LLM Evaluation”. En: (2023). url: https://arxiv.org/pdf/2403.02839.
[12] IEEE. IEEE Xplore. https://ieeexplore.ieee.org/. s.f.
[13] Mathav Raj J et al. “Fine Tuning LLM for Enterprise: Practical and Recommendations”. En: (2024). url: https://arxiv.org/pdf/2404.10779.
[14] Hongye Jin et al. “LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning”. En: (2024). url: https://arxiv.org/pdf/2401.01325.
[15] The Linux Kernel. Risc-V. https://docs.kernel.org/arch/riscv/index.html. s.f. [16] Weirui Kuang et al. “Federatedscope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning”. En: (2023). url: https://arxiv.org/pdf/2309.
00363.
[17] Divyanshu Kumar. “Increased LLM Vulnerabilities from Fine-tuning and Quantization”. En: (2024). url: https://arxiv.org/pdf/2404.04392.
[18] S´eamus Lankford, Haithem Afli y Andy Way. “AdaptMLLM: Fine-tuning Multilingual Language Models on Low-resource Languages”. En: (2023). url: https://www.mdpi.com/2078-2489/14/ 12/638/pdf.
[19] Juncheng Li et al. “Fine-tuning multimodal LLMs to follow zero-shot demonstrative instructions”. En: (2023). url: https://openreview.net/pdf?id=BXY6fe7q31. [20] Xinyu Lin et al. “Data-efficient Fine-tuning for LLM-based Recommendation”. En: (2024). url: https://arxiv.org/pdf/2401.17197.
[21] Yong Liu et al. “Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning”. En: (2024). url: https://arxiv.org/2402.15751. [22] Wei Ma et al. “Combining Fine-Tuning and LLM-based Agents for Intuitive Smart Contract Auditing with Justifications”. En: (2024). url: https://arxiv.org/pdf/2403.16073. [23] Society for Neuroscience. Journal of Neuroscience. https://www.jneurosci.org/. s.f. [24] World Health Organization. World Health Organization. https://www.who.int/es. s.f. [25] Stack Overflow. StackOverflow. https://stackoverflow.com/. s.f.
[26] Pythorch. Framework. https://pytorch.org/. s.f.
[27] Reddit. Reddit. https://www.reddit.com/r/MachineLearning/. s.f. [28] ResearchGate. ResearchGate. https://www.researchgate.net/. s.f. [29] Google Scholar. Google Scholar. https://scholar.google.com/. s.f. [30] Towards Data Science. Towards Data Science. https://towardsdatascience.com/. s.f. [31] K. Shima et al. “Improving LLM Responsiveness with Fine-tuned Prompt Engineering”. En: (2023). url: https://arxiv.org/pdf/2305.09952.
[32] Jos´e Alfredo Jaramillo Villegas, Hern´an Mauricio Zuluaga Bucheli y Camilo Sep´ulveda Caviedes. Arquitectura de Computadoras con RISC-V. Editorial UTP, 2022. [33] Le Xiao y Xiaolin Chen. “Enhancing LLM with Evolutionary Fine Tuning for News Summary Generation”. En: (2023). url: https://arxiv.org/abs/2307.02839. [34] Qimin Yang et al. “Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise”. En: (2024). url: https : / / arxiv . org / html / 2407 . 11536v1.
[35] Changtong Zan et al. “Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning”. En: (2024). url: https://arxiv.org/pdf/2403.14399. [36] Biao Zhang et al. “When Scaling Meets LLM Finetuning: The Effect of Data, Model and Finetuning Method”. En: (2024). url: https://arxiv.org/pdf/2402.17193. [37] Hengyuan Zhang et al. “Balancing Speciality and Versatility: a Coarse to Fine Framework for Supervised Fine-tuning Large Language Model”. En: (2024). url: https://arxiv.org/pdf/
2404.10306.
[38] Yihua Zhang et al. “Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine- Tuning”. En: (2024). url: https://arxiv.org/pdf/2402.11592. [39] Zheng Zhang et al. “Balancing Specialized and General Skills in LLMs: The Impact of Modern Tuning and Data Strategy”. En: (2023). url: https://arxiv.org/pdf/2310.04945.
Cita: Castañeda Perez, Frederick Johan (2025), Professor X, Universidad Tecnológica de Pereira, p. N. https://hdl.handle.net/11059/15684