Maestría en Ciencias de los Datos y Analítica · 2022
Desarrollo de un algoritmo de aprendizaje por refuerzo profundo para resolver el despacho hidrotérmico colombiano considerando escenarios hidrológicos y de demanda bajo incertidumbre
Economic dispatch is a widely analyzed optimization problem in the electricity sector, which seeks to make the best use of available resources to meet demand at minimum cost. This problem has a great complexity in its solution due to the uncertainty of multiple parameters, being of special interest the hydrological uncertainty for the Colombian case due to its high dependence on hydroelectric plants. In this paper, we view economic dispatch as a multistage decision making problem and propose a Reinforcement Learning to solve the Colombian economic dispatch problem considering hydrological scenarios, due to its ability to handle uncertainty and sequential decisions. The policy performance of our algorithm is compared with classic deterministic method. The main advantage of our method is it can learn from a robust policy to deal the inflow and load demand scenarios.
Texto completo 60 páginas con texto
Leer la tesis completa Ficha en el repositorio
Contenido
- INTRODUCCIÓNp. 4
- PLANTEAMIENTO DEL PROBLEMAp. 4
- JUSTIFICACIÓNp. 5
- OBJETIVOSp. 6
- Objetivo Generalp. 6
- Específicosp. 6
- MARCO CONCEPTUAL Y ESTADO DEL ARTEp. 7
- MARCO CONCEPTUALp. 7
- Fundamentos de Optimización:p. 7
- Aprendizaje Automático:p. 8
- Aprendizaje por Refuerzo:p. 8
- Aprendizaje por Refuerzo Profundo:p. 10
- Aleatorio (Random):p. 11
- Deep Q Network - DQN:p. 11
- Advance Actor Critic - A2C:p. 14
- ESTADO DEL ARTEp. 17
- MODELO MATEMÁTICO DE DESPACHO ECONÓMICOp. 20
- DEFINICIÓN DEL MODELO MATEMÁTICO DE OPTIMIZACIÓN:p. 20
- MODELACIÓN DE VARIABLES CON INCERTIDUMBREp. 24
- Incertidumbre en la demanda:p. 24
- Incertidumbre en los caudales:p. 25
- AGENTE (AGENT)p. 27
- ACCIONES (ACTION)p. 28
- ENTORNO (ENVIRONMENT)p. 29
- Estado (State):p. 29
- Recompensa (Reward)p. 30
- Interacción del modelo matemático con la acción del agente:p. 31
- Modelación de la Incertidumbre a través del entorno:p. 32
- EXPLORACIÓN - EXPLOTACIÓNp. 32
- Epsilon-Greedy:p. 32
- Exploración mediante distribución Gaussiana:p. 33
- AJUSTES DE LOS ALGORITMOS DE APRENDIZAJE REFORZADOp. 33
- DQN:p. 33
- A2C:p. 34
- EXPERIMENTOS Y ANÁLISIS DE RESULTADOSp. 35
- DESCRIPCIÓN DEL CASO DE ESTUDIOp. 35
- MEDIDAS DE CALIDAD DEL EXPERIMENTOp. 35
- ENTRENAMIENTO DEL ALGORITMO DRLp. 37
- Agente Aleatorio:p. 37
- Agente DQN:p. 38
- Agente A2C:p. 39
- Selección del algoritmop. 42
- APLICACIÓN DE LA POLÍTICA AL EL CASO DE ESTUDIO COLOMBIANOp. 44
- Precio de bolsa:p. 44
- Gestión de los embalses:p. 45
- CONCLUSIONES Y TRABAJOS FUTUROSp. 48
- REFERENCIASp. 50
- ANEXO I - GESTIÓN DE DATOSp. 53
- DESCRIPCIÓN Y ADQUISICIÓN DE LOS DATOSp. 53
- ASPECTOS ÉTICOSp. 55
- ANEXO II - ALGORITMOSp. 57
- ALGORITMO ALEATORIOp. 57
- ALGORITMO DQNp. 57
- ALGORITMO A2C CON MUESTREO SENCILLOp. 58
- ALGORITMO A2C CON MUESTREOp. 60