Sporala red del conocimiento
EN
Pontificia Universidad Javeriana

Ingeniería de Sistemas · 2017

Transfer learning for actor-critic methods in Lipschitz Markov decision processes

Solo ficha. El repositorio marca este trabajo como «De acuerdo con la naturaleza del uso concedido, la presente licencia parcial se otorga a título gratuito por el máximo tiempo legal colombiano, con el propósito de que en dicho lapso mi (nuestra) obra sea explotada en las condiciones aquí estipuladas y para los fines indicados, respetando siempre la titularidad de los derechos patrimoniales y morales correspondientes, de acuerdo con los usos honrados, de manera proporcional y justificada a la finalidad perseguida, sin ánimo de lucro ni de comercialización. De manera complementaria, garantizo (garantizamos) en mi (nuestra) calidad de estudiante (s) y por ende autor (es) exclusivo (s), que la Tesis o Trabajo de Grado en cuestión, es producto de mi (nuestra) plena autoría, de mi (nuestro) esfuerzo personal intelectual, como consecuencia de mi (nuestra) creación original particular y, por tanto, soy (somos) el (los) único (s) titular (es) de la misma. Además, aseguro (aseguramos) que no contiene citas, ni transcripciones de otras obras protegidas, por fuera de los límites autorizados por la ley, según los usos honrados, y en proporción a los fines previstos; ni tampoco contempla declaraciones difamatorias contra terceros; respetando el derecho a la imagen, intimidad, buen nombre y demás derechos constitucionales. Adicionalmente, manifiesto (manifestamos) que no se incluyeron expresiones contrarias al orden público ni a las buenas costumbres. En consecuencia, la responsabilidad directa en la elaboración, presentación, investigación y, en general, contenidos de la Tesis o Trabajo de Grado es de mí (nuestro) competencia exclusiva, eximiendo de toda responsabilidad a la Pontifica Universidad Javeriana por tales aspectos. Sin perjuicio de los usos y atribuciones otorgadas en virtud de este documento, continuaré (continuaremos) conservando los correspondientes derechos patrimoniales sin modificación o restricción alguna, puesto que, de acuerdo con la legislación colombiana aplicable, el presente es un acuerdo jurídico que en ningún caso conlleva la enajenación de los derechos patrimoniales derivados del régimen del Derecho de Autor. De conformidad con lo establecido en el artículo 30 de la Ley 23 de 1982 y el artículo 11 de la Decisión Andina 351 de 1993, “Los derechos morales sobre el trabajo son propiedad de los autores”, los cuales son irrenunciables, imprescriptibles, inembargables e inalienables. En consecuencia, la Pontificia Universidad Javeriana está en la obligación de RESPETARLOS Y HACERLOS RESPETAR, para lo cual tomará las medidas correspondientes para garantizar su observancia.»: el PDF no es público, así que aquí no hay texto para leer. Ver la ficha en el repositorio.

Resumen

Aprendizaje por Refuerzo es un paradigma para diseñar agentes artificiales cuando el conocimiento viene exclusivamente de interacción con un ambiente. Dificultades surgen cuando los espacios de estados y acciones son continuos pues los algoritmos clásicos de RL no son factibles ni convergentes. Los enfoques Actor-Critic resuelven dichos problemas al combinar la convergencia de los métodos policy-gradient con el poder representativo de function approximators, en un estimador de baja varianza. Aprendizaje por Transferencia es el paradigma que estudia el problema de transferir experiencia previa de diferentes ambientes cuando el agente encara uno nuevo y desconocido. Su objetivo es desarrollar algoritmos que aceleren el nuevo proceso de aprendizaje aprovechando el conocimiento previo. Avances relativos a TL en RL han emergido en años recientes, pero la mayoría se concentran en transferir información de alto nivel. La continuidad Lipschitziana, una noción más fuerte de continuidad para los elementos del ambiente, puede proveer suficiente información para crear mecanismos de transferencia a nivel de muestras y extender los métodos Actor-Critic. Esta tesis presenta dos de esos mecanismos basados en estimadores ponderados: uno hace una selección optimista de los pesos y otro una selección pesimista. Ambas técnicas son comparadas con un mecanismo de transferencia basado en estimación con Importance Sampling. El enfoque optimista produce buenos resultados en la mayoría de los casos experimentales, mostrándose como una alternativa prometedora sobre aquella con IS y el caso sin transferencia. El enfoque pesimista, en cambio, es demasiado conservativo al seleccionar pesos, y no produce mejoras importantes al caso sin transferencia.

Palabras clave