Aproximación numérica para iteración de valores en procesos de control markoviano con espacion generales y costos acotados

Abstract

Una amplia gama de problemas en economía, investigación de operaciones, explotación de recursos renovables y no renovables, etc., son modelados como problemas de optimización de sistemas estocásticos que evolucionan en el tiempo ([4], [6], [10], [11], [12], [19], [23], [25], [30]). Estos problemas consisten en la toma de decisiones secuenciales con el fin de conducir al sistema hacia un comportamiento ´optimo. La elección de la mejor decisión entre las distintas alternativas (denominadas acciones o controles) requiere pensar en los efectos que cada una de ellas puede generar. Los efectos inmediatos a menudo pueden verse, pero los efectos a largo plazo no siempre son trasparentes, de tal manera que algunos controles pueden tener respuestas inmediatas muy pobres, pero a la larga pueden ser los mejores. Así que el problema consiste en escoger aquellos controles que proporcionen un adecuado balance entre los costos (´o beneficios) inmediatos y los futuros. La dificultad del decisor radica en la incertidumbre sobre el futuro ya que los resultados de los controles son aleatorios. Sistemas dinámicos que involucran la toma de decisiones secuenciales en ambiente de incertidumbre, cuya evolución hacia estados futuros sólo depende del estado y control actual, pero no de la historia pasada, son modelados mediante modelos de control markoviano (MCM). Un MCM consta de un espacio de estados, un espacio de controles, una ley de transición y una función de costo. Al inicio de cada etapa (tiempo trascurrido entre toma de decisiones consecutivas), el controlador observa el estado en que se encuentra el sistema y escoge un control factible, provocando que el sistema se mueva a otro estado de acuerdo con la ley de transición, lo cual genera un costo. Cuando la observación de estados y la aplicación de controles se hace en tiempos discretos se dice que el MCM es a tiempo discreto. Es en el contexto de estos modelos donde desarrollaremos nuestro trabajo.