Estimación empírica en modelos de control markovianos descontados

Abstract

La teoría de control óptimo trata con problemas de optimización de sistemas dinámicos cuyo comportamiento puede ser manipulado mediante ciertos controles los cuales se seleccionan por medio de reglas denominadas políticas de control. La calidad de las políticas de control la mide un índice de funcionamiento del sistema, el cual representa un costo o una ganancia. De esta forma, el problema de control óptimo consiste en encontrar una política óptima que minimice o maximice un índice de funcionamiento, según sea el caso. En el estudio de problemas de control óptimo, los modelos correspondientes se clasifican en: estocásticos o determinísticos si incluyen o no componentes aleatorias, respectivamente; asimismo, en tiempo continuo si los controles pueden elegirse en cualquier tiempo, o bien, en tiempo discreto si estos se seleccionan en un conjunto a lo más numerable (etapas de decisión). En este trabajo se estudian modelos de control markovianos, los cuales constituyen una clase de modelos de control estocástico en tiempo discreto, y cuya evolución en el tiempo la podemos describir como sigue. Si en la t-ésima etapa de decisión (t Є n0) el sistema se encuentra en el estado xt=x, entonces el controlador elige una acción o control at=a y ocurre lo siguiente: 1) se produce un costo c depende del estado y la acción elegida; 2) el sistema se mueve a un nuevo estado xt+1=y de acuerdo a una ley transición. Una vez ocurrido lo anterior, el proceso se repite.