Estimación, control y estabilidad en modelos semi-markovianos

Abstract

El objetivo del presente trabajo consiste en estudiar el problema de control óptimo asociado a sistemas de control semi-markovianos donde la distribución del tiempo de permanencia F es desconocida por el controlador. El estudio se hará bajo tres puntos de vista diferentes, los cuales describimos a continuación. Primeramente, supondremos que los tiempos de permanencia son observables y que la distribución F tiene una densidad desconocida que no depende de los pares estado-acción (x, a). En este escenario seguimos esquemas usuales de control adaptado que combina métodos estadísticos de estimación de la densidad con técnicas de control para la construcción de políticas ´optimas. Este problema fue analizado por Luque-Vásquez y Minjarez Sosa en [29] para el criterio de costo descontado. Nuestro trabajo se centraría en el análisis bajo criterio de costo promedio.