Optimalidad en índice promedio para procesos de control markovianos y juegos semi-markovianos con probabilidades de transición débilmente continuas

Abstract

En esta tesis se estudian problemas de control optimo asociados a procesos de control markovianos (PCM) y juegos semi-markovianos (JSM) de suma cero con índice promedio, kérneles de transición débilmente continuos en espacios de Borel y funciones de costo o pago no acotadas. Un PCM es un sistema dinámico cuyo comportamiento es controlado o modificado mediante la selección de una variable o parámetro de control. A las “reglas” con las que se elige dicha variable de control se les conoce como políticas o estrategias de control. La respuesta del sistema a las políticas de control se mide por medio de un índice de funcionamiento. Así, el problema de control óptimo consiste en encontrar una política de control que optimice el índice de funcionamiento. En un juego de suma cero el sistema es controlado por dos jugadores quienes eligen sus variables de control independiente y simultáneamente. En este caso el índice de funcionamiento mide la respuesta del sistema a las políticas o estrategias de control seleccionadas por los jugadores y representa el pago (o ganancia) que recibir· uno de ellos del otro. El problema de optimización consiste en encontrar estrategias de control para ambos jugadores que garanticen un equilibrio entre las ganancias de uno y las pérdidas del otro. Los problemas descritos anteriormente pueden abordarse con distintos enfoques. En el presente trabajo usaremos un enfoque de “punto-fijo” para obtener soluciones de la ecuación de optimalidad para el problema de control óptimo, y soluciones de la ecuación de Shapley para el caso de juegos semi-markovianos de suma cero. Esto se hace bajo tres tipos de condiciones sobre los modelos: una condición de Lyapunov, condiciones de continuidad y compacidad, y una condición de crecimiento sobre la función de costo o de pago. La condición de Lyapunov permite obtener, por medio de “argumentos de punto fijo”, resultados relacionados con la ergodicidad y estabilidad de los sistemas controlados. Por otra parte, las condiciones de continuidad y compacidad, en términos generales, nos permiten encontrar minimizadores medibles para ciertos problemas de optimización “estáticos” relacionados con el problema de control y el de juego. La condición de crecimiento permite considerar funciones de costo y de pago no-acotadas.