Procesos de control semi-Markovianos con distribución del tiempo de permanencia desconocida

Abstract

El estudio de los procesos de control estocástico se clasifica como procesos en tiempo discreto o en tiempo continuo. Una clase importante de procesos de control en tiempo continuo la constituyen los Procesos de Control Semi-Markovianos (PCSMs), cuya evolución en el tiempo la podemos describir de la siguiente manera. Si en el tiempo de la n-ésima época de decisión el sistema se encuentra en el estado xn=x; entonces el controlador elige una acción o control an=ay sucede lo siguiente: 1) el sistema permanece en el estado x durante un tiempo aleatorio no negativo δn+1 con distribución H; 2) se genera un costo c que depende del estado, el control y el tiempo de permanencia, 3) el sistema se mueve a un nuevo estado xn+1=y de acuerdo a una ley de transición. Una vez ocurrido lo anterior, el proceso se repite. Los costos de operación se acumulan durante la evolución del sistema, y el objetivo es encontrar una política de control que minimice un índice de funcionamiento. En muchos trabajos, usualmente, se supone que todas las componentes que intervienen en la descripción de los PCSMs son conocidas por el controlador; no obstante, existen situaciones en las cuales solamente se cuenta con estimación eso aproximaciones de uno o más elementos del proceso. Este trabajo de tesis se enfocará en el estudio de los PCSMs con el criterio de costo total descontado y distribución del tiempo de permanencia H desconocida por el controlador. Además, supondremos que los espacios de estado y control son de Borel y el costo por etapa es posiblemente no acotado. El esquema previamente descrito produce algunas consecuencias en la evolución de un PCSM estándar. En principio, la función de costo por etapa c será también desconocida debido a que depende de los tiempos de permanencia. Por lo tanto, bajo este contexto, supondremos que antes de que el controlador seleccione el control an en el tiempo de la n-ésima época de decisión, se debe implementar un proceso de estimación de H, y por consiguiente del costo c, con el cual obtendremos los estimadores Hn y cn. Luego, combinando el proceso de estimación con técnicas de control deber· entonces elegirse una acción a = an (Hn) Los PCSMs bajo el criterio de costo descontado, han sido estudiados por varios autores. Por ejemplo [12, 13, 23, 25] consideran el caso en que el espacio de estados es un conjunto numerable, mientras que en [2, 18] se considera espacio de estados de Borel. No obstante, tanto en los primeros como en los últimos trabajos aquí citados, todas las componentes que describen a los modelos en cuestión se suponen conocidas por el controlador, lo cual contrasta con la característica principal del presente trabajo que es suponer desconocida la distribución del tiempo de permanencia H, tal como es considerado por los autores en [17]. Este trabajo de tesis está estructurado en cinco capítulos diseñados de la siguiente manera.