Sequential decision making in non-stationary environments

• Main Author: Yu, Jia Yuan
• Other Authors: Shie Mannor (Internal/Supervisor)
• Format: Others
• Language: en
• Published: McGill University 2010
• Subjects: Applied Sciences - Operations Research
• Online Access: http://digitool.Library.McGill.CA:80/R/?func=dbin-jump-full&object_id=92156

We consider the problem of sequential decision making in non-stationary environments. In order to avoid solutions that are too conservative, we capture the degree of non-stationarity in real-world problems through different mathematical models for the environment. In the first model, we add to the environment a state that follows Markovian dynamics subject to limited levels of non-stationary uncertainty. In the second model, we add non-stationary constraints to the environment. In the third model, we limit the frequency of non-stationary changes. In each of these models, we provide efficient learning algorithms and prove corresponding performance guarantees that depend critically on the degree of non-stationarity. === Nous étudions le problème de décisions séquentielles dans des environnements non-stationnaires. Pour éviter des solutions trop conservatrices, nous modélisons le degré de non-stationnarité à travers differents modèles mathématiques de l'environnement. Dans le premier modèle, nous ajoutons à l'environnement un état qui suit une dynamique Markovienne, sujet à des niveaux limités d'incertitude non-stationnaire. Dans le second modèle, nous ajoutons des contraintes non-stationnaires à l'environnement. Dans le troisième modèle, nous limitons la fréquence des changements non-stationnaires. Pour chaque modèle, nous présentons des algorithmes d'apprentissage efficients et prouvons des guaranties de performance qui dépendent du degré de non-stationnarité.