Der erste Teil der Vorlesung behandelt sogen. Markovsche Entscheidungsprozesse.
Dabei kann ein Entscheidungsträger den Übergangskern einer zeitdiskreten Markov-Kette
beeinflussen. Ziel ist die Maximierung der erwarteten diskontierten Kosten über
einen endlichen oder unendlichen Horizont. Es werden auch Probleme betrachtet, bei
denen der Entscheidungsträger nur partielle Information besitzt.

Im zweiten Teil der Vorlesung werden stochastische Steuerprobleme für Diffusionsprozesse
betrachtet. Diese können über die sogen. Hamilton-Jacobi-Bellman Gleichung gelöst werden.
Ebenfalls betrachtet werden Probleme mit singulärer Steuerung.

Die entwickelte Theorie wird an einer Reihe von Anwendungsbeispielen erläutert.

Literaturhinweise

D. Bertsekas: Dynamic programming and optimal control, Vol.1/2. Athena Scientific.
W.H. Fleming, M.H. Soner: Controlled Markov processes and viscosity solutions, Springer-Verlag.
O. Hernandez-Lerma und J.B. Lassere: Discrete-time Markov control processes: basic optimality criteria. Springer-Verlag.
M. Puterman: Markov decision processes: discrete stochastic dynamic programming. J. Wiley & Sons.
S. Ross: Introduction to stochastic dynamic programming. Academic Press.