Markovsche Entscheidungsprozesse / Markov Decision Processes (Sommersemester 2012)
- Dozent*in: Prof. Dr. Nicole Bäuerle
- Veranstaltungen: Vorlesung (0159900), Übung (0160000)
- Semesterwochenstunden: 2+1
Am Freitag, den 13. Juli findet keine Übung statt. Die Übung am 20. Juli findet wie gewohnt statt, das entsprechende Übungsblatt steht im Studierendenportal zum Download bereit.
| Termine | ||
|---|---|---|
| Vorlesung: | Mittwoch 8:00-9:30 | Z 1 |
| Übung: | Freitag 11:30-13:00 | Z 1 |
| Lehrende | ||
|---|---|---|
| Dozentin | Prof. Dr. Nicole Bäuerle | |
| Sprechstunde: nach Vereinbarung. | ||
| Zimmer 2.016 Kollegiengebäude Mathematik (20.30) | ||
| Email: nicole.baeuerle@kit.edu | ||
Inhalt
In Anwendungen treten oft Probleme auf, bei denen in ein stochastisches, dynamisches System eingegriffen werden muss, um es optimal zu steuern. Beispiele sind Portfolio-Optimierungsprobleme: wie muss ich mein Geld auf verschiedene Anlagen aufteilen und umschichten um meinen erwarteten Nutzen zu maximieren? Scheduling-Probleme: in welcher Reihenfolge soll ich wartende Jobs abarbeiten um den Durchfluss der Fertigung zu maximieren? Oder Stopp-Probleme: wann soll ich eine Aktie verkaufen oder wann beim Spiel 17 und 4 aufhören? Die Vorlesung bietet eine Einführung in die optimale Steuerung von Markovschen Prozessen und deren Lösungstheorie. Wichtige Anwendungsbeispiele werden ebenfalls
behandelt.
Voraussetzung
Vorlesung "Wahrscheinlichkeitstheorie". "Markovsche Ketten" sind hilfreich, aber nicht notwendig.
Literaturhinweise
Bäuerle, N. and Rieder, U. (2011): Markov Decision Processes with applications to finance. Springer-Verlag.
Bertsekas, D. P. (2001) Dynamic programming and optimal control. Vol.II. Athena Scientific.
Bertsekas, D. P. (2005) Dynamic programming and optimal control. Vol.I. Athena Scientific.
Hernández-Lerma, O. and Lasserre, J. B. (1996) Discrete-time Markov control processes. Springer-Verlag.
Hernández-Lerma, O. and Lasserre, J. B. (1999) Further topics on discrete-time Markov control processes. Springer-Verlag.
Puterman, M. L. (1994) Markov decision processes: discrete stochastic dynamic programming. John Wiley & Sons.
Ross, S. (1983) Introduction to stochastic dynamic programming. Academic Press.
Schäl, M. (1990) Markoffsche Entscheidungsprozesse. B. G. Teubner.