Markovsche Entscheidungsprozesse / Markov Decision Processes (Sommersemester 2018)
- Dozent*in: Prof. Dr. Nicole Bäuerle
- Veranstaltungen: Vorlesung (0159900), Übung (0159910)
- Semesterwochenstunden: 2+1
- Hörerkreis: MSc Math/Tema/Wima
| Termine | ||
|---|---|---|
| Vorlesung: | Dienstag 8:00-9:30 | SR 0.016 |
| Übung: | Mittwoch 15:45-17:15 | SR 2.58 |
| Lehrende | ||
|---|---|---|
| Dozentin | Prof. Dr. Nicole Bäuerle | |
| Sprechstunde: nach Vereinbarung. | ||
| Zimmer 2.016 Kollegiengebäude Mathematik (20.30) | ||
| Email: nicole.baeuerle@kit.edu | Übungsleiter | Daniel Schmithals M.Sc. |
| Sprechstunde: Nach Vereinbarung | ||
| Zimmer 2.009 Kollegiengebäude Mathematik (20.30) | ||
| Email: daniel.schmithals@kit.edu | ||
Inhalt
In Anwendungen treten oft Probleme auf, bei denen in ein stochastisches, dynamisches System eingegriffen werden muss, um es optimal zu steuern. Beispiele sind Portfolio-Optimierungsprobleme: wie muss ich mein Geld auf verschiedene Anlagen aufteilen und umschichten um meinen erwarteten Nutzen zu maximieren? Scheduling-Probleme: in welcher Reihenfolge soll ich wartende Jobs abarbeiten um den Durchfluss der Fertigung zu maximieren? Oder Stopp-Probleme: wann soll ich eine Aktie verkaufen oder wann beim Spiel 17 und 4 aufhören? Die Vorlesung bietet eine Einführung in die optimale Steuerung von Markovschen Prozessen und deren Lösungstheorie. Wichtige Anwendungsbeispiele werden ebenfalls
behandelt.
Voraussetzung
Vorlesung "Wahrscheinlichkeitstheorie". "Markovsche Ketten" sind hilfreich, aber nicht notwendig.
Prüfung
Mündliche Prüfungen am Ende der Vorlesung.
Literaturhinweise
Bäuerle, N. and Rieder, U. (2011): Markov Decision Processes with applications to finance. Springer-Verlag.
Bertsekas, D. P. (2001) Dynamic programming and optimal control. Vol.II. Athena Scientific.
Bertsekas, D. P. (2005) Dynamic programming and optimal control. Vol.I. Athena Scientific.
Hernández-Lerma, O. and Lasserre, J. B. (1996) Discrete-time Markov control processes. Springer-Verlag.
Hernández-Lerma, O. and Lasserre, J. B. (1999) Further topics on discrete-time Markov control processes. Springer-Verlag.
Puterman, M. L. (1994) Markov decision processes: discrete stochastic dynamic programming. John Wiley & Sons.
Ross, S. (1983) Introduction to stochastic dynamic programming. Academic Press.
Schäl, M. (1990) Markoffsche Entscheidungsprozesse. B. G. Teubner.