Seminar Reinforcement Learning / Oberseminar Adaptive Robotersteuerung / Proseminar Robotik
Seminar im Wintersemester 2013/14. Uwe Dick, Prof. Tobias Scheffer.
Termine
Die Veranstaltungen umfassen jeweils 2 SWS (3 LP). Die Seminare finden als Blockveranstaltung statt.
- Vorbesprechung und Themenvergabe für alle drei Veranstaltungen voraussichtlich am 14.10.2013 um 12:00 Uhr in Raum 03.04.1.02 (Folien)
- Einführungsveranstaltung: Wissenschaftliches Arbeiten. Montag, 21.10.2013 um 12:00 in Raum 03.04.1.02. Online als Vorlesungsvideo
- Abgabe der ersten Version der Ausarbeitung: Montag, 18.11.13
- Abgabe der Endversion der Ausarbeitung und der ersten Version der Folien: Montag, 2.12.13
- Abgabe der Endversion der Folien: 16.12.13 für den ersten Vortragstermin, ansonsten 2 Wochen vor dem Vortrag.
- Termine für Vorträge: Jeweils Montags, 6.1., 13.1. und 20.1.14
Inhalte
Das Seminar beschäftigt sich mit Anwendungen und Theorie von Reinforcement Learning.
Reinforcement Learning ist das Teilgebiet des maschinellen Lernens, das sich
mit dem Lernen optimaler Sequenzen von Entscheidungen beschäftigt.
Z.B. im Bereich der Robotik betrachtet man einen Agenten, der Aktionen in einer möglicherweise stochastischen Umgebung ausführt um ein vordefiniertes Ziel zu erreichen.
Er begegnet dabei zwei Problemen:
Erstens bekommt er nicht notwendigerweise nach jeder getätigten Bewegung ein
aussagekräftiges Feedback von seiner Umwelt, ob ihn diese
Bewegung seinem Ziel näher gebracht hat. Oftmals erfolgt die Bewertung erst am
Ende der vollständigen Folge oder einer Teilfolge von Bewegungen, z.B. wenn ein Teilziel erreicht wurde.
Dieses Problem wird als Temporal Credit Assignment Problem bezeichnet.
Zweitens fehlt dem Agenten zu Beginn des Lernen meist ein vollständiges Modell
seiner Welt. D.h. er kann nicht voraussagen, welchen Effekt seine Aktionen
auf die Umwelt und ihn selber haben werden.
Das Seminar wird sich sowohl mit Anwendungengebieten beschäftigen in denen Reinforcement Learning Methoden erfolgreich angewendet wurden, als auch mit aktuellen theoretischen Erkenntnissen. Im Proseminar Robotik wird der Fokus vor allen Dingen auf der Identifikation von speziellen Problemstellungen bei der Entwicklung von autonomen Robotern liegen, die mit Hilfe von Methoden des Reinforcement Learning gelöst werden können. Im Oberseminar Adaptive Robotersteuerung wird dieser Fokus noch mehr auf aktuelle theoretische und praktische Lösungen gelenkt.
Themen
Siehe Folien zur Einführungsveranstaltung.
Mail mit 3 Themenwünschen bitte bis Freitag, 18.10.13 an uwedick@cs.uni-potsdam.de.