Seminar Reinforcement Learning / Oberseminar Adaptive Robotersteuerung / Proseminar Robotik

Seminar im Wintersemester 2013/14. Uwe Dick, Prof. Tobias Scheffer.


Termine

Die Veranstaltungen umfassen jeweils 2 SWS (3 LP). Die Seminare finden als Blockveranstaltung statt.


Inhalte

Das Seminar beschäftigt sich mit Anwendungen und Theorie von Reinforcement Learning.

Reinforcement Learning ist das Teilgebiet des maschinellen Lernens, das sich mit dem Lernen optimaler Sequenzen von Entscheidungen beschäftigt. Z.B. im Bereich der Robotik betrachtet man einen Agenten, der Aktionen in einer möglicherweise stochastischen Umgebung ausführt um ein vordefiniertes Ziel zu erreichen. Er begegnet dabei zwei Problemen:
Erstens bekommt er nicht notwendigerweise nach jeder getätigten Bewegung ein aussagekräftiges Feedback von seiner Umwelt, ob ihn diese Bewegung seinem Ziel näher gebracht hat. Oftmals erfolgt die Bewertung erst am Ende der vollständigen Folge oder einer Teilfolge von Bewegungen, z.B. wenn ein Teilziel erreicht wurde. Dieses Problem wird als Temporal Credit Assignment Problem bezeichnet.
Zweitens fehlt dem Agenten zu Beginn des Lernen meist ein vollständiges Modell seiner Welt. D.h. er kann nicht voraussagen, welchen Effekt seine Aktionen auf die Umwelt und ihn selber haben werden.

Das Seminar wird sich sowohl mit Anwendungengebieten beschäftigen in denen Reinforcement Learning Methoden erfolgreich angewendet wurden, als auch mit aktuellen theoretischen Erkenntnissen. Im Proseminar Robotik wird der Fokus vor allen Dingen auf der Identifikation von speziellen Problemstellungen bei der Entwicklung von autonomen Robotern liegen, die mit Hilfe von Methoden des Reinforcement Learning gelöst werden können. Im Oberseminar Adaptive Robotersteuerung wird dieser Fokus noch mehr auf aktuelle theoretische und praktische Lösungen gelenkt.


Themen

Siehe Folien zur Einführungsveranstaltung.

Mail mit 3 Themenwünschen bitte bis Freitag, 18.10.13 an uwedick@cs.uni-potsdam.de.