Maschinelles Lernen

Vorlesung und Übung im Wintersemester 2012/2013. Prof. Tobias Scheffer, Dr. Niels Landwehr, Christoph Sawade, Paul Prasse, Dominik Lahmann.

Termine

Die Veranstaltung umfasst 4 SWS (6 LP); anrechenbar für Diplom, Bachelor und Master.

• Übung: Dienstag, 10:00-11:30, 03.06.S17
• Vorlesung: Dienstag, 12:00-13:30, 03.06.S17

Erster Vorlesungstermin: Dienstag, d. 16.10.2012 um 12:00 Uhr.

Erster Übungstermin: Dienstag, d. 30.10.2012 um 10:00 Uhr (Übungen am 16.10. und 23.10. entfallen).

Am 18.12.2012 fällt die Vorlesung aus.
Die Übung am 18.12.2012 findet wie gewohnt statt (um 10:00 Uhr).

Inhalte

Maschinelles Lernen beschäftigt sich mit Algorithmen, die aus Daten lernen können. Algorithmen des maschinellen Lernens gewinnen aus Daten Modelle, mit denen sich dann Vorhersagen ber das beobachtete System treffen lassen. Anwendungen für Datenanalyse-Verfahren erstrecken sich von der Vorhersage von Kreditrisiken über die Auswertung astronomischer Daten bis zu persönlichen Musikempfehlungen. Die behandelten Themen umfassen Klassifikation, Entscheidungsbaumverfahren, lineare Diskriminatoren, Kernel- und Support-Vektor-Maschinen, Bayessche Modelle und Empfehlungsalgorithmen, sowie verschiedene Anwendungen.

Literatur

Chris Bishop. Pattern Recognition and Machine Learning. Wir haben 30 Exemplare zum Verleihen bestellt.

Übungen

Aufgaben der 1. Übung am 30.10.2012

Aufgaben der 2. Übung am 06.11.2012

Aufgaben der 3. Übung am 13.11.2012: credit_test.arff, credit_train.arff

Aufgaben der 4. Übung am 13.11.2012

Aufgaben der 5. Übung am 20.11.2012

Aufgaben der 6. Übung am 28.11.2012

Aufgaben der 7. Übung am 04.12.2012

Aufgaben der 8. Übung am 11.12.2012

Aufgaben der 9. Übung am 04.01.2013

Aufgaben der 10. Übung am 15.01.2013

Aufgaben der 11. Übung am 22.01.2013

Aufgaben der 12. Übung am 29.01.2013

Aufgaben der 13. Übung am 05.02.2013

Vorlesung

1. Mathematische Grundlagen

• Folien vom 23.10.2012.

2. Modelle, Version Spaces, Lernen

• Problemstellungen Klassifikation und Regression. Hypothesenraum, Version Space. Verlustfunktionen und Regularisierer. Folien vom 30.10.2012.

3. Entscheidungsbäume

• Entscheidungsbäume zur Klassifikation & Regression mit binären und kontinuierlichen Merkmalen: Lernen aus Daten, Ableiten von Regeln, Entropie & Information Gain, ID3, C4.5., SLIQ, Modelbäume, Pruning, Lineare Regression, Bootstrapping. Folien vom 06.11.2012 und 13.11.2012.

4. Bayessches Lernen

• Zufallsvariablen, Verteilungen, Erwartungswert, Varianz. Folien vom 20.11.2012.
• MAP-Hypothese und regularisierte Verlustfunktion, Bayesian Model Averaging. Folien vom 27.11.2012.
• Parameterschätzungen für Wahrscheinlichkeitsverteilungen, Bayessche Lineare Regression. Folien vom 04.12.2012.

5. Lineare Modelle

• Klassifikation, Exponentielle Familien, Logistische Regression, ERM, Gradientenverfahren, Verlustfunktionen, Regularisierer, Perzeptron, SVM, Lasso, Ridge Regression, Representer Theorem, duales Perzeptron, duale SVM, Kernel, Mercer Map, Kernel-Funktionen, Multiklassen-SVM, strukturierte Vorhersage. Folien vom 29.01.2013.

6. Hypothesenbewertung

• Risiko, empirisches Risiko, Bias und Varianz des Risikoschätzers. Holdout-Testing und Cross-Validation. Folien vom 08.01.2013.

7. Zusammenfassung

• Folien vom 05.02.2013.