Maschinelles Lernen

Vorlesung und Übung im Wintersemester 2013/2014. Prof. Tobias Scheffer, Dr. Niels Landwehr, Ph.D. Blaine Nelson, Paul Prasse, Matthias Bussas.

Termine und Räume

Die Veranstaltung umfasst 4 SWS (6 LP); anrechenbar für Diplom, Bachelor und Master.

• Übung: Dienstag, 12:00-13:30
• Vorlesung: Dienstag, 14:00-15:30

Raumänderung: Die Vorlesung und die Übungen findet grundsätzlich im Raum 03.06.H01 statt. Ausnahmen: am 29.10.13 finden Vorlesung und Übung im Raum 03.06.S21 statt, am 05.11.13 im Raum 03.06.S13.

Erster Vorlesungstermin: Dienstag, d. 15.10.2013 um 14:00 Uhr.

Erster Übungstermin: Dienstag, d. 22.10.2013 um 12:00 Uhr (Übung am 15.10. entfällt).

Inhalte

Maschinelles Lernen beschäftigt sich mit Algorithmen, die aus Daten lernen können. Algorithmen des maschinellen Lernens gewinnen aus Daten Modelle, mit denen sich dann Vorhersagen ber das beobachtete System treffen lassen. Anwendungen für Datenanalyse-Verfahren erstrecken sich von der Vorhersage von Kreditrisiken über die Auswertung astronomischer Daten bis zu persönlichen Musikempfehlungen. Die behandelten Themen umfassen Klassifikation, Entscheidungsbaumverfahren, lineare Diskriminatoren, Kernel- und Support-Vektor-Maschinen, Bayessche Modelle und Empfehlungsalgorithmen, sowie verschiedene Anwendungen.

Literatur

Chris Bishop. Pattern Recognition and Machine Learning. Wir haben 30 Exemplare zum Verleihen bestellt.

Übungen

Aufgaben der 1. Übung am 22.10.2013.

Aufgaben der 2. Übung am 29.10.2013.

Aufgaben der 3. Übung am 05.11.2013: credit_test.arff, credit_train.arff

Aufgaben der 4. Übung am 12.11.2013.

Aufgaben der 5. Übung am 19.11.2013.

Aufgaben der 6. Übung am 26.11.2013.

Aufgaben der 7. Übung am 03.12.2013.

Aufgaben der 8. Übung am 10.12.2013. Error corrected 04.12.2013.

Aufgaben der 9. Übung am 17.12.2013: ionosphere_test.arff, ionosphere_train.arff

Aufgaben der 10. Übung am 07.01.2014: ionosphere_all.arff, mainTut.py

Aufgaben der 11. Übung am 14.01.2014.

Aufgaben der 12. Übung am 21.01.2014.

Aufgaben der 13. Übung am 28.01.2014. Musterlösung Aufgabe 2.

Vorlesung

1. Modelle, Daten, Lernprobleme

• Vorlesungsvideo
• Folien zur Organisation (English), Folien zur Einführung (English)

2. Mathematische Grundlagen

• Lineare Algebra, Analysis und Optimierung, Stochastik. Folien (English) vom 22.10.2013.

3. Entscheidungsbäume

• ID3, C4.5, Pruning. Folien (English) vom 29.10.2013.
• SLIQ, MDL, Regressionsbäume. Folien (English) vom 05.11.2013.

4. Bayes'sches Lernen

• Zufallsvariablen, Verteilungen, Erwartungswert, Varianz. Folien (English) vom 12.11.2013.
• Grundkonzepte des Bayes'schen Lernens, Parameterschätzungen für Wahrscheinlichkeitsverteilungen. Folien (English) vom 19.11.2013.
• Bayes'sche lineare Regression. Folien (English) vom 26.11.2013.

4. Lineare Klassifikation

• Problemstellung, Bayes'sches Klassifikation, MAP-Modelle, Logistische Regression. Folien (English) vom 03.12.2013.
• Regularized Empirical Risk Minimization, Gradientenverfahren, Perzeptron, SVM. Folien (English) vom 10.12.2013.
• Dualized Algorithms, Kernels. Folien (English) vom 10.12.2013.
• Multiclass SVM, Structured Learning, Ranking. Folien (English) vom 07.01.2014.
• Kernels for Strings and Graphs. Folien (English) vom 14.01.2014.

4. Modellevaluierung

• Risikoschätzung, Holdout-Testing, Cross-Validation. Folien (English) vom 21.01.2014.

5. Zusammenfassung

• Zusammenfassung der Vorlesungsinhalte. Folien vom 28.01.2014.