Intelligente Datenanalyse
Vorlesung und Übung im Sommersemester 2015. Prof. Tobias Scheffer, Dr. Niels Landwehr, Paul Prasse.
Termine
Die Veranstaltung umfasst 4 SWS (6 LP).
- Vorlesung: Mittwoch, 10:15-11:45h, in Raum 03.06.H01.
- Übungen: Donnerstag, 10:15-11:45h (G1) und Freitag 14:15-15:45 (G2), jeweils in Raum 03.04.1.03.
Die Übungstermine in der ersten Semesterwoche (13.04.2015-17.04.2015) entfallen.
Wenn Sie schon an der Vorlesung "Intelligente Datenanalyse in Matlab" teilgenommen haben, dann schließt die Prüfung zur Vorlesung "Intelligente Datenanalyse" die Inhalte der Kapitel 2, 3, 4 und 6 des Bishop-Buchs ein. Bitte suchen Sie sich in diesem Fall auch ein Thema für Ihre Projektarbeit unter kaggle.com/competitions heraus und schicken Sie uns Ihren Vorschlag in einer Email.
If you have already taken the course "Intelligente Datenanalyse in Matlab", the final exam for the lecture "Intelligente Datenanalyse" will include the content of Chapter 2, 3, 4, and 6 of the Bishop textbook. In this case, please also choose a topic for your project from kaggle.com/competitions and send us your suggestion per email.
Link zum Mathe-Tutorium /Link to supporting IDA class
Inhalte
Das Gebiet der intelligenten Datenanalyse beschäftigt sich mit Algorithmen, die aus Daten lernen können. Solche Algorithmen gewinnen aus Daten Modelle, mit denen sich dann Vorhersagen über das beobachtete System treffen lassen. Anwendungen für Datenanalyse-Verfahren erstrecken sich von der Vorhersage von Kreditrisiken über die Auswertung astronomischer Daten bis zu persönlichen Musikempfehlungen. Die behandelten Themen umfassen Klassifikation, Entscheidungsbaumverfahren, lineare Diskriminatoren, Kernel- und Support-Vektor-Maschinen, Bayes'sche Modelle und Empfehlungsalgorithmen, sowie verschiedene Anwendungen.
Die Veranstaltung führt zu einem tiefen Verständnis ausgewählter Verfahren des maschinellen Lernens. Sie setzt sich aus einem Vorlesungsteil und praktischen Übungen in MATLAB zusammen. Der Vorlesungsteil vermittelt das notwendige Wissen über Datenanalyse sowie Grundlagen in MATLAB.
Prüfungsmodalitäten: regelmässige Bearbeitung der Übungsaufgaben, am Ende des Semesters mündliche Prüfung mit schriftlichem Vorbereitungsteil.
Literatur
Maschinelles Lernen: Pattern Recognition and Machine Learning von Chris Bishop. 30 Exemplare in der Bibliothek ausleihbar.
MATLAB: Tutorials.
Tutorials Lineare Algebra: 1, 2, 3, 4.
Tutorials Gradientenabstieg: 1, 2.
Vorlesungsvideos zu unterschiedlichen Themen im Bereich Mathematik: Khan Academy.
Mathematische Grundlagen: eLecture.
Vorlesung
1. Modelle, Daten, Lernprobleme- Folien zur Organisation.
- Folien zur Einführung, Slides Introduction.
- English Video Lecture.
- Deutsches Vorlesungsvideo.
3. Problemanalyse und Datenvorverarbeitung
- Folien Problemanalyse und Datenvorverarbeitung.
- Deutsches Vorlesungsvideo.
- Slides Problem Analysis and Preprocessing.
- English Video Lecture.
- Folien: ID3, C4.5, Pruning.
- Deutsches Vorlesungsvideo: ID3, C4.5, Pruning.
- Slides: ID3, C4.5, Pruning.
- English Video Lecture: ID3, C4.5, Pruning.
- Folien: SLIQ, MDL, Regression Trees, Random Forest.
- Deutsches Vorlesungsvideo: SLIQ, MDL, Regression Trees, Random Forest.
- Slides: SLIQ, MDL, Regression Trees, Random Forest.
- English Video Lecture: SLIQ, MDL, Regression Trees.
- Slides: Linear classification, empirical risk minimization, perceptron, SVM.
- Deutsches Vorlesungsvideo: Lineare Modelle, empirische Risikominimierung, Perceptron, SVM.
- English Video Lecture: Linear classification, empirical risk minimization, perceptron, SVM.
- Slides: Linear regression, loss functions and regularizers, lasso and ridge regression.
- Deutsches Vorlesungsvideo: Lineare Regression, Verlustfunktionen und Regularisierer, Lasso und Ridgeregression.
- English Video Lecture: Linear regression, loss functions and regularizers, lasso and ridge regression.
- Slides: Representer theorem, kernel learning algorithms, mercer map, kernel functions.
- Deutsches Vorlesungsvideo: Representer Theorem, kernelisierte Lernalgorithmen, Mercer Map, Kernelfunktionen.
- English Video Lecture: Representer theorem, kernel learning algorithms, mercer map, kernel functions.
- Folien: Grundkonzepte des Bayes'schen Lernens, Münzwürfe.
- Deutsches Vorlesungsvideo: Grundkonzepte des Bayes'schen Lernens, Münzwürfe.
- Slides: Introduction to Bayesian Learning, Coin Tosses.
- English Video Lecture: Introduction to Bayesian Learning, Coin Tosses.
- Folien: Münzwürfe, Betaverteilung, MAP Münzwurfparameter.
- Deutsches Vorlesungsvideo: Münzwürfe, Betaverteilung, MAP Münzwurfparameter.
- Slides: Bayesian Linear Regression.
- English Video Lecture: Bayesian Linear Regression.
- Folien: Bayes'sche lineare Regression.
- Deutsches Vorlesungsvideo: Bayes'sche lineare Regression.
- Slides: Logistic regression, Bayesian model averaging for coin tosses and linear regression.
- English Video Lecture: Logistic regression, Bayesian model averaging for coin tosses and linear regression.
- Folien: Logistische Regression, Bayes'sche Vorhersagen für Münzwürfe und lineare Regression.
- Deutsches Vorlesungsvideo: Logistische Regression, Bayes'sche Vorhersagen für Münzwürfe und lineare Regression.
- Slides: Risk estimation, holdout-testing, cross-validation.
- English Video Lecture: Risk estimation, holdout-testing, cross-validation.
- Folien: Risikoschätzung, Holdout-Testing, Cross-Validation.
- Deutsches Vorlesungsvideo: Risikoschätzung, Holdout-Testing, Cross-Validation.
- Slides: K-means, Gaussian mixture models.
- Deutsches Vorlesungsvideo: K-means, Gauss'sche Mischmodelle.
- English Video Lecture: K-means, Gaussian mixture models.
Übungen
1. Übung, 1. Tutorial: logo.gif ,mergesort.m ,ex1.m.
2. Übung, 2. Tutorial: abalone.csv, zscore.m, posmedian.m, posmean.m, abalone.m.
3. Übung, 3. Tutorial: spect.mat, learnTree.m, demoTree.m, infoGain.m, infoGainRatio.m, classTree.m.
4. Übung, 4. Tutorial: spect.mat, learnForest.m, classForest.m, demoForest.m.
5. Übung, 5. Tutorial: spect.mat, learnRegERM.m, hinge.m, omega2.m, classRegERM.m, spect_linear.m.
6. Übung, 6. Tutorial: housing.mat, housing.names, tutorial6.m, split_train_test.m, train_linear_reg.m, predict.m, mean_abs_loss.m.
7. Übung, 7. Tutorial: housing.mat, housing.names, split_train_test.m, rbf.m, learnKernelReg.m, classKernelReg.m, demoKernelReg.m.
8. Übung, 8. Tutorial: laser_small.mat, learnKernelRegERM.m, classKernelRegERM.m, dtw.m, dtw_kernel.m, demoDTWKernel.m.
9. Übung, 9. Tutorial: t9_task1.m, t9_task2.m, t9_task3.m, t9_task4.m, t9_task5.m, t9_task6.m.
10. Übung, 10. Tutorial: tutorial10.m, tutorial10Solution.m.
11. Übung, 11. Tutorial: spect.mat, learnLogReg.m, fmincg.m, omega2.m, logistic.m, logisticRegressionCostFunction.m, classLogReg.m, sigmoid.m, spectLogReg.m.
12. Übung, 12. Tutorial: diabetes.mat, nestedCrossValidation.m, testNestedCross.m.
13. Übung, 13. Tutorial: toydata.m
Die Projektarbeit ist Teil der Prüfung Intelligente Datenanalyse. Jede Aufgabe soll durch einen Studenten selbstständig bearbeitet und die Lösung innerhalb der mündlichen Prüfung vorgestellt werden. Es folgt eine Liste mit Aufgabenstellungen. Jeder zur Prüfung zugelassene Student muss eine Aufgabenstellung auswählen (E-Mail an prasse@cs.uni-potsdam.de); Aufgabenstellungen werden nicht doppelt vergeben! Die für die Projektarbeit benötigten Datensätze erhalten sie per E-Mail.
1. Projektaufgabe: vergeben.
2. Projektaufgabe: vergeben.
3. Projektaufgabe: nicht vergeben.
4. Projektaufgabe: nicht vergeben.
5. Projektaufgabe: nicht vergeben.
6. Projektaufgabe: nicht vergeben.
7. Projektaufgabe: nicht vergeben.
8. Projektaufgabe: nicht vergeben.
9. Projektaufgabe: vergeben.
10. Projektaufgabe: nicht vergeben.