Seminar Aktivitätserkennung

Seminar im Sommersemester 2009. Dr. Niels Landwehr, Prof. Tobias Scheffer.


Termine

Die Veranstaltung umfasst 2 SWS (3 LP); anrechenbar für Diplom, Bachelor. Das Seminar findet als Blockseminar statt, die Termine werden zu Beginn des Semesters abgesprochen.


Inhalte

Das Seminar beschäftigt sich mit der automatischen Erkennung menschlicher Aktivitäten durch Auswertung von Sensordaten. Solche Verfahren können in verschiedenen Anwendungsfeldern eingesetzt werden, wobei verschiedene Sensoren zur Anwendung kommen (RFID-Tags, Beschleunigungssensoren, Kameras, etc).

Zum Beispiel geht es im Bereich des "Assisted Living" darum, vor allem älteren Menschen bei der Ausführung von Aktivitäten des täglichen Lebens zu helfen bzw. bei Problemen externe Hilfe anzufordern. Dazu können sogenannte "Smart Homes" automatisch erkennen, welche Aktivitäten von den Bewohnern ausgeführt werden und wann es zu Abweichungen/Problemen kommt. Weitere Beispiele für Aktivitätserkennung sind Fahrerassistenzsysteme in Autos, die die Intentionen eines Fahrers (z.B. Spurwechsel) erkennen und gegebenenfalls vor Gefahren warnen (z.B. wenn sich ein anderes Fahrzeug auf der Spur befindet), oder Überwachungskameras, die automatisch ungewöhnliche Ereignisse wie z.B. Unfälle in ihrem Blickfeld melden.

Das Ziel ist jeweils, auf der Basis der verfügbaren Sensordaten eine automatische Vorhersage über die aktuelle Aktivität oder Situation eines oder mehrerer Benutzer zu treffen. Dabei kommen insbesondere Verfahren des maschinellen Lernens zum Einsatz, die aus Trainingsbeispielen lernen, die gegebenen Sensordaten zu interpretieren.

Folien zur Einführungsveranstaltung am 22.04.

Folien zur zweiten Einführungsveranstaltung am 06.05. (wissenschaftliches Arbeiten)


Vorraussichtliche Themen

Thema Literatur
"Aktivitätserkennung mit RFID Tags"

Dieses Thema behandelt die Erkennung von Alltagsaktivitäten ("Activities of Daily Living") basierend auf RFID Tags. Zur Interpretation der Sensordaten kommen graphische Modelle, insbesondere verschiedene Varianten von Hidden Markov Modellen, zum Einsatz. 		[2],[1]
"Aktivitätserkennung mit RFID Tags und Web Mining"

Dieses Thema behandelt ebenfalls die Erkennung von Aktivitäten mittels Hidden Markov Modellen und RFID Tags. Speziell geht es darum, den Aufwand beim Trainieren der Aktivitätsmodelle zu verringern. Der Hauptaufwand besteht darin, die Trainingsdaten (Sensorbeobachtungen) manuell mit Aktivitätslabeln zu versehen. Stattdessen werden per text mining im World Wide Web Assoziationen zwischen Aktivitäten und in der Aktivität benutzten Objekten festgestellt. Damit werden initiale Modelle geschätzt, die dann auf Trainingsdaten ohne Aktivitätslabel gelernt werden können (nicht-überwachtes Lernen). 		[3],[1]
"Aktivitätserkennung mit Beschleunigungssensoren"

Bei diesem Thema geht es um die Erkennung von einfachen Aktivitäten mit Hilfe von Beschleunigungssensoren. Zur Vorhersage der aktuellen Aktivität aus den Sensordaten werden einfache Klassifikationsverfahren wie Entscheidungsbäume oder Naive Bayes verwendet. 		[4],[13] Kapitel 3+6
"Erkennung des Fahrerverhaltens in einem Smartcar"

Dieses Thema behandelt die Erkennung und Vorhersage von Fahrmanövern (z.B. Spurwechsel) eines Fahrer in einem "Smartcar", welches mit verschiedenen Sensoren zur Erfassung von Fahrzeugdaten, Blickwinkel des Fahrers, Fahrzeugen in der Umgebung usw. ausgestattet ist. Zur Analyse der Sensordaten kommen Hidden Markov Modelle zum Einsatz. 		[5],[1]
"Erkennen und Lernen von Bewegungsmustern"

In diesem Thema geht es um die Erkennung typischer Bewegungsmuster von Menschen in einer Grossstadt. Mit Hilfe von mobilen GPS Empfängern kann die aktuelle Position eines Benutzers (ungefähr) ermittelt werden. Aus solchen Aufzeichnungen können Vorhersagemodelle für die wahrscheinliche Bewegungsroute, und die aktuelle Situation des Benutzers (z.B. im Auto/Bus/zu Fuss unterwegs) gelernt werden. Als Techniken kommen hierbei (Bayessche) Particle Filter in Verbindung mit dynamischen Bayesschen Netzen zum Einsatz. Für die Bearbeitung dieses Themas ist entsprechendes Vorwissen im Bereich des maschinellen Lernens empfehlenswert. 		[6],[14]
"Rekonstruktion von 3D Bewegungen aus 2D Videodaten"

In diesem Thema geht es um die Rekonstruktion von 3D Bewegungsmustern aus 2-dimensionalen Videosequenzen. Dazu werden zunächst Modelle für typische 3D Bewegungsmuster aus Motion-Capture Daten gelernt. Anschliessend werden Personen im 2-dimensionalen Video markiert und verfolgt, und aus den 2D-Daten wird die wahrscheinlichste 3D-Bewegungsabfolge anhand des gelernten Bewegungsmodells ermittelt. Als Modellierungsverfahren kommen Bayessche Verfahren basierend auf "Mixtures of Gaussians" zum Einsatz. Entsprechendes Vorwissen im Bereich des machinellen Lernens is empfehlenswert. 		[7],[15] Kapitel 1+2
"Identifikation von Individuen anhand von Gang-Merkmalen"

Dieses Thema behandelt ein zur Aktivitätserkennung duales Problem: die Erkennung von Individuen anhand der Art und Weise, wie sie eine Aktivität ausführen. Diskutiert wird die Erkennung von Menschen anhand ihres Ganges, basierend auf einer Videosequenz. Dazu werden charakteristische Merkmale der Sequenz extrahiert und mit Hilfe eines kontinuierlichen Hidden Markov Modell ausgewertet. 		[8],[1]
"Diskriminative vs. generative Modelle für die Aktivitätserkennung"

Neben den oft verwendeten Hidden Markov Modellen können auch diskriminative Modelle, wie z.B. Conditional Random Fields, zur Aktivitätserkennung eingesetzt werden. In diesem Thema geht es um den Vergleich von Hidden Markov Modellen und Conditional Random Fields in einem einfachen, simulierten Problem der Aktivitätserkennung. Insbesondere sollten der Unterschied zwischen generativen und diskriminativen Modellen herausgearbeitet werden. 		[9],[1],[16]
"Halbüberwachtes und aktives Lernen für die Aktivitätserkennung"

Im halbüberwachten Lernen werden Modelle von Sensorbeobachtungen gelernt, die nur z.T. mit der aktuellen Aktivität gelabelt sind. Dadurch wird der Aufwand zur Erstellung der Trainingsdaten (d.h. das Zuweisen von Aktivitätslabeln zu Sensordaten) deutlich reduziert. Eine verwandte Technik ist das aktive Lernen, bei dem nur eine kleine Auswahl der informativsten Aktivitätslabel für die Trainingsdaten bestimmt wird. Dieses Thema beschäftigt sich damit, wie durch halbüberwachtes und aktives Lernen mit einer geringen Anzahl von Labels trotzdem genaue Vorhersagemodelle gelernt werden können. Es kommen einfache Techniken aus dem machinellen Lernen, wie naive Bayes und Entscheidungsbäume, zum Einsatz. 		[10], [12]
"Erkennung von unterbrochenen Aktivitäten mit Hidden Markov Modellen"

Dieses Thema beschäftigt sich mit einer Variation von Hidden Markov Modellen zur Erkennung von unterbrochenen und verschränkten Folgen von Aktivitäten. Diese entstehen, wenn Benutzer zwischen verschiedenen Aktivitäten Hin-und Herwechseln. Dazu werden Hidden Markov Modelle (HMMs) zu sogenannten "Interleaved Hidden Markov Models (IHMMs)" erweitert, die den jeweils letzten Zustand einer Aktivität festhalten. Ziel des Themas ist die Herausarbeitung des Unterschieds zwischen HMMs und IHMMs, und des Nutzens dieser Technik in der Aktivitätserkennung. Vorkenntnisse über Hidden Markov Modelle und Dynamische Bayessche Netze sind zur Bearbeitung des Themas empfehlenswert. 		[11],[1]


Literatur

[1] L. R. Rabiner. "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition", Section I--III. Proceedings of the IEEE, 1989. Online verfügbar.
[2] D. Patterson, D. Fox, H.Kautz, M. Philipose. "Fine-Grained Activity Recognition by Aggregating Abstract Object Usage". Proceedings of the 9th IEEE International Symposium on Wearable Computers, 2005. Online verfügbar.
[3] D. Wyatt, M. Philipose, T. Choudhury. "Unsupervised Activity Recognition Using Automatically Mined Common Sense". Proceedings of the 20th National Conference on Artificial Intelligence, 2005. Online verfügbar.
[4] L. Bao, S. Intille. "Activity Recognition from User-Annotated Acceleration Data". Proceedings of the 2nd International Conference on Pervasive Computing, 2004. Online verfügbar.
[5] N. Oliver, A. Pentland. "Graphical Models for Driver Behavior Recognition in a SmartCar". Proceedings of the IEEE Intelligent Vehicle Symposium, 2000. Abstract.
[6] D. Patterson, L. Liao, D. Fox, H. Kautz. "Inferring High-Level Behavior from Low-Level Sensors". Proceedings of the 5th International Conference on Ubiquitous Computing, 2003. Online verfügbar.
[7] N. Howe, M. Leventon, W. Freeman. "Bayesian Reconstruction of 3D Human Motion from Single-Camera Video". Advances in Neural Information Processing Systems12, 2000. Online verfügbar.
[8] A. Kale, A. Rajagopalan, N. Cuntoor, V. Krueger. "Gait-based Recognition of Humans using Continuous HMMs". Proceedings of the 5th IEEE International Conference on Automatic Face and Gesture Recognition, 2002. Online verfügbar.
[9] D. Vail, M. Veloso, J. Lafferty. "Conditional Random Fields for Activity Recognition". Proceedings of the 2007 Conference on Autonomous Agents and Multiagent Systems, 2007. Online verfügbar.
[10] M. Stikic, K. Laerhoven, B. Schiele. "Exploring Semi-Supervised and Active Learning for Activity Recognition". Proceedings of the 12th IEEE International Symposium on Wearable Computers, 2008. Online verfügbar.
[11] J. Modayil, T. Bai, H. Kautz. "Improving the Recognition of Interleaved Activities". Proceedings of the 10th International Conference on Ubiquitous Computing, 2008. Online verfügbar.
[12] A. Blum, T. Mitchell. "Combining Labeled and Unlabeled Data with Co-Training". Proceedings of the 1998 Conference on Computational Learning Theory. Online verfügbar.
[13] T. Mitchell. "Machine Learning". McGraw Hill, 1997. Webpage.
[14] L. Liao, D. Fox, J. Hightower, H. Kautz, D. Schulz. "Voronoi Tracking: Location Estimation Using Sparse and Noisy Sensor Data". Proceedings of the 2003 IEEE International Conference on Intelligent Robots and Systems, 2003. Online verfügbar.
[15] C. Bishop. "Pattern Recognition and Machine Learning". Springer, 2006. Webpage.
[16] H. Wallach. "Conditional Random Fields: An Introduction". Technical Report, MS-CIS-04-21, Department of Computer and Information Science, University of Pennsylvania, 2004. Online verfügbar.