Modulprüfung zum Thema "Trajektorien-Prädiktion von Fußgängern" im Fach "Computational Intelligence" an der Universität Regensburg im Sommersemester 2021.
Ziel der Projektarbeit ist die Vorhersage der zukünftigen Trajektorie/Bewegungsbahn eines Fußgängers, basierend auf bekannten, vergangenen Positionen. Ganz speziell sind in diesem Fall die ersten 8 Positionen eines Fußgängers gegeben und mit diesen Informationen sollen die nächsten 12 prädiziert werden. Die Aufgabenstellung wird auch nochmal in Abb. 1 verdeutlicht.
Abbildung 1: Beispiel-Trajektorie eines Fußgängers. Mithilfe der ersten acht beobachteten
Positionen (blau) prädiziert das System die zukünftigen zwölf (rot). Die vorhergesagte
Trajektorie sollte dabei möglichst nah an der Ground-Trouth (grün) liegen.
Der gegebenen Datensatz mit den Positionsdaten wurde zunächst in Trainings-, Validierungs- und Testdaten aufgeteilt. Die Trainingsdaten wurden dann normalisert (Transformation der absoluten Positionskoordinaten in relative Positionsänderungen) und mithilfe einer z-Transformation standardisiert.
Anschließend wurde ein auf LSTM basierendes Neuronales Netz (Architektur siehe Abb. 2) für insgesamt 30 Epochen (Batch size = 16, Lernrate = 5*10^-5) trainiert.
Die Vorhersage der zwölf zukünftigen Positionen erfolgt sequenziell und nach dem Sliding-Window Prinzip. D. h. es wird immer basierend auf acht gegebenen Positionsdaten die nächste Position vorhergesagt. Diese wird anschließend wiederum für die nächste Prädiktion herangezogen etc.
Abbildung 1: Architektur des trainierten Models. Klammern enthalten die Form des Outputs
einer Schicht.
Der vorgestellte Ansatz wurde dann anhand zweier gängiger Metriken evaluiert.
- Average displacement error (ADE): Durchschnittliche Fehler zwischen prädizierten Positionen und Ground-Trouth für alle (12) vorhergesagten Zeitschritte von allen Fußgängern des Testdatensatzes.
- Final displacement error (FDE): Der durchschnittliche Fehler zwischen prädizierter Position und Ground-Trouth zum finalen Zeitpunkt eines Fußgängers, für allen Fußgängern des Testdatensatzes.
Das vorgestellte System erreicht dabei einen FDE von 0,76 und einen ADE von 1,56.
Nur die wenigsten Bewegungsbahnen sind so trivial wie die aus Abb. 1. Abrupte Richtungs- und Geschwindigkeitsänderungen sorgen für ein oft unberechenbares Verhalten von Fußgängern und damit zu Performance-Einbußen bei der Prädiktion. Durch eine qualitative Analyse konnten einige Failure Cases identifiziert werden, bei denen der vorgestellte Ansatz Schwierigkeiten für zuverlässige Vorhersagen aufweist.
Abbildung 3: Überraschende Richtungsänderung.
- Plötzlichen Richtungsänderungen bei keinerlei Hinweisen in den beobachteten Daten (Abb. 3). In diesem Fall sind zusätzliche Kontextinformationen (über Straßenverlauf, andere Fußgänger, Objekte in der Wegbahn, etc.) notwendig, um bessere Vorhersagen treffen zu können.
Abbildung 4: Mehrfache Richtungs- oder Geschwindigkeitsänderungen.
- Auch häufige Richtungs- oder Geschwindigkeitsänderungen führen zu Problemen bei der Vorhersage (Abb. 4). Ein richtiges Muster ist auch für den Menschen schwer zu erkennen. Erneut sind zusätzliche Kontextinformationen nötig.
Abbildung 5: Keine Positionsänderung.
- Keine Fortbewegung des Fußgängers (Abb. 5). Bei keinerlei x- und y- Positionsänderungen weichen die Vorhersagen des Systems geringfügig von |0| ab. Durch das sequentielle Vorgehen bei den Vorhersagen akkumuliert sich dann der Fehler.