Ein Teil des Problems liegt in der Zeit, die für die Erzeugung und Auswertung der Kameradaten benötigt wird. Ein autonomes Fahrzeug, das seine Umgebung mit einer Standardkamera überwacht, benötigt etwa eine Fünftelsekunde, um seine Position zu aktualisieren. Das ist für normale Betriebsbedingungen ausreichend, aber nicht schnell genug, um auf unerwartete Ereignisse reagieren zu können.
Andrea Censi, Wissenschaftler am MIT Laboratory for Information and Decision Systems, ist überzeugt, dass die Lösung in der Ergänzung von Kameras durch einen neuartigen ereignisbasierten (oder neuromorphen) Sensor liegen könnte, der eine Million Messungen pro Sekunde durchführen kann.
Auf der diesjährigen International Conference on Robotics and Automation präsentieren Censi und Davide Scaramuzza von der Universität Zürich den ersten Zustandschätzungsalgorithmus – ein Verfahren, das Roboter zur Positionskalibrierung nutzen – zur Verarbeitung von Daten ereignisbasierter Sensoren. Ein Roboter, der diesen Algorithmus ausführt, könnte seine Position etwa jede Millisekunde aktualisieren und dadurch agilere Manöver ausführen.
„Eine herkömmliche Kamera besteht aus einer Reihe von Sensoren und einem Taktgeber“, erklärt Censi. „Bei einer Kamera mit 30 Bildern pro Sekunde friert der Taktgeber alle 33 Millisekunden die Messwerte ein, die dann der Reihe nach ausgelesen werden.“ Bei einem ereignisbasierten Sensor hingegen „funktioniert jedes Pixel als unabhängiger Sensor“, so Censi. „Überschreitet eine Helligkeitsänderung – egal ob positiv oder negativ – einen Schwellenwert, signalisiert das Pixel: ‚Ich sehe etwas Interessantes‘ und sendet diese Information als Ereignis. Anschließend wartet es, bis es eine weitere Änderung wahrnimmt.“.
Wichtiges Ereignis:
Wenn ein Standardalgorithmus zur Zustandsbestimmung ein Bild von einer an einem Roboter montierten Kamera empfängt, identifiziert er zunächst „Merkmale“: Farb- oder Tonwertabstufungen, die zur Bestimmung der Grenzen zwischen Objekten benötigt werden. Anschließend wählt er eine Teilmenge dieser Merkmale aus, von denen er annimmt, dass sie sich bei neuen Perspektiven wahrscheinlich nicht wesentlich verändern.
Dreißig Millisekunden später, wenn die Kamera erneut auslöst, führt der Algorithmus dieselbe Analyse durch und versucht zunächst, Merkmale in den beiden Bildern abzugleichen. Dieser iterative Prozess kann je nach Stärke der Szenenänderung zwischen 50 und 250 Millisekunden dauern. Sobald Merkmale übereinstimmen, kann der Algorithmus aus den Positionsänderungen des Roboters dessen zurückgelegte Strecke ableiten. Der
Algorithmus von Censi und Scaramuzza ergänzt die Kameradaten durch Ereignisse eines ereignisbasierten Sensors, der von ihrem Mitarbeiter Tobi Delbrück vom Institut für Neuroinformatik in Zürich entwickelt wurde. Der erste Vorteil des neuen Algorithmus besteht darin, dass er keine Merkmale identifizieren muss: Jedes Ereignis ist per se eine Helligkeitsänderung, die ein Merkmal definiert. Da Ereignisse so schnell – im Millionstel einer Sekunde – gemeldet werden, vereinfacht sich das Abgleichproblem erheblich. Es gibt nur wenige potenzielle Merkmale zu berücksichtigen, da sich der Roboter nicht sehr weit bewegt haben kann.
Darüber hinaus versucht der Algorithmus nicht, alle Merkmale eines Bildes gleichzeitig zu erfassen. Für jeden Fall generiert er eine Reihe von Hypothesen zur zurückgelegten Strecke des Roboters, die mehreren Kandidatenfunktionen entsprechen. Sobald genügend Ereignisse erfasst wurden, wählt er die Hypothese aus, die am häufigsten mit dem Bild übereinstimmt.
In Experimenten mit einem Roboter, der mit einer Kamera und einem ereignisbasierten Sensor ausgestattet war, erwies sich der Algorithmus als ebenso präzise wie bestehende Zustandschätzungsalgorithmen.
Ankunft an Bord:
Eine der Inspirationen für die neue Arbeit, so Censi, war eine Reihe kürzlich durchgeführter Experimente von Vijay Kumar von der University of Pennsylvania. Diese zeigten, dass Quadcopter – Roboterhubschrauber mit vier Rotorsätzen – sehr agile Manöver ausführen können. In diesen Experimenten maß Kumar die Position der Roboter jedoch mithilfe eines Arrays externer Kameras, die 1000 Bilder pro Sekunde aufnahmen. Censi ist überzeugt, dass sein und Scaramuzzas Algorithmus es einem Quadcopter mit integrierten Sensoren ermöglichen würde, Kumars Ergebnisse zu reproduzieren.
Nachdem er und seine Kollegen nun über einen zuverlässigen Algorithmus zur Zustandsbestimmung verfügen, so Censi, besteht der nächste Schritt in der Entwicklung eines entsprechenden Steuerungsalgorithmus – eines Algorithmus, der auf Basis der Zustandsbestimmungen Entscheidungen trifft. Daran arbeitet er in einer laufenden Kooperation mit Emilio Frazzoli, Professor für Luft- und Raumfahrttechnik am MIT.
Verfasst von Larry Hardsty, MIT-Pressestelle
