Um in diese Richtung zu gehen, entwickelten Forscher des MIT einen Bilddatensatz, der die Simulation des peripheren Sehens in Modellen des maschinellen Lernens ermöglicht. Sie stellten fest, dass das Training der Modelle mit diesem Datensatz deren Fähigkeit verbesserte, Objekte in der peripheren Sicht zu erkennen, obwohl die Modelle immer noch schlechter abschnitten als Menschen.
Ihre Ergebnisse zeigten auch, dass im Gegensatz zum Menschen weder die Größe der Objekte noch die Menge an visueller Unordnung in einer Szene einen großen Einfluss auf die Leistung der KI hatten.
„Hier geschieht etwas Grundlegendes. Wir haben viele verschiedene Modelle getestet, und selbst wenn wir sie trainieren, verbessern sie sich zwar etwas, aber sie sind nicht genau wie der Mensch. Die Frage ist also: Was fehlt diesen Modellen?“,sagt Vasha DuTell, Postdoktorandin und Mitautorin einer Studie, die diese Untersuchung detailliert beschreibt.
Die Beantwortung dieser Frage könnte Forschern helfen, Modelle des maschinellen Lernens zu entwickeln, die die Welt so wahrnehmen wie Menschen. Neben der Verbesserung der Fahrsicherheit könnten diese Modelle auch zur Entwicklung besser lesbarer Displays beitragen.
Darüber hinaus könnte ein tieferes Verständnis des peripheren Sehens in KI-Modellen Forschern helfen, menschliches Verhalten besser vorherzusagen, fügt die Hauptautorin Anne Harrington MEng '23 hinzu.
„Wenn wir durch die Modellierung des peripheren Sehens das Wesen dessen, was in der Peripherie dargestellt wird, wirklich erfassen können, kann uns dies helfen, die Merkmale einer visuellen Szene zu verstehen, die unsere Augen dazu veranlassen, sich zu bewegen, um mehr Informationen zu sammeln“, erklärt er.
Zu den Co-Autoren gehören Mark Hamilton, Doktorand der Elektrotechnik und Informatik; Ayush Tewari, Postdoktorand; Simon Stent, Forschungsdirektor am Toyota Research Institute; sowie die Erstautoren William T. Freeman, Thomas-und-Gerd-Perkins-Professor für Elektrotechnik und Informatik und Mitglied des Computer Science and Artificial Intelligence Laboratory (CSAIL); und Ruth Rosenholtz, leitende Wissenschaftlerin am Department of Cognitive and Brain Sciences und ebenfalls Mitglied des CSAIL. Die Forschungsergebnisse werden auf der International Conference on Representational Learning präsentiert.
„Wenn ein Mensch mit einer Maschine (einem Auto, einem Roboter, einer Benutzeroberfläche) interagiert, ist es sehr wichtig zu wissen, was diese Person sehen kann. Das periphere Sehen spielt dabei eine grundlegende Rolle“, sagt Rosenholtz.
Simulieren Sie das periphere Sehen
Strecken Sie Ihren Arm nach vorn und heben Sie Ihren Daumen: Der kleine Bereich um Ihren Daumennagel herum ist das, was die Fovea – die winzige Vertiefung in der Mitte der Netzhaut, die für die schärfste Sicht sorgt – wahrnimmt. Alles andere befindet sich in der peripheren Sehebene. Je weiter Sie sich von diesem Punkt der Schärfe entfernen, desto weniger detailliert und zuverlässig wird eine Szene vom visuellen Cortex dargestellt.
Viele der bestehenden Ansätze zur Modellierung des peripheren Sehens in KI stellen diese Verschlechterung der Details durch das Verwischen der Bildränder dar, aber der Informationsverlust, der im Sehnerv und im visuellen Kortex auftritt, ist viel komplexer.
Um einen präziseren Ansatz zu erreichen, nutzten die MIT-Forscher eine Technik zur Modellierung des peripheren Sehens beim Menschen. Diese Methode, bekannt als Texturmosaikmodellierung, transformiert Bilder, um den Verlust visueller Informationen beim Menschen darzustellen.
Sie haben dieses Modell so modifiziert, dass es Bilder auf ähnliche Weise transformieren kann, jedoch flexibler, sodass nicht im Voraus bekannt sein muss, wohin die Person oder die KI ihre Blicke richten wird.
„Dadurch konnten wir das periphere Sehen genauso realitätsgetreu modellieren, wie es in der Forschung zum menschlichen Sehen üblich ist“, sagt Harrington.
Mithilfe dieser modifizierten Technik erzeugten die Forscher einen riesigen Datensatz transformierter Bilder, die in bestimmten Bereichen texturierter erscheinen, um den Detailverlust darzustellen, der auftritt, wenn ein Mensch weiter in die Peripherie blickt.
Anschließend nutzten sie den Datensatz, um verschiedene Computer-Vision-Modelle zu trainieren und verglichen deren Leistung mit der des Menschen bei einer Objekterkennungsaufgabe.
„Wir mussten beim Aufbau des Experiments sehr clever vorgehen, damit wir es auch an Modellen des maschinellen Lernens testen konnten. Wir wollten die Modelle nicht mit einer Spielzeugaufgabe neu trainieren müssen, für die sie gar nicht gedacht waren“, erklärt er.
Besondere Leistung
Den menschlichen Probanden und den Modellen wurden Paare transformierter Bilder gezeigt, die sich nur darin unterschieden, dass sich in einem der Bilder ein Zielobjekt im Randbereich befand. Jeder Teilnehmer wurde anschließend gebeten, das Bild mit dem Zielobjekt auszuwählen.
„Was uns wirklich überrascht hat, war, wie gut die Probanden Objekte im peripheren Sichtfeld erkennen konnten. Wir haben mindestens zehn verschiedene Bildersätze durchgesehen, die zu einfach waren. Wir mussten immer kleinere Objekte verwenden“, fügt Harrington hinzu.
Die Forscher stellten fest, dass das Training von Modellen von Grund auf mit ihrem Datensatz die größte Leistungssteigerung und verbesserte die Fähigkeit zur Objekterkennung. Die Verfeinerung eines Modells mit ihrem Datensatz – ein Prozess, bei dem ein vortrainiertes Modell für eine neue Aufgabe feinabgestimmt wird – führte zu geringeren Leistungsgewinnen.
Doch in allen Fällen waren die Maschinen nicht so gut wie die Menschen, insbesondere bei der Erkennung von Objekten in der äußersten Peripherie. Ihre Leistung entsprach auch nicht den gleichen Mustern wie die der Menschen.
„Das könnte darauf hindeuten, dass die Modelle den Kontext nicht auf dieselbe Weise nutzen wie Menschen, um diese Erkennungsaufgaben zu erfüllen. Die Strategie der Modelle könnte eine andere sein“, sagt Harrington.
Die Forscher planen, diese Unterschiede weiter zu untersuchen, um ein Modell zu entwickeln, das die menschliche Leistungsfähigkeit im peripheren Sehen vorhersagen kann. Dies könnte beispielsweise KI-Systeme in die Lage versetzen, Fahrer vor Gefahren zu warnen, die sie sonst möglicherweise übersehen würden. Sie hoffen außerdem, andere Forscher zu weiteren Studien im Bereich Computer Vision mit ihrem öffentlich zugänglichen Datensatz anzuregen.
Diese Arbeit wurde teilweise vom Toyota Research Institute und dem MIT CSAIL METEOR Fellowship finanziert.
###
Verfasst von Adam Zewe, MIT News
