Forscher des MIT, des MIT-IBM Watson AI Lab und anderer Institutionen haben ein effizienteres Computer-Vision-Modell entwickelt, das die Rechenkomplexität dieser Aufgabe drastisch reduziert. Ihr Modell kann semantische Segmentierung präzise in Echtzeit auf Geräten mit begrenzten Hardware-Ressourcen durchführen, wie beispielsweise den Bordcomputern autonomer Fahrzeuge, die blitzschnelle Entscheidungen ermöglichen.

Die neuesten Modelle zur semantischen Segmentierung lernen die Interaktion zwischen jedem Pixelpaar in einem Bild direkt, wodurch ihr Rechenaufwand quadratisch mit der Bildauflösung steigt. Obwohl diese Modelle präzise sind, sind sie daher zu langsam, um hochauflösende Bilder in Echtzeit auf einem Peripheriegerät wie einem Sensor oder einem Mobiltelefon zu verarbeiten.

Forscher des MIT haben einen neuen Baustein für semantische Segmentierungsmodelle entwickelt, der die gleichen Fähigkeiten wie diese hochmodernen Modelle erreicht, jedoch mit nur linearer Rechenkomplexität und hardwareeffizienten Operationen.

Das Ergebnis ist eine neue Generation hochauflösender Computer-Vision-Modelle, die auf mobilen Geräten bis zu neunmal schneller arbeiten als Vorgängermodelle. Noch wichtiger ist, dass diese neue Modellreihe eine gleichwertige oder sogar bessere Genauigkeit als vergleichbare Modelle bietet.

Diese Technik könnte nicht nur dazu genutzt werden, autonomen Fahrzeugen bei Echtzeitentscheidungen zu helfen, sondern auch die Effizienz anderer Aufgaben der hochauflösenden Computer Vision verbessern, wie beispielsweise die Segmentierung medizinischer Bilder.

„Obwohl Forscher seit Langem traditionelle Bildverarbeitungsmodelle nutzen und damit erstaunliche Ergebnisse erzielen, möchten wir die Aufmerksamkeit auch auf deren Effizienz lenken. Unsere Arbeit zeigt, dass sich der Rechenaufwand drastisch reduzieren lässt, sodass eine Bildsegmentierung in Echtzeit lokal auf einem Gerät durchgeführt werden kann“, sagt Song Han, außerordentlicher Professor am Department für Elektrotechnik und Informatik (EECS), Mitglied des MIT-IBM Watson Artificial Intelligence Lab und Hauptautor der Veröffentlichung, die das neue Modell beschreibt.

An dem Artikel wirkten außerdem Han Cai, Doktorand an der EECS; Junyan Li, Student an der Zhejiang-Universität; Muyan Hu, Student an der Tsinghua-Universität; und Chuang Gan, Senior Research Fellow am MIT-IBM Watson Artificial Intelligence Lab, mit. Die Forschungsergebnisse werden auf der Internationalen Konferenz für Computer Vision präsentiert.

Eine vereinfachte Lösung

Die Kategorisierung jedes einzelnen Pixels in einem hochauflösenden Bild mit Millionen von Pixeln stellt eine schwierige Aufgabe für ein Modell des maschinellen Lernens dar. In letzter Zeit hat sich ein leistungsstarker neuer Modelltyp, der sogenannte Vision Transformer, als erfolgreich erwiesen.

Transformer wurden ursprünglich für die Verarbeitung natürlicher Sprache entwickelt. In diesem Kontext kodieren sie jedes Wort eines Satzes als Token und generieren anschließend eine Aufmerksamkeitskarte, die die Beziehungen jedes Tokens zu allen anderen Tokens erfasst. Diese Aufmerksamkeitskarte hilft dem Modell, den Kontext bei Vorhersagen zu verstehen.

Nach demselben Prinzip zerlegt ein Vision Transformer ein Bild in Pixelbereiche und kodiert jeden dieser Bereiche in ein Token, bevor er eine Aufmerksamkeitskarte generiert. Bei der Generierung dieser Aufmerksamkeitskarte verwendet das Modell eine Ähnlichkeitsfunktion, die die Interaktion zwischen jedem Pixelpaar direkt lernt. Dadurch entwickelt das Modell ein sogenanntes globales rezeptives Feld, wodurch es auf alle relevanten Bildbereiche zugreifen kann.

Da ein hochauflösendes Bild Millionen von Pixeln enthalten kann, die in Tausende von Bildausschnitten unterteilt sind, wird die Aufmerksamkeitskarte schnell enorm groß. Daher steigt der Rechenaufwand quadratisch mit der Bildauflösung.

In ihrer neuen Modellreihe EfficientViT verwenden die MIT-Forscher einen einfacheren Mechanismus zum Aufbau der Aufmerksamkeitskarte: Sie ersetzen die nichtlineare Ähnlichkeitsfunktion durch eine lineare. Dadurch können sie die Reihenfolge der Operationen ändern und die Gesamtzahl der Berechnungen reduzieren, ohne die Funktionalität zu beeinträchtigen oder das rezeptive Feld zu verringern. Mit ihrem Modell steigt die Anzahl der für eine Vorhersage benötigten Berechnungen linear mit der Bildauflösung.

„Aber nichts ist umsonst. Lineare Aufmerksamkeit erfasst nur den Gesamtkontext des Bildes und lässt lokale Informationen außer Acht, was die Genauigkeit verschlechtert“, erklärt Han.

Um diesen Präzisionsverlust auszugleichen, haben die Forscher zwei zusätzliche Komponenten in ihr Modell aufgenommen, von denen jede nur einen geringen Rechenaufwand erfordert.

Eines dieser Elemente hilft dem Modell, die Wechselwirkungen lokaler Merkmale zu erfassen und so die Schwäche der linearen Funktion bei der Extraktion lokaler Informationen auszugleichen. Das zweite Element, ein Modul, das multiskaliges Lernen ermöglicht, unterstützt das Modell bei der Erkennung großer und kleiner Objekte.

„Am wichtigsten ist es, Leistung und Effizienz sorgfältig in Einklang zu bringen“, sagt Cai.

Sie entwickelten EfficientViT mit einer hardwareangepassten Architektur, wodurch es einfacher auf verschiedenen Geräten wie Virtual-Reality-Headsets oder Edge-Computern in autonomen Fahrzeugen ausgeführt werden kann. Ihr Modell könnte auch für andere Aufgaben der Computer Vision, wie beispielsweise die Bildklassifizierung, eingesetzt werden.

Rationalisierung der semantischen Segmentierung

Als sie ihr Modell an Datensätzen testeten, die für die semantische Segmentierung verwendet werden, stellten sie fest, dass es auf einer Nvidia-Grafikprozessoreinheit (GPU) bis zu neunmal schneller arbeitete als andere gängige Vision-Transformer-Modelle, und zwar bei gleicher oder sogar besserer Genauigkeit.

„Jetzt können wir das Beste aus beiden Welten vereinen und die Rechenleistung reduzieren, sodass es schnell genug ist, um auf mobilen Geräten und in der Cloud zu laufen“, sagt Han.

Aufbauend auf diesen Ergebnissen wollen die Forscher diese Technik anwenden, um generative Modelle des maschinellen Lernens zu beschleunigen, beispielsweise solche, die zur Erzeugung neuer Bilder verwendet werden. Sie wollen EfficientViT außerdem auf andere Bildverarbeitungsaufgaben ausweiten.

„Modellkomprimierung und ressourcenschonendes Modelldesign sind entscheidende Forschungsthemen für effizientes KI-Computing, insbesondere im Kontext von Modellen für große Datenbanken. Die Arbeitsgruppe von Professor Song Han hat bemerkenswerte Fortschritte bei der Komprimierung und Beschleunigung moderner Deep-Learning-Modelle, insbesondere von Vision Transformers, erzielt“, ergänzt Jay Jackson, Global Vice President für Künstliche Intelligenz und Maschinelles Lernen bei Oracle, der nicht an dieser Forschung beteiligt war. „Oracle Cloud Infrastructure unterstützt sein Team bei der Weiterentwicklung dieses wichtigen Forschungszweigs hin zu effizienter und umweltfreundlicher KI.“.

###

Verfasst von Adam Zewe, MIT News