Ein weniger offensichtlicher, aber ebenso greifbarer Vorteil dieser intensiven KI-Forschung ist die breite Verfügbarkeit von Modellen, mit denen Ingenieure schnell und einfach Prototypen und frühe Seriensysteme entwickeln und einsetzen können. In Kombination mit leistungsstarker Hardware, die für schnelles Prototyping und frühe Serienproduktion optimiert ist, können Ingenieure KI- und Robotersysteme nun schneller als je zuvor konzipieren, implementieren und testen.
Manche KI-Technologien stammen aus unerwarteten Bereichen. Diffusionsmodelle beispielsweise wurden ursprünglich für Anwendungen zur realistischen Fotowiedergabe entwickelt. Die Flexibilität vieler dieser Modelle ermöglicht es jedoch, neue Anwendungsgebiete zu erschließen, etwa für recheneffizientere und dennoch präzisere Approximationen komplexer Strömungen. Diese Flexibilität macht Systeme für einen deutlich breiteren Nutzerkreis zugänglich und ermöglicht schnellere Reaktionen in bestimmten Umgebungen.
Ein Beispiel mit direktem Bezug zu eingebetteter Steuerung und Robotik stammt von einem Wettbewerb, den Google 2023 auf Kaggle veranstaltete. Das Unternehmen suchte nach KI-Modellen, die zuverlässig in eine von Kameras erfasste Gebärdensprache übersetzen konnten. Um die Teilnehmer bei der Entwicklung ihrer Lösungen zu unterstützen, stellte Google einen Datensatz mit drei Millionen Zeichen im Fingeralphabet-Wörterbuch der amerikanischen Gebärdensprache (ASL) zur Verfügung.
Eines der Ziele des Kaggle-ASL-Projekts war die Vereinfachung der Interaktion mit Geräten wie Smartphones, von denen viele Beschleuniger für weit verbreitete KI-Sprachen wie TensorFlow Lite und PyTorch nutzen. Fingeralphabet ist nur ein Teil der ASL (Amerikanische Gebärdensprache); es verwendet Handformen zur Darstellung der einzelnen Buchstaben und wird häufig zur Übermittlung von Namen, Adressen, Telefonnummern und ähnlichen Informationen eingesetzt. Experimente mit Fingeralphabet in ASL haben gezeigt, dass es oft schneller ist als die Eingabe von Tasten auf einem Smartphone oder Tablet.
Dieselben Techniken lassen sich auch bei Roboterfahrzeugen in der lauten Umgebung einer Fabrik anwenden, wo Sprachsteuerung praktisch ist, da die Bediener aufgrund von Schmutz, Staub oder Fett nicht mit Tastatur oder Touchscreen interagieren können. Handzeichen bieten einen Mechanismus zur einfachen und effizienten Steuerung dieser Fahrzeuge: Die Kombination aus Open-Source-Software und -Hardware kann die notwendige KI-Unterstützung bereitstellen, um Handzeichen vor einer Kamera zu interpretieren und Anweisungen an die Bewegungssysteme eines Roboters zu senden.
Projekte wie Googles ASL-Datensatz erleichtern die Verfügbarkeit von Ressourcen. Die Nutzer können entweder Modelle aus Projekten wie diesem verwenden oder die Datensätze nutzen, um Modelle mit Architekturen zu trainieren, die für ihre Anwendungsfälle geeignet sind, vorausgesetzt, die Ressourcen werden als freie oder Open-Source-Software bereitgestellt.
Tools wie die AMD Vitis Unified Software Platform ermöglichen den Zugriff auf leistungsstarke Software und Verarbeitungsumgebungen, die diesen Open-Source-Code ausführen können. Dieser wird typischerweise in TensorFlow Lite, PyTorch oder anderen offenen KI-Entwicklungsumgebungen geschrieben. Die Vitis-Plattform erlaubt es Entwicklern, C/C++-Anwendungscode und IP-Blöcke (Intellectual Property) für AMDs Multiprozessor-System-on-a-Chip (MPSoC) zu entwickeln. Die Lösung kann anschließend auf Einplatinencomputern eingesetzt werden, entweder auf Standardprodukten oder individuell gefertigten Systemen wie dem ZUBoard 1CG von Tria, das auf dem Zynq UltraScale+ MPSoC basiert. Diese Hochleistungsgeräte bestehen aus Mehrkernprozessoren auf Basis der Arm Cortex-A-Architektur und einer programmierbaren Logikzellenstruktur. Die resultierende Hardware bietet nicht nur die für KI-gestützte Roboteranwendungen erforderliche Leistung, sondern integriert auch programmierbare Logik, die sich hervorragend für die Implementierung komplexer Motorsteuerungsalgorithmen eignet.
Die Unterstützung für Robotersteuerung ist dank des Robot Operating System (ROS), das von einer Gruppe der Stanford University entwickelt und heute von der Open Source Robotics Foundation (OSRF) verwaltet wird, deutlich zugänglicher geworden. Mit der Veröffentlichung von ROS2 wurde die Leistung erheblich gesteigert, wodurch sich die Software durch die Integration von Echtzeit-Bewegungsverarbeitung und Sicherheitsfunktionen zu einer praktikablen Option für die industrielle Steuerung und den Betrieb kommerzieller Drohnen entwickelt hat. AMD hat den ROS2-Code auf das Betriebssystem PetaLinux portiert, das auf der MPSoC-Hardware läuft, um die Integration für Kunden zu vereinfachen.
Mit ROS2 erstellen Entwickler Roboteranwendungen mithilfe übersichtlicher und strukturierter Graphen, die einem Editor-Subscriber-Ablauf folgen – einem in industriellen und automobilen Steuerungssystemen weit verbreiteten Designansatz. In diesen Graphen werden Daten- und Eingabeanbieter als Editor-Knoten behandelt, die Informationen zu spezifischen Problemen an Subscriber-Knoten übermitteln, welche diese dann verarbeiten.
Diese Struktur erleichtert die Integration der für ein funktionsfähiges Robotersystem notwendigen Module. Kameras mit standardmäßigen MIPI-Schnittstellen können mit Knoten zusammenarbeiten, auf denen Bildverarbeitungssoftware wie OpenCV läuft. Diese Software kann Helligkeit und Kontrast anpassen und weitere Optimierungsfunktionen durchführen, um eine hochwertige Bildsequenz für ein Bildklassifizierungsmodell bereitzustellen. Dieses Modell gibt dann Text aus, der von der Bewegungssteuerungssoftware des Roboters verarbeitet wird. Im Falle dieser ASL-basierten Anwendung geben die Buchstaben dem Roboter Anweisungen zum Drehen, Vorwärtsfahren und Anhalten. Nach dem Zusammenstellen, Kompilieren und Herunterladen auf den Roboter ist die Anwendung nicht zwangsläufig statisch.
Die rasante Entwicklung im Bereich KI und Open-Source-Robotersteuerungssoftware eröffnet Entwicklern neue Möglichkeiten zur Systemoptimierung. Trias ursprüngliche Demonstration eines ASL-gesteuerten Roboters nutzte ein Handzeichenklassifizierungsmodell auf Basis der VGG-16-Architektur, trainiert mit Googles Datensatz. Vor zehn Jahren entwickelten Forscher der Visual Geometry Group an der Universität Oxford dieses bekannte tiefe Faltungsnetzwerk, um eine hohe Genauigkeit bei einer Vielzahl von Bilderkennungsaufgaben zu erzielen. Ein wesentlicher Vorteil von VGG-16 liegt in seinen Faltungsschichten, gefolgt von einer Reihe von Maximum-Pooling-Schichten mit niedrigeren Dimensionen, aber größerer Tiefe. Dies hilft dem Modell, hierarchische Repräsentationen visueller Merkmale zu erlernen – eine besonders nützliche Eigenschaft für die Handzeichenerkennung. Hierbei muss das Modell zunächst eine gültige Handform im Kamerabild erkennen und anschließend die Fingeranordnung bestimmen, die ein ASL-Zeichen repräsentiert.
Obwohl VGG-16 eine gute Leistung bietet und die Machbarkeit des Prototyps bewiesen hat, profitiert jede eingebettete Plattform von höherer Effizienz. Die Entwickler von Tria erreichten dies durch den Austausch von VGG-16 gegen den neueren MobileNet V2-Klassifikator. Es handelt sich um ein mehrschichtiges System mit komplexerer Architektur, bestehend aus über hundert Faltungs-, Pooling- und Bottleneck-Schichten. Dadurch erzielt MobileNet V2 bei der ASL-Klassifizierung eine höhere Genauigkeit als VGG-16 bei deutlich weniger Rechenoperationen pro Bild. Dies ermöglicht es dem Modell, auf Trias ZUBoard 1CG mit über zwanzig Bildern pro Sekunde zu arbeiten, im Vergleich zu nur zwei oder drei bei VGG-16.
Dieses Beispiel verdeutlicht das Potenzial der Kombination von Open-Source-Hardware, -Software und KI bei der Umsetzung neuartiger Systemkonzepte. Durch die Wahl von Hardware mit hoher Kompatibilität zu den aktuell verfügbaren Entwicklungsumgebungen für Robotik- und KI-Anwendungen können Entwickler einen entscheidenden Vorteil bei der Markteinführung ihrer bahnbrechenden Ideen erzielen.
Autor: Jim Beneke, Vizepräsident von Tria
