Diese Technologie ermöglicht eine Identifizierung mit über 99 % Genauigkeit, selbst wenn der Nutzer eine Maske trägt. Sie wird ab Januar 2021 in einem bargeldlosen Lawson-Convenience-Store-Konzept in den Büroräumen des Fujitsu Technology Square in Shin-Kawasaki, Japan ⁽¹⁾, im Rahmen eines Feldversuchs vorgestellt. Video des Systems im Einsatz

Nutzer mit Masken stellen herkömmliche Gesichtserkennungstechnologien vor eine Herausforderung, da ein großer Teil des Gesichts verdeckt ist, was die Authentifizierung in manchen Fällen unmöglich macht. Mit der neu entwickelten Technologie lassen sich die Unterschiede im Erscheinungsbild je nach Vorhandensein oder Fehlen einer Maske jedoch überwinden, indem ein zusammengesetztes Bild generiert wird, das die Maske mit dem Gesichtsbild kombiniert und das Modell anschließend getestet wird. Dadurch wird eine Filtergenauigkeit von über 99 % erreicht, die der Genauigkeit ohne Maske entspricht. Darüber hinaus hat Fujitsu seine bestehende Technologie zur Authentifizierung mittels Handvenenmessung optimiert, indem die Benutzeroberfläche verbessert wurde. So wird Nutzern der optimale Abstand zwischen Hand und Sensor für eine reibungslose Authentifizierung angezeigt. Diese Technologie belegte im Test von 147 teilnehmenden internationalen Anbietern den sechsten Platz und unter den japanischen Anbietern ⁽²⁾ im Gesichtserkennungstest des US-amerikanischen National Institute of Standards and Technology (NIST). Hintergrund:
In den letzten Jahren hat die Nutzung biometrischer Authentifizierungstechnologien zugenommen, unter anderem in Bereichen wie der Zahlungsabwicklung im stationären Handel und der Ausweiskontrolle bei Veranstaltungen. Diese Technologien versprechen nun auch, die Ausbreitung von COVID-19 einzudämmen, indem sie den menschlichen Kontakt bei Transaktionen und Verifizierungsprozessen minimieren. Zu diesem Zweck beschleunigt Fujitsu die Einführung kontaktloser Benutzerschnittstellen zur Authentifizierung durch Nutzung der Gesichts- und Handvenenerkennung. Im vergangenen Jahr wurden dazu eine Reihe von Feldversuchen durchgeführt (Abb. 1).

Herausforderungen:
In vielen Teilen der Welt haben Gesundheitsbehörden die Verwendung von Masken als wichtiges Mittel zur Eindämmung von Infektionskrankheiten wie COVID-19 hervorgehoben. Bei der Gesichtserkennung mit Maske ist jedoch ein Großteil des Gesichts verdeckt, wodurch die Genauigkeit der Methode beeinträchtigt werden kann. Aus diesem Grund hat Fujitsu in seinem Pilotgeschäft die Genauigkeit der multifaktoriellen biometrischen Authentifizierung durch die Kombination von Gesichtsfiltertechnologie und Handvenenerkennung verbessert. Für die zukünftige Einführung des Systems in stationären Geschäften ist es zudem unerlässlich, die Benutzeroberfläche zu optimieren, um die Bedienung zu vereinfachen und Nutzern die Registrierung und Authentifizierung ohne komplexe Erklärungen oder die Unterstützung von Mitarbeitern zu ermöglichen.
Neu entwickelte Technologie
: Die Fujitsu Laboratories haben eine datenerweiternde Technologie für maschinelles Lernen entwickelt, die eine hochpräzise Filterung auch bei Maskenträgern ermöglicht.
Die Technologie zeichnet sich durch folgende Merkmale aus:
Herkömmliche Gesichtserkennungstechnologien scannen bei Maskenträgern lediglich den sichtbaren Augenbereich, um Merkmale wie Gesichtsform und -position zu extrahieren. Diese Methode kann zwar die Auswirkungen des Maskentragens auf die Genauigkeit der Messungen reduzieren, jedoch keine Merkmale des gesamten Gesichts erfassen. Dadurch besteht die Möglichkeit, dass der Zielnutzer aufgrund unzureichender Daten nicht erkannt wird.
Um diesem Problem entgegenzuwirken, generiert die neu entwickelte Technologie ein Bild des Gesichts des Nutzers ohne Maske und berücksichtigt dabei die Extraktion vollständiger Gesichtsmerkmale wie Form und Konturen. Das bedeutet, dass der Nutzer auch mit Maske anhand des entsprechenden Gesichtsbildes aus einer großen Datenbank mit der gleichen Genauigkeit wie ohne Maske erkannt werden kann. Konkret schätzt die Technologie die Gesichtsposition anhand von Gesichtsmerkmalen wie der Position von Augen und Nase. Basierend auf den Schätzungsergebnissen wird eine künstliche Maske in ihrer Größe angepasst und über das Gesichtsbild gelegt, um ein natürlich wirkendes maskiertes Gesichtsbild zu erzeugen. Darüber hinaus verwendet das System verschiedene Maskentypen, um Situationen zu berücksichtigen, in denen Nutzer Masken in unterschiedlichen Farben, Mustern und Formen tragen (Abb. 2). Dies macht die Multi-Faktor-Authentifizierung hygienischer und benutzerfreundlicher, da die Authentifizierung ohne Abnehmen der Maske durchgeführt werden kann.
 
Verbesserte Benutzeroberfläche:
Die Benutzeroberfläche des Handvenen-Authentifizierungssystems wurde für eine reibungslosere Bedienung optimiert. Dem Sensor wurde ein handförmiges Licht hinzugefügt, dessen Farbe und Muster sich je nach Abstand der Hand ändern und so die korrekte Höhe für eine präzise Authentifizierung anzeigen (Abb. 3). Dadurch können auch Personen, die mit der Handvenen-Authentifizierung noch nicht vertraut sind, ihre Handflächen in die richtige Höhe bringen und eine kontaktlose Authentifizierung durchführen (Abb. 4).
 
Ergebnisse:
Durch den Einsatz der neu entwickelten Technologie und der verbesserten Benutzeroberfläche erwartet Fujitsu, in verschiedenen Situationen sicherere Dienstleistungen anzubieten und die Ausbreitung von Infektionskrankheiten zu verhindern, beispielsweise bei Zahlungen im stationären Handel mittels biometrischer Authentifizierung und bei der Personenidentifizierung in Freizeitzentren.
Zukünftige Pläne
: Um sicherzustellen, dass Nutzer den Authentifizierungsprozess mithilfe der entwickelten Technologie und der verbesserten Benutzeroberfläche selbst durchführen können, wird Fujitsu diese Technologie in einem System, das sich derzeit in der Verifizierungsphase befindet ^(3), in einem bargeldlosen Lawson-Convenience-Store-Konzept im Shin-Kawasaki Technology Plaza in Zusammenarbeit mit Lawson, einer großen japanischen Einzelhandelskette, einführen. Fujitsu wird ab dem 21. Januar 2021 Verifizierungstests durchführen, mit dem Ziel, das System bis zum Ende des Geschäftsjahres 2021 in die Praxis einzuführen.
Weiterführende Links
: Demonstrationsvideo: „Multifaktor-Biometrie-Authentifizierungsterminal im Einsatz“

[1]
Ein kassenloses Convenience-Store-Konzept von Lawson in den Büroräumen des Fujitsu Technology Square in Shin-Kawasaki. Seit Februar 2020 beteiligt sich Fujitsu an einem von Lawson, Inc. durchgeführten Proof of Concept (POC) für kassenlose Lösungen an einem seiner Standorte. Basierend auf den POC-Ergebnissen arbeitet Lawson mit Fujitsu und Zippin aus den USA zusammen, um geschäftliche und technische Herausforderungen zu identifizieren.
[2]
Diese Technologie belegte im November 2020 im Gesichtserkennungsanbietertest des US-amerikanischen National Institute of Standards and Technology (NIST) den sechsten Platz unter 147 teilnehmenden internationalen Anbietern und den ersten Platz unter japanischen Anbietern. Auswirkungen der FRVT-Gesichtsmaske.
[3]
Fujitsu wird diese Technologie in ein System integrieren, das sich derzeit in der Verifizierungsphase befindet. Gemeint ist das System von VCOGNIZATION TECHNOLOGIES, INC. „Zippin“. Das System integriert Geräte wie Kameras und Gewichtssensoren für die Selbstbedienungskasse, KI-Funktionen zur Kunden- und Produkterkennung sowie Funktionen zur Anbindung an Zahlungs- und Bestandsmanagement.