Cette technologie permet une identification avec une précision supérieure à 99 %, même lorsque l'utilisateur porte un masque. Elle sera présentée dans un magasin Lawson sans espèces, situé dans les bureaux de Fujitsu Technology Square à Shin-Kawasaki, au Japon ⁽¹⁾, pour un essai sur le terrain débutant en janvier 2021. Vidéo du système en fonctionnement.

Le port du masque représente un défi pour les technologies de filtrage de reconnaissance faciale classiques, car une grande partie du visage est masquée, rendant l'authentification impossible dans certains cas. Cependant, grâce à une nouvelle technologie, les différences d'apparence liées au port ou non d'un masque peuvent être surmontées en générant une image composite qui combine le masque et l'image du visage, puis en testant le modèle. Ceci permet d'atteindre une précision de filtrage supérieure à 99 %, équivalente à celle obtenue sans masque. Par ailleurs, Fujitsu a perfectionné sa technologie existante de capteur d'authentification par les veines de la paume en améliorant l'interface utilisateur. Ainsi, les utilisateurs connaissent la distance optimale à laquelle positionner leur main par rapport au capteur pour une authentification fluide. Cette technologie s'est classée sixième parmi 147 fournisseurs internationaux participants et première parmi les fournisseurs japonais ⁽²⁾ lors du test de fournisseurs d'authentification faciale mené par le National Institute of Standards and Technology (NIST) des États-Unis. Contexte du développement :
Ces dernières années, l'utilisation des technologies d'authentification biométrique a connu une forte croissance, notamment dans des domaines tels que le traitement des paiements en magasin et la vérification d'identité lors d'événements. Désormais, ces technologies promettent également de contribuer à limiter la propagation de la COVID-19 en minimisant les contacts humains lors des transactions et des processus de vérification. À cette fin, Fujitsu accélère l’introduction d’interfaces utilisateur sans contact pour l’authentification en tirant parti de la reconnaissance faciale et des veines de la paume, avec une série d’essais sur le terrain menés au cours de l’année écoulée (Fig. 1).

Défis :
Dans de nombreuses régions du monde, les autorités sanitaires ont souligné l'importance du port du masque pour prévenir la propagation de maladies infectieuses telles que le COVID-19. Cependant, lors de l'authentification faciale avec un masque, la majeure partie du visage est masquée, ce qui peut parfois compromettre la précision de la méthode. C'est pourquoi Fujitsu a travaillé à améliorer la précision de l'authentification biométrique multifactorielle dans son magasin pilote en combinant une technologie de filtrage facial et la reconnaissance des veines de la paume. De plus, en vue du déploiement futur du système auprès du grand public dans les magasins physiques, il sera essentiel d'améliorer son interface utilisateur afin de faciliter son utilisation et de permettre aux utilisateurs de s'inscrire et de s'authentifier sans explications complexes ni intervention du personnel. Nouvelle technologie
développée
: Les laboratoires Fujitsu ont développé une technologie d'apprentissage automatique basée sur l'expansion des données, qui permet un filtrage très précis même lorsque l'utilisateur porte un masque.
Cette technologie présente les caractéristiques suivantes :
avec les technologies de reconnaissance faciale classiques, lorsqu'une personne porte un masque, seule la zone des yeux est scannée pour extraire des caractéristiques telles que la forme et la position du visage. Bien que cette méthode puisse contribuer à réduire l'impact du port du masque sur la précision des lectures, elle ne permet pas d'extraire les caractéristiques de l'ensemble du visage, ce qui augmente le risque que l'utilisateur cible ne soit pas reconnu faute de données suffisantes.
Pour pallier cet inconvénient, la nouvelle technologie développée génère une image du visage de l'utilisateur sans masque, en tenant compte de l'extraction de l'ensemble des caractéristiques faciales, telles que la forme et les contours. Ainsi, même lorsque l'utilisateur porte un masque, il peut être reconnu avec la même précision grâce à l'image faciale correspondante issue d'une vaste base de données. Plus précisément, la technologie estime la position du visage à partir de caractéristiques faciales telles que la position des yeux et du nez. À partir des résultats de cette estimation, un masque artificiel est redimensionné et superposé à l'image du visage pour générer une image de visage masqué d'apparence naturelle. De plus, le système utilise différents types de masques afin de s'adapter aux situations où les utilisateurs portent des masques de couleurs, de motifs et de formes variés (Fig. 2). Ceci rend l'authentification multifacteurs plus hygiénique et plus facile à utiliser, car elle permet aux utilisateurs de s'authentifier sans retirer leur masque.
 
Interface utilisateur améliorée :
L’interface utilisateur du système d’authentification par reconnaissance des veines de la paume a été optimisée pour une utilisation plus fluide. Un voyant lumineux en forme de paume a été intégré au capteur. Sa couleur et son motif varient en fonction de la hauteur de la main, indiquant ainsi la position optimale pour une authentification précise (Fig. 3). Ceci permet aux personnes non familiarisées avec l’authentification par reconnaissance des veines de la paume d’ajuster facilement la hauteur de leurs paumes pour une authentification sans contact et sans encombre (Fig. 4).
 
Résultats :
Grâce à cette nouvelle technologie et à cette interface utilisateur améliorée, Fujitsu espère offrir des services plus sûrs et prévenir la propagation des maladies infectieuses dans diverses situations, notamment pour les paiements en magasin par authentification biométrique et l’identification personnelle dans les centres de loisirs.
Projets futurs
: Afin de permettre aux utilisateurs de s’authentifier eux-mêmes grâce à cette technologie et à cette interface améliorée, Fujitsu va déployer cette technologie dans un système actuellement en phase de vérification ⁽³⁾ au sein d’un magasin Lawson sans espèces situé dans le Shin-Kawasaki Technology Plaza, en collaboration avec Lawson, une importante chaîne de distribution japonaise. Fujitsu effectuera des tests de vérification à partir du 21 janvier 2021, dans le but de rendre le système opérationnel d'ici la fin de l'exercice fiscal 2021.
Lien associé
: Vidéo de démonstration : « Terminal d'authentification biométrique multifactorielle en utilisation »

[1]
Concept de supérette sans caisse développé par Lawson dans les bureaux de Fujitsu Technology Square à Shin-Kawasaki. Depuis février 2020, Fujitsu participe à une preuve de concept (POC) menée par Lawson, Inc. pour des solutions sans caisse dans l'un de ses bureaux. Suite aux résultats de cette POC, Lawson collabore avec Fujitsu et Zippin (États-Unis) afin d'identifier les défis commerciaux et techniques.
[2]
Cette technologie s'est classée sixième sur 147 fournisseurs internationaux participants et première parmi les fournisseurs japonais lors du test de reconnaissance faciale mené par le National Institute of Standards and Technology (NIST) des États-Unis en novembre 2020. Effets du masque FRVT.
[3]
Fujitsu intégrera cette technologie dans un système actuellement en cours de vérification. Il s'agit du système fourni par VCOGNIZATION TECHNOLOGIES, INC. « Zippin ». Ce système intègre des dispositifs tels que des caméras et des capteurs de poids nécessaires au libre-service, des fonctions d'IA pour la reconnaissance des clients et des produits, ainsi que des fonctions de liaison avec la gestion des paiements et des stocks.