Bauby, qui avait signé un contrat pour écrire un livre peu avant son accident, a rédigé ses mémoires, « Le Scaphandre et le Papillon », à l'aide d'un système de dictée : son orthophoniste récitait l'alphabet et il clignait des yeux lorsqu'elle prononçait la bonne lettre. Ils ont ainsi écrit les 130 pages en clignant des yeux à l'unisson.

La technologie a fait d'énormes progrès depuis l'accident de Bauby. De nombreuses personnes souffrant de graves troubles moteurs dus au syndrome d'enfermement, à la paralysie cérébrale, à la sclérose latérale amyotrophique ou à d'autres affections peuvent communiquer grâce à des interfaces informatiques qui leur permettent de sélectionner des lettres ou des mots sur une grille à l'écran en actionnant un simple interrupteur, souvent en appuyant sur un bouton, en expirant ou en clignant des yeux.

Cependant, ces systèmes de balayage par lignes et colonnes sont très rigides et, à l'instar de la technique utilisée par l'orthophoniste de Bauby, ils mettent en évidence chaque option une à une, ce qui les rend excessivement lents pour certains utilisateurs. De plus, ils ne conviennent pas aux tâches où les options ne peuvent être disposées en grille, comme le dessin, la navigation sur Internet ou les jeux vidéo.

Un système plus flexible, développé par des chercheurs du MIT, place des indicateurs de sélection individuels à côté de chaque option à l'écran. Ces indicateurs peuvent être positionnés n'importe où, à proximité de tout élément cliquable, évitant ainsi à l'utilisateur de parcourir une grille d'options pour faire son choix. Ce système, appelé Nomon, utilise le raisonnement probabiliste pour analyser les habitudes de sélection des utilisateurs, puis ajuste l'interface afin d'améliorer la rapidité et la précision.

Lors d'une étude utilisateur, les participants ont pu taper plus rapidement avec Nomon qu'avec un système de lecture par lignes et colonnes. Ils ont également obtenu de meilleurs résultats à une tâche de sélection d'images, ce qui démontre que Nomon peut être utilisé pour bien plus que la simple saisie de texte.

« C’est formidable et passionnant de pouvoir développer un logiciel susceptible d’aider les gens. Être capable de détecter ces signaux et de les transformer en communication, comme nous en avons l’habitude, est un problème vraiment intéressant », déclare Tamara Broderick, auteure principale de l’étude, professeure agrégée au département de génie électrique et d’informatique (EECS) du MIT et membre du laboratoire des systèmes d’information et de décision et de l’institut des données, des systèmes et de la société.

L'équipe, aux côtés de Broderick, comprend Nicholas Bonaker, doctorant en génie électrique et informatique ; Emli-Mari Nel, responsable de l'innovation et de l'apprentissage automatique chez Averly et professeure invitée à l'Université du Witwatersrand (Afrique du Sud) ; et Keith Vertanen, professeur associé à Michigan Tech. Leurs travaux de recherche sont présentés à la conférence ACM sur les facteurs humains dans les systèmes informatiques.

À l'heure

Dans l'interface de Nomon, une petite horloge analogique est placée à côté de chaque option sélectionnable par l'utilisateur. (Un gnomon est la partie d'un cadran solaire qui projette une ombre.) L'utilisateur sélectionne une option, puis appuie sur son bouton lorsque l'aiguille de l'horloge atteint la ligne rouge « midi ». Après chaque clic, le système modifie les phases de l'horloge pour séparer les cibles les plus probables. L'utilisateur appuie plusieurs fois jusqu'à sélectionner sa cible.

Lorsqu'il est utilisé comme clavier, les algorithmes d'apprentissage automatique de Nomon tentent de deviner le mot suivant en se basant sur les mots précédents et sur chaque nouvelle lettre sélectionnée par l'utilisateur.

Broderick avait développé une version simplifiée de Nomon il y a plusieurs années, mais a décidé de la remanier afin de la rendre plus accessible aux personnes à mobilité réduite. Il a fait appel à Bonaker, alors étudiant, pour repenser l'interface.

Ils ont d'abord consulté des organisations à but non lucratif travaillant avec des personnes handicapées motrices, ainsi qu'un utilisateur handicapé, afin de recueillir leur avis sur la conception de Nomon.

Ensuite, ils ont conçu une étude utilisateur qui reflétait mieux les capacités des personnes à mobilité réduite. Soucieux d'examiner minutieusement le système avant d'y investir le temps précieux d'utilisateurs à mobilité réduite, ils l'ont d'abord testé auprès d'utilisateurs ne disposant pas de dispositif de commande, explique Broderick.

Changer l'interrupteur

Pour obtenir des données plus représentatives, Bonaker a conçu un commutateur basé sur une webcam, plus complexe à utiliser qu'une simple pression sur une touche. Les utilisateurs qui n'utilisaient pas ce commutateur devaient incliner leur corps d'un côté de l'écran, puis de l'autre, pour enregistrer un clic.

« Et ils doivent le faire au moment précis, ce qui les ralentit considérablement. Nous avons mené des études empiriques qui ont montré que leurs temps de réaction étaient beaucoup plus proches de ceux des personnes ayant un handicap moteur », explique Broderick.

Ils ont mené une étude utilisateur en 10 sessions auprès de 13 participants, sans changement de système, et d'un participant atteint d'une forme avancée de dystrophie musculaire spinale. Lors des neuf premières sessions, les participants ont utilisé Nomon et une interface de lecture en lignes et colonnes pendant 20 minutes chacune pour saisir du texte ; lors de la dixième session, ils ont utilisé les deux systèmes pour une tâche de sélection d'images.

Les utilisateurs n'ayant pas changé de clavier ont tapé 15 % plus vite avec Nomon, tandis que l'utilisateur présentant un handicap moteur a tapé encore plus vite. Lors de la saisie de mots inconnus, les utilisateurs ont été globalement 20 % plus rapides et ont commis deux fois moins d'erreurs. Lors de la dernière session, ils ont pu réaliser la tâche de sélection d'images 36 % plus rapidement grâce à Nomon.

« Nomon est beaucoup plus tolérant que l'analyse par lignes et colonnes. Avec l'analyse par lignes et colonnes, même une petite erreur vous fait choisir B au lieu de A, et c'est une erreur », explique Broderick.

S'adapter aux clics bruyants

Grâce au raisonnement probabiliste, Nomon intègre toutes les informations relatives aux clics probables de l'utilisateur afin de rendre le processus plus rapide, plus simple et moins sujet aux erreurs. Par exemple, si l'utilisateur sélectionne « Q », Nomon lui permettra de sélectionner « U » le plus facilement possible.

Nomon analyse également les habitudes de clic de l'utilisateur. Ainsi, si celui-ci clique systématiquement peu après midi, le système s'adapte en temps réel. Il s'adapte aussi aux perturbations. Si l'utilisateur clique fréquemment, le système requiert des clics supplémentaires pour garantir la précision.

Ce raisonnement probabiliste confère à Nomon toute sa puissance, mais il exige également davantage de clics que les systèmes de lecture par lignes et colonnes. Effectuer plusieurs clics peut s'avérer difficile pour les utilisateurs souffrant de troubles moteurs importants.

Broderick espère réduire le nombre de clics en intégrant le suivi oculaire à Nomon, ce qui permettra au système d'obtenir des informations plus précises sur le choix suivant de l'utilisateur en fonction de la zone de l'écran qu'il regarde. Les chercheurs souhaitent également trouver un moyen d'ajuster automatiquement la fréquence d'horloge afin d'améliorer la précision et l'efficacité des utilisateurs.

Ils travaillent actuellement sur une nouvelle série d'études dans le cadre desquelles ils prévoient de collaborer avec davantage d'utilisateurs souffrant de handicaps moteurs.

« Jusqu'à présent, les retours des utilisateurs souffrant de troubles moteurs nous ont été extrêmement précieux. Nous sommes très reconnaissants envers l'utilisateur qui a donné son avis sur notre interface initiale et envers celui qui a participé à notre étude. Nous élargissons actuellement notre étude afin de collaborer avec un groupe plus large et plus diversifié au sein de notre population cible. Grâce à leur aide, nous apportons déjà de nouvelles améliorations à notre interface et nous nous efforçons de mieux comprendre le fonctionnement de Nomon », explique-t-il.

Ces recherches ont été financées, en partie, par le Seth Teller Memorial Fund to Advanced Technology for People with Disabilities, une bourse de recherche d'été universitaire Peter J. Eloranta, le MIT Intelligence Quest et la National Science Foundation.

###

Article rédigé par Adam Zewe, service de presse du MIT