Бауби, который незадолго до несчастного случая подписал контракт на написание книги, написал свои мемуары «Скафандр и бабочка», используя систему диктовки, при которой его логопед произносила алфавит, а он моргал, когда она называла нужную букву. Они написали 130-страничную книгу, моргая синхронно.
Технологии значительно продвинулись со времен несчастного случая с Бауби. Многие люди с серьезными двигательными нарушениями, вызванными синдромом «запертого человека», церебральным параличом, боковым амиотрофическим склерозом или другими заболеваниями, могут общаться с помощью компьютерных интерфейсов, в которых они выбирают буквы или слова на экранной сетке, переключая один тумблер, часто нажатием кнопки, выдохом или морганием.
Однако эти системы сканирования по строкам и столбцам очень негибкие и, подобно методике, используемой логопедом Бауби, выделяют каждый вариант по отдельности, что делает их крайне медленными для некоторых пользователей. Кроме того, они не подходят для задач, где варианты нельзя расположить в виде сетки, таких как рисование, просмотр интернета или игры.
Более гибкая система, разработанная исследователями из Массачусетского технологического института, размещает отдельные индикаторы выбора рядом с каждым вариантом на экране компьютера. Индикаторы могут быть размещены где угодно — рядом с любым элементом, на который можно нажать мышью, — поэтому пользователю не нужно прокручивать сетку вариантов, чтобы сделать свой выбор. Система, получившая название Nomon, использует вероятностные рассуждения, чтобы изучить, как пользователи делают выбор, а затем адаптирует интерфейс для повышения скорости и точности.
Участники пользовательского исследования смогли печатать быстрее с помощью Nomon, чем с помощью системы сканирования строк и столбцов. Пользователи также показали лучшие результаты в задании по выбору изображений, что демонстрирует, что Nomon можно использовать не только для набора текста.
«Это здорово и захватывающе – иметь возможность разрабатывать программное обеспечение, которое потенциально может помочь людям. Возможность находить эти сигналы и преобразовывать их в привычный нам способ коммуникации – это действительно интересная задача», – говорит ведущий автор исследования Тамара Бродерик, доцент кафедры электротехники и информатики Массачусетского технологического института (EECS) и член Лаборатории информационных и систем принятия решений, а также Института данных, систем и общества.
Помимо Бродерика, в состав команды входят Николас Бонакер, аспирант факультета электротехники и информатики; Эмли-Мари Нел, руководитель отдела инноваций и машинного обучения в компании Averly и приглашенный профессор Университета Витватерсранда (Южная Африка); и Кит Вертанен, доцент Мичиганского технологического университета. Результаты исследования будут представлены на конференции ACM по человеческому фактору в компьютерных системах.
На часах
В интерфейсе Nomon рядом с каждым выбираемым пользователем вариантом расположены небольшие аналоговые часы. (Гномон — это часть солнечных часов, отбрасывающая тень.) Пользователь смотрит на выбранный вариант, а затем нажимает на соответствующий переключатель, когда стрелка часов пересекает красную линию «полдень». После каждого нажатия система меняет фазы часов, чтобы определить наиболее вероятные следующие цели. Пользователь нажимает несколько раз, пока не выберет свою цель.
При использовании в качестве клавиатуры алгоритмы машинного обучения Nomon пытаются угадать следующее слово на основе предыдущих слов и каждой новой буквы, выбранной пользователем.
Несколько лет назад Бродерик разработал упрощенную версию Nomon, но решил переработать ее, чтобы сделать систему более удобной для людей с двигательными нарушениями. Он привлек к работе Бонакера, тогда еще студента, чтобы тот перепроектировал интерфейс.
Сначала они проконсультировались с некоммерческими организациями, работающими с людьми с двигательными нарушениями, а также с пользователем с двигательными нарушениями, чтобы узнать их мнение о конструкции Nomon.
Затем они разработали исследование пользователей, которое лучше отражало возможности людей с двигательными нарушениями. Они хотели убедиться, что тщательно изучили систему, прежде чем тратить на это ценное время пользователей с двигательными нарушениями, поэтому сначала протестировали ее с пользователями без переключателя, объясняет Бродерик.
Замена выключателя
Для получения более репрезентативных данных Бонакер разработал переключатель на основе веб-камеры, который был сложнее в использовании, чем простое нажатие клавиши. Пользователям, которые не использовали этот переключатель, приходилось наклонять тело в одну сторону экрана, а затем обратно в другую, чтобы зарегистрировать щелчок.
«И им приходится делать это в точно заданный момент, поэтому это действительно замедляет их. Мы провели несколько эмпирических исследований, которые показали, что их время реакции было гораздо ближе к времени реакции людей с двигательными нарушениями», — говорит Бродерик.
Они провели 10-сессионное исследование с участием 13 человек, которые не переключались между системами, и одного пользователя с запущенной формой спинальной мышечной дистрофии. В первых девяти сессиях участники использовали Nomon и интерфейс сканирования строк и столбцов по 20 минут для ввода текста, а в десятой сессии они использовали обе системы для задачи выбора изображений.
Пользователи без переключения набирали текст на 15 процентов быстрее с помощью Nomon, а пользователь с двигательными нарушениями набирал текст еще быстрее, чем пользователи без переключения. При наборе незнакомых слов пользователи в целом были на 20 процентов быстрее и допускали вдвое меньше ошибок. В заключительной сессии они смогли выполнить задачу по выбору изображений на 36 процентов быстрее, используя Nomon.
«Nomon гораздо более снисходителен, чем сканирование по строкам и столбцам. При сканировании по строкам и столбцам, даже если вы допустите небольшую ошибку, вы все равно выберете B вместо A, а это ошибка», — говорит Бродерик.
Адаптация к шумным щелчкам
Используя вероятностный подход, Nomon учитывает все известные ему данные о том, куда пользователь, скорее всего, кликнет, чтобы сделать процесс быстрее, проще и менее подверженным ошибкам. Например, если пользователь выберет «Q», Nomon максимально упростит для него выбор «U».
Nomon также изучает, как пользователь нажимает на кнопки. Так, если пользователь всегда нажимает вскоре после того, как стрелка часов пробивает полдень, система адаптируется в режиме реального времени. Она также адаптируется к шуму. Если пользователь нажимает часто, системе требуется больше нажатий для обеспечения точности.
Вероятностный подход делает Nomon мощным инструментом, но он также требует больше щелчков мышью, чем системы сканирования по строкам и столбцам. Многократные щелчки могут быть сложной задачей для пользователей с серьезными нарушениями двигательных функций.
Бродерик надеется сократить количество кликов, внедрив в Nomon технологию отслеживания взгляда, что позволит системе получать более точную информацию о том, что пользователь может выбрать дальше, исходя из того, на какую часть экрана он смотрит. Исследователи также хотят найти лучший способ автоматической регулировки тактовой частоты, чтобы помочь пользователям быть более точными и эффективными.
Они работают над новой серией исследований, в рамках которых планируют сотрудничать с большим количеством пользователей с двигательными нарушениями.
«До сих пор отзывы пользователей с двигательными нарушениями были для нас бесценны; мы очень благодарны пользователю с двигательными нарушениями, который предоставил отзывы о нашем первоначальном интерфейсе, и пользователю с двигательными нарушениями, принявшему участие в нашем исследовании. В настоящее время мы расширяем наше исследование, чтобы работать с более крупной и разнообразной группой из нашей целевой популяции. С их помощью мы уже внедряем новые улучшения в наш интерфейс и работаем над тем, чтобы лучше понять, как работает Nomon», — говорит он.
Данное исследование частично финансировалось Мемориальным фондом Сета Теллера по развитию передовых технологий для людей с ограниченными возможностями, летней исследовательской стипендией Питера Дж. Элоранты, программой MIT Intelligence Quest и Национальным научным фондом.
###
Автор: Адам Зеве, пресс-служба Массачусетского технологического института
