鲍比在事故发生前不久签了一份写书合同。他用一种听写系统完成了回忆录《潜水钟与蝴蝶》。在这种系统中,他的语言治疗师会朗读字母表,当治疗师说出正确的字母时,他就眨一下眼睛。他们通过同步眨眼完成了这本130页的书。.
自鲍比发生事故以来,科技已经取得了长足的进步。许多患有闭锁综合征、脑瘫、肌萎缩侧索硬化症或其他疾病导致严重运动障碍的人,可以通过计算机界面进行交流,他们只需拨动一个开关,通常是通过按下按钮、呼气或眨眼,就能在屏幕网格上选择字母或单词。.
然而,这些行列式扫描系统非常僵化,而且就像鲍比的语言治疗师使用的技术一样,每次只能高亮显示一个选项,这使得一些用户感到速度慢得令人沮丧。此外,它们也不适用于选项无法以网格形式排列的任务,例如绘图、浏览网页或玩游戏。.
麻省理工学院的研究人员开发了一种更灵活的系统,该系统在电脑屏幕上每个选项旁边都放置了单独的选择指示器。这些指示器可以放置在任何位置——任何可以用鼠标点击的地方旁边——这样用户就无需滚动浏览选项网格来进行选择。该系统名为Nomon,它运用概率推理来学习用户的选择方式,然后调整界面以提高速度和准确性。.
用户研究表明,使用 Nomon 打字比使用行列式扫描系统速度更快。用户在图像选择任务中的表现也更出色,这表明 Nomon 的用途不仅限于打字。.
“能够开发出有可能帮助人们的软件,这真是太棒了,也令人兴奋。能够找到这些信号并像我们习惯的那样将它们转化为通信,这真是一个非常有趣的问题,”主要作者塔玛拉·布罗德里克说道。她是麻省理工学院电子工程与计算机科学系 (EECS) 的副教授,也是信息与决策系统实验室和数据、系统与社会研究所的成员。.
除了布罗德里克之外,该团队成员还包括电子工程与计算机科学系研究生尼古拉斯·博纳克;艾弗利公司创新与机器学习主管、南非金山大学客座教授埃姆利-玛丽·内尔;以及密歇根理工大学副教授基思·弗塔宁。该研究成果将在ACM人机交互系统会议上发表。.
计时中
在Nomon的界面中,每个用户可选选项旁边都有一个小型模拟时钟。(日晷的晷针是日晷上投射阴影的部分。)用户查看选项,然后在时钟指针经过红色“正午”线时按下相应的开关。每次点击后,系统都会改变时钟的相位,以区分下一个最有可能的目标。用户反复点击,直到选中目标为止。.
当用作键盘时,Nomon 的机器学习算法会根据之前的单词和用户选择的每个新字母来尝试猜测下一个单词。.
几年前,布罗德里克开发了一个简化版的Nomon,但为了让行动不便的人更容易使用该系统,他决定对其进行修改。他邀请当时还是本科生的博纳克帮忙重新设计界面。.
首先,他们咨询了与行动障碍人士合作的非营利组织以及一位行动障碍用户,以收集他们对 Nomon 设计的意见。.
接下来,他们设计了一项用户研究,以更好地代表行动障碍人士的能力。布罗德里克解释说,他们希望在投入行动障碍用户大量宝贵时间之前,确保对系统进行彻底的测试,因此他们首先对没有开关的用户进行了测试。.
更换开关
为了获得更具代表性的数据,博纳克设计了一种基于网络摄像头的开关,这种开关比直接按键更难使用。不使用开关的用户必须将身体倾斜到屏幕的一侧,然后再倾斜到另一侧才能完成点击操作。.
“而且他们必须在精确的时机做出反应,这确实会减慢他们的速度。我们进行了一些实证研究,结果表明他们的反应时间与运动障碍人士的反应时间非常接近,”布罗德里克说。.
他们进行了一项为期10次的用户研究,共有13名参与者,其中1名患有晚期脊髓性肌营养不良症,所有参与者均未切换系统。在前9次实验中,参与者分别使用Nomon和行列式扫描界面输入文本,每次持续20分钟;在第十次实验中,他们使用这两个系统完成图像选择任务。.
未切换键盘的用户使用 Nomon 后打字速度提高了 15%,而患有运动障碍的用户打字速度甚至比未切换键盘的用户还要快。在输入生词时,用户的整体速度提高了 20%,错误率降低了一半。在最后一次测试中,他们使用 Nomon 完成图像选择任务的速度提高了 36%。.
“Nomon 比逐行逐列扫描要宽容得多。使用逐行逐列扫描时,即使你犯了一个小错误,你现在也选择了 B 而不是 A,这就是一个错误,”Broderick 说。.
适应嘈杂的点击声
Nomon运用概率推理,结合用户可能的点击位置信息,使操作过程更快、更便捷、更不容易出错。例如,如果用户选择“Q”,Nomon会尽可能简化用户选择“U”的操作。.
Nomon还能学习用户的点击习惯。例如,如果用户总是在时钟指针指向正午后不久点击,系统会实时调整。它还能适应噪声干扰。如果用户点击频繁,系统会要求用户进行额外的点击以确保准确性。.
这种概率推理方式使Nomon功能强大,但也比基于行和列的扫描系统需要更多的点击操作。对于严重运动障碍的用户来说,多次点击可能是一项艰巨的任务。.
Broderick希望通过将眼动追踪技术融入Nomon来减少点击次数,从而使系统能够根据用户注视屏幕的哪个区域,更准确地预测用户下一步可能的选择。研究人员还希望找到一种更好的方法来自动调整时钟频率,以帮助用户提高准确性和效率。.
他们正在开展一系列新的研究,计划与更多行动障碍用户合作。.
“到目前为止,来自行动障碍用户的反馈对我们来说至关重要;我们非常感谢那位对我们初始界面提供反馈的行动障碍用户,以及参与我们研究的行动障碍用户。我们目前正在扩大研究范围,以纳入更多来自目标人群的、更多样化的群体。在他们的帮助下,我们已经开始对界面进行改进,并努力更好地了解Nomon的工作原理,”他说道。.
这项研究的部分资金来自塞思·泰勒纪念基金(为残疾人提供先进技术)、彼得·J·埃洛兰塔大学暑期研究奖学金、麻省理工学院智能探索计划和国家科学基金会。.
###
作者:亚当·泽维,麻省理工学院新闻办公室
