清华李曙光，北邮方斌，AISY：面向鼠标操作的软体肌电假肢手

本文来源于Advanced Intelligent Systems，欢迎浏览！

论文信息

研究背景

随着科技的不断进步，假肢技术在改善截肢者生活质量方面取得了显著成就。然而，截肢群体在就业方面仍面临巨大挑战，适龄截肢群体的就业率仅为健全群体的一半。目前的肌电假肢手在与计算机交互时存在诸多挑战，特别是在使用标准计算机外设（如鼠标）时，由于假肢手刚性结构和设备形状不规则的矛盾，截肢者常常面临操作困难的问题，这直接影响了他们的工作效率和生活便利。

文章概述

针对上述问题，北京邮电大学方斌教授与清华大学李曙光教授团队共同提出了一种新型软体肌电假肢手。该软体肌电假肢手旨在通过灵巧的软体手指和“一对多”映射的肌电交互接口，提高截肢者使用假肢手操作物理鼠标的任务性能和用户体验。研究的核心动机在于探索如何通过创新的软体假肢设计与交互控制策略，使截肢者能够更加高效和轻松地完成多种光标控制任务。相关成果以“A Robotic Prosthetic Hand for Computer Mouse Operations”为题发表在《Advanced Intelligent Systems》上。

图文导读

软体肌电假肢手系统的总体框架如图1所示：首先，通过无线传感器收集用户的表面肌电信号，以作为手势分类器的输入；然后，分类器基于实时的表面肌电信号解码用户的运动意图，识别并输出手势类别；最后，后处理算法根据相邻时刻的手势类别生成相应的鼠标操作控制指令，以驱动软体假肢手执行对应的手指运动。

图1 软体肌电假肢手系统的总体框架图：(a)表面肌电信号采集系统；(b)手势分类器；(c)后处理算法；(d)软体假肢手。

如图2所示，本研究的软体假肢手原型配备了两个肌腱驱动的软体手指和三个鳍状手指。该软体假肢手通过结合两种不同类型的手指，能够实现对不同尺寸鼠标的包络抓握，并执行包括多样化点击、滚动滑轮和水平移动在内的多项鼠标操作。具体而言，由一对鳍状手指组成的夹爪能够实现灵活的鼠标平面移动，而另一个鳍状手指则设计用于适应不同鼠标的表面曲率，以便实现滚动鼠标的滑轮。两个肌腱驱动的软体手指采用热塑性聚氨酯材料构造，负责执行鼠标的左右键点击操作。该软体假肢手的总成本为434美元，整体重量为405.8克，连接到接受腔后其总长度接近于人手的长度。

图2 软体假肢手的结构设计：(a)整体示意图；(b)手掌的下半部分；(c)手掌的上半部分和弯曲状态的软体手指；(d)用于滚轮操作的鳍状中指。

图3展示了本研究的算法设计原理，包括基于卷积神经网络的手势分类器和基于决策窗的后处理算法。其中，基于卷积神经网络的手势分类器通过接收表面肌电信号解码用户的运动意图（手势动作），而基于决策窗的后处理算法则负责建立手势动作与鼠标操作之间的“一对多”映射。

如图3(a)所示，基于卷积神经网络的手势分类器由一个输入层、四个卷积模块、两个全连接层、一个输出层组成。首先，原始二维肌电信号在输入层中被转换为三维图像，作为卷积模块的输入；经过激活函数均为ReLu的卷积模块和两个全连接层后，特征向量输入到具有SoftMax激活函数和四个隐藏单元的输出层，以对应于三类手部运动和放松状态。

分类器的输出并不会立即生成控制指令，而是由基于决策窗的后处理算法根据相邻时刻的分类器输出，将单个手势类别映射到多种鼠标操作，例如将对应于左键点击的手势类别映射到左键单击、双击和长按操作。如图3(b)所示，该算法旨在实现人类健全手通过运动单根手指完成多样化鼠标操作的能力，从而克服肌肉激活模式和控制指令之间一对一映射所带来的用户训练和控制负担。

图3 本研究算法设计：(a)基于卷积神经网络的手势分类器由一个输入层、四个卷积模块、两个全连接层、一个输出层组成；(b)基于决策窗的后处理算法通过最大计数法比较连续决策窗口的手势类别输出，并生成对应于鼠标操作的控制指令。

现有的研究主要集中于验证基于表面肌电信号的光标控制方法在菲茨定律类型任务中的性能表现。本研究比较了所提出的软体假肢手系统与肌电控制光标方法在两种菲茨定律任务中的性能差异。此外，本研究还设计了一种典型的电脑办公任务——跨文件夹的复制粘贴任务，旨在比较使用所提出的软体假肢手系统与肌电控制光标方法在组合键盘完成任务时的表现差异。该任务还进一步评估了单侧截肢者在同时使用鼠标和键盘与单手（健全侧）操作鼠标之间的表现差异。图4中的实验结果表明，采用本研究的软体假肢手系统进行鼠标操作时，用户的任务完成时间显著缩短，展现出更高的操作效率和更低的肌肉使用率，整体任务表现和用户体验均优于传统的肌电控制光标方法。

图4 菲茨定律类型任务的性能表现：健全受试和截肢受试在两类菲茨定律类型任务中的(a)任务完成时间和(b)吞吐量；(c-d)所有受试在两类菲茨定律类型任务中的平均表面肌电信号激活量。（*P<0.05, **P<0.01, ***P<0.001, ****P<0.0001）

本研究发现，截肢者使用假肢手操作鼠标能够有效利用残肢的自然运动，从而显著减少用户在操作过程中的控制负担。此外，软体假肢手系统的设计不仅提高了截肢者与计算机交互的灵活性与友好度，还展示了低位截肢者通过假肢手直接操作物理鼠标的可行性，强调为截肢者提供更广泛的可供选择有助于提高假肢设备的接受度。综上所述，本研究通过创新设计和有效实验验证，为改善截肢者与计算机的交互能力提供了重要的理论和实践依据，进一步探索了软体假肢技术在未来发展的广阔前景。

图5 截肢受试使用软体假肢手系统完成光标控制任务的惊喜瞬间

期刊简介

Wiley旗下智能系统领域开放获取旗舰刊。期刊收录关于具有刺激或指令响应智能的人造装置系统的研究，包括机器人、自动化、人工智能、机器学习、人机交互、智能传感和程序化自组装等前沿应用。Advanced Intelligent Systems最新的期刊引文指标1.11，期刊影响因子6.8，在计算机科学，人工智能和自动化与控制系统中分类皆为Q1。(源自Clarivate 2023)

点击投稿