课题组在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》期刊（中科院2区，IF:4.9）发表最新文章《From Forearm to Wrist: Deep Learning for Surface Electromyography-Based Gesture Recognition》。
虽然数十年来肌电假肢控制的研究焦点一直集中在前臂上，但是对于普通消费者来说，基于手腕的肌电控制是更加理想的。因为它佩戴时更加日常不突兀，且可以与现有的玩不可穿戴设备相结合。最近，深度学习方法在肌电控制领域取得了众多学者的关注，然而其在手腕肌电上的效果尚不清楚。因此本研究的目的在于对比前沿方法在手腕与前臂肌电信号的姿态识别任务上的表现。用于对比的方法包括TDLDA, CNN, GRU, TCN 和 Transformer。实验结果表明，五种模型在前臂肌电信号上的识别表现效果相当，但是在手腕肌电信号上，深度学习模型表现明显优于TDLDA，姿态识别率至少高出9%。同时，TDLDA 在两种肌电信号上的表现相当。团队的该项工作展现了深度学习方法用于腕部肌电控制的可能性，并为许多下游应用提供了便利条件。
本研究采集了43个受试者的6通道前臂肌电信号和4通道手腕肌电信号。采用的四个深度学习模型结构如图1-4所示。为了消除通道数量对于最终识别表现比较的影响，本研究基于预实验选取了使用TDLDA识别时准确率最高的4个通道的前臂肌电信号作为后续模型的输入信号。本实验使用五折交叉验证进行模型的训练与测试，每次从五组trail中选取一组作为测试集，其余四组作为验证集。模型表现使用识别准确率衡量，并进行了对手腕和前臂特征分别进行了特征空间分析。
图1 CNN网络结构图
图2 GRU网络结构图
图3 TCN网络结构图
图4 Transformer网络结构图
本研究实验的主要实验结果如图6-9所示。结果表明五种模型对手腕和前臂肌电信号的手势分类性能不同(图5)。对于CNN，GRU，TCN和Transformer四种深度学习模型，手腕手势识别的平均错误率接近，在12.9% -13.7%之间，均低于前臂手势识别的相应错误率。在相同的深度学习模型下，基于手腕和前臂的手势识别错误率的差异在6.2%和9.8%之间。TCN从前臂识别手势的错误率最小，为19.7%，GRU错误率最大，为23.7%。对于TDLDA，其对手腕和前臂肌电信号的识别性能相似，这与四种深度学习模型的所展现出的结果不同。TDLDA手腕手势识别的平均错误率为21.8%，比深度学习模型的平均错误率高9%左右。TDLDA基于前臂的手势识别的平均错误率为20.8%，高于TCN和Transformer的错误率，但低于其他两种深度学习模型的错误率。
图 5 五个模型在手腕和前臂肌电信号上的识别表现对比。
五种模型的混淆矩阵如图6所示。对于TDLDA，手腕和前臂的混淆矩阵相似。对于四种深度学习模型，前臂肌电信号的误分类主要收集在矩阵的左上方。这部分的错误分类在手腕的矩阵中减少了。由于矩阵的手势序列是从手指到大体手、腕部运动，这说明对手指运动的识别在前臂肌电信号上会相互混淆。这种混淆在手腕肌电信号上有所改善。
图 6 五种模型对手腕和肌电信号的姿态识别混淆矩阵。
深度学习特征是CNN, TCN和GRU的全连接层的输入和 Transformer的编码器层的输出。由于CNN和TCN的特征维数过大,分别为12992年和6953维度,因此只对GRU,Transformer和TDLDA的输入特征进行了DBI和t-SNE分析,其特征维数分别为32,32岁和24维。一名代表性受试者经t-SNE后的数据分布如图8所示。对于深度学习模型GRU和Transformer，腕部肌电信号的聚类比前臂肌电信号的聚类更集中。对于TDLDA，腕肌电信号和前臂肌电信号的聚类大小相似。为了进行定量比较，手腕与前臂肌电特征的DBI值如图9所示。对于GRU和Transformer，腕部肌电信号的DBI小于前臂肌电信号，表明可分离性得到了提高。对于TDLDA，腕肌电信号的DBI大于前臂肌电信号。
图 7 手腕和前臂肌电信号特征空间的t-SNE可视化分析
总的来说，本文研究了四种深度学习模型。考虑到模型复杂度、计算成本、识别性能等因素，TCN被认为是腕部肌电信号手势识别的最佳选择。TCN结构简单，以一维卷积运算为主要操作。与其他三种深度学习模型相比，其计算成本相对较低。此外，结构简单并未导致识别性能下降。在图6中，TCN在腕肌电信号和前臂肌电信号上的分类错误率最低。
原文链接：
https://ieeexplore.ieee.org/document/10352354