实验室雷庆老师指导研究生姚龙撰写的论文A Contrastive Learning Network for Performance Metric and Assessment of Physical Rehabilitation Exercises,在二区期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》发表。雷老师为通讯作者。
该文指出,在法律监控环境中分析人类活动在物理康复领域具有重要作用,它能够帮助身体受伤的患者改善术后状况并降低医疗成本。近年来,基于深度学习的动作质量评估(Action Quality Assessment, AQA)框架被广泛用于评估物理康复运动。然而,大多数方法将这一问题简单处理为回归任务,需要同时输入动作实例和其评分标签。这种方法的局限性在于,该领域的标注通常以健康或不健康的标签为主,而非由专业医生提供的质量评分。此外,这些方法大多无法为患者的动作缺陷提供有价值的反馈,从而削弱了其实用性。
为了解决这些问题,该文提出了一种多任务对比学习框架,用于从骨架序列中学习微妙且关键的差异,以解决物理康复运动的性能评估和动作质量评估问题。具体而言,该文提出了一个性能评估网络,通过训练样本三元组作为输入生成评分。在AQA任务中,采用相同的对比学习策略,但将成对的训练样本输入动作质量评估网络以进行评分预测。
值得注意的是,该文提出通过量化不同骨架序列之间关节注意矩阵的偏差,并将其引入到学习网络的损失函数中。研究证明,同时考虑评分预测损失和关节注意偏差损失能够提高物理运动AQA的性能。此外,通过可视化关节注意矩阵的差异,还可以为患者提供有价值的反馈,以帮助其改善动作缺陷。
该方法在UI-PRMD和KIMORE数据集上进行了验证,实验结果表明,该方法达到了当前最先进的性能水平。