基于视频流和卷积注意力机制的下肢关键肌群活动计算技术研究

目的关键肌群的活动状态是理解人体运动学和动力学规律的关键环节。然而,通用的肌电测量技术需要贴附电极采集数据,存在易用性低和应用场景受限等问题。本研究旨在利用非接触采集的人体运动视频,构建基于关键点提取和回归计算的两阶段模型,估计步态中下肢关键肌群的活动状态,实现从记录的人体运动的视频数据到肌电信号的精确映射。方法本研究征集7名健康成人作为受试者,以自选速度在跑步机上行走,同步采集矢状面视频信息及股直肌、股二头肌、胫骨前肌、比目鱼肌以及内外侧腓肠肌肌电数据。建立两阶段模型估计肌肉活动:构建人体姿态识别算法从视频流提取人体2D关节点的位置特征,基于低置信度线性插值提升估计精度;构建基于时空注意力机制的卷积神经网络模型,利用关节点位置特征作为输入计算步态中的肌电信号。结果基于本研究所提出的两阶段模型,计算得到的肌肉活动与肌电测量数据强相关,平均皮尔逊相关系数为0.73。结论本研究所提出的基于视频流的两阶段下肢肌肉活动计算方法能够准确计算下肢肌电包络,为实现非接触式获取运动过程中关键肌群活动提供了新的途径。

基于卷积注意力机制和小样本惯性传感单元数据的下肢肌肉活动计算方法

目的肌肉活动通常可以通过肌电图直接测量或肌骨模型计算得到。然而,该类方法对于非技术用户或在非实验室场景下使用较为不便。基于惯性传感单元数据的深度学习模型为肌肉活动计算提供了更为简单易用的解决方案。然而大规模训练数据的获取困难限制了深度学习模型的计算效能。本研究旨在构建基于小样本惯性传感单元数据的新型深度学习模型,计算步态过程中的下肢肌肉活动。为了进一步提升所构建深度学习模型的估计精度,本研究开发了一种基于模型的新型数据扩充方法。方法基于7名受试者的小样本数据集,构建了两阶段下肢肌肉活动的计算方法。基于时间卷积网络构建了Muscle GAN模型,用于数据扩充。此外,基于卷积注意力机制构建了混合深度学习模型,用于步态过程中的下肢肌肉活动计算。结果多种步速下,所提出的两阶段下肢肌肉活动计算结果和肌电测量数据之间具有高相关性。下肢肌肉活动的平均皮尔逊相关系数和归一化均方根误差分别为0.72和0.13。与原始数据集相比,基于Muscle GAN的扩充数据集有效提升了下肢肌肉活动的计算精度。结论基于惯性传感单元的小样本数据集,本研究所提出的两阶段下肢肌肉活动计算方法能准确计算下肢肌电包络,可为多场景下肢肌肉活动的精确计算提供新思路。