基于深度学习的健身动作识别系统

随着全民健身热潮的兴起,越来越多的人积极参加健身锻炼,但由于缺乏科学的运动指导,使健身难以取得相应的效果。据我们所知,没有产品可以自动分析健身运动并提供指导。针对这个现象,设计了一个基于深度学习的健身动作识别系统,该系统由三个部分组成:提取运动边界、人体姿态估计和动作识别/评分。首先使用边界敏感网络来生成包含动作实例的时序动作提名,这样可以确定视频中的动作边界,提取视频中做健身运动的部分,忽略无关背景的影响;然后应用AlphaPose来估计人体姿态;最后通过人体姿态构造图形,并利用图卷积网络来识别健身动作。还通过比较用户姿态和教练姿态之间的相似性来获得用户健身动作的得分。大量的实验表明,设计的系统在性能上可以满足实际应用的要求。

基于深度学习的足球赛事视频动作识别系统

足球是世界上最受欢迎的运动之一,大量的人通过电视或者互联网来观看足球比赛。一场足球比赛通常需要90分钟,但是一些观众可能只想观看这场比赛中的精彩场面来节省时间。为了解决这个问题,设计了一个基于深度学习的足球赛事视频动作识别系统,该系统可以识别足球比赛中红黄牌和射门等关键动作,这些动作可以作为足球比赛中的精彩片段。该系统利用了目标检测、人体姿态估计以及动作识别的方法来识别关键动作,以生成足球赛事视频的精彩片段,节省用户观看的时间。

基于边界意识匹配网络的时序动作检测

时序动作检测是一个具有发展前景和挑战性的任务,不仅要给出视频中各个动作实例开始和结束的具体时刻,还要给出动作实例的类别。目前的方法可以生成时序动作提名来表示动作实例开始和结束的时刻,但是在准确性上还需要提高。为了解决这个问题,提出了一个边界意识匹配网络来提取精确的动作提名,即候选的视频动作时序片段,并提高了召回率。该网络首先用长短期记忆网络(LSTM)来提取连续时间帧的特征来预测动作提名的边界,然后利用匹配机制来评估动作提名的置信度,得到具有高精度和高召回率的动作提名。此外,结合现有的动作分类器,该方法提高了时序动作检测的性能。

基于运动注意力模块的多分支动作识别网络

最近几年视频动作识别的性能有了显著的提高。当前大多数网络是通过改变主干卷积神经网络来提高性能,或者通过改变主干网络来探索模型的效率和性能之间的权衡。但是大多数的工作在网络的最后都是全局平均池化层后接一个全连接层,这使得网络的表达能力不够好。为了解决这个问题,提出一个基于运动注意力模块的多分支网络来提高动作识别的性能,该网络首先使用运动注意力模块来捕获相邻帧之间的特征差异,从而在通道上增强运动相关的特征,抑制无关的背景信息,然后利用多分支结构提取全局特征和局部特征,并提高网络对更精细的细节的敏感能力。实验证明,提出的网络在Kinetics-400和Something-Something-V1数据集上实现了较好的识别精度。