融合前景注意力的轻量级交通标志检测网络

针对目标检测算法模型在交通标志检测上容易出现错检和漏检等问题,提出一种融合前景注意力的轻量级交通标志检测网络YOLOT。首先引入SiLU激活函数,提升模型检测的准确率;其次设计了一种基于鬼影模块的轻量级骨干网络,有效提取目标物特征;接着引入前景注意力感知模块,抑制背景噪声;然后改进路径聚合网络,加入残差结构,充分学习底层特征信息;最后使用VariFocalLoss和GIoU,分别计算目标的分类损失和目标间的相似度,使目标的分类和定位更加准确。在多个数据集上进行了大量实验,结果表明,本文方法的精度优于目前最先进方法,在CCTSDB数据集上进行消融实验,最终精度达到98.50%,与基线模型相比,准确率提升1.32%,同时模型仅4.7 MB,实时检测帧率达到44 FPS。

自适应融合RGB和骨骼特征的行为识别

传统的基于RGB和骨骼特征的行为识别算法,普遍存在两种特征互补性不足及视频关键时序性不强等问题。为解决这一问题,提出一种自适应融合RGB和骨骼特征的行为识别算法。首先,面向RGB图像和骨骼图像,联合双向长短时记忆(LSTM)网络和自注意力机制提取两者的时空特征;然后,构建自适应权重计算网络(AWCN),并以两者的空间特征为输入计算出自适应权重;最后,利用自适应权重得到上述时空特征的融合特征,实现了最终的动作分类。通过在Penn Action、JHMDB和NTU RGB-D人体行为数据集上与现有的方法进行比较,实验结果表明,本文算法有效地提高了行为识别精度。