融合自注意力机制改进ResNet的图像分类方法

为解决在大数据集的图像分类任务上,卷积神经网络因缺乏全局信息导致识别准确率受限制的问题,提出将自注意力机制引入卷积神经网络。首先,通过卷积神经网络提取图像特征、改进自注意力模块;其次,基于卷积运算计算注意力的CA模块重构特征图,以突出重要特征并抑制一般特征,为网络加入全局信息;最后,在输出层Avgpool后引入Dropout层减少过拟合,提升模型鲁棒性和泛化性能。在公开数据集ImageNet-1K、Oxford 102 Flowers和CIFAR-100的实验表明,所提方法识别准确率相较于ResNet50分别提升1.8%、0.72%和13.7%,相较于ResNet50模型的识别性能更优。

轻量级可形变卷积神经网络DPCNs研究

本文针对可形变卷积会产生巨大的计算开销,使得检测速度减慢的问题,提出一种轻量级可形变卷积神经网络DPCNs。该网络使用了可形变逐点卷积(Deformable Pointwise Convolution)能有效缩减计算量,在保持非规则感受野特性并获得检测精度提升的同时,有效提高检测速度。此外将深度卷积与可形变逐点卷积相结合,可在保持模型轻量化的同时,进一步提高检测精度。实验结果表明,以Mask R-CNN作为基本检测框架,检测精度比普通卷积提高了1.7%,检测速度比可形变卷积提高了8%。

基于TEA网络结构的行为识别研究

深度神经网络是一种强大且高效的机器学习方法,但是目前用于行为识别的机器学习算法都重点关注画面中的内容,而不能有效建模物体间的位置关系。现实生活中物体间的位置关系非常重要,相同的物体,但是不同的位置关系,表达的含义可以完全不同。针对以上问题,提出了一种基于TEA的改进网络结构,能有效建模物体间的位置关系。首先通过多头运动激励模块学习多个不同尺度的空间形态变化,从而有效建模物体间空间位置关系,其次通过信息融合机制将多个尺度的变化信息融合在一起。在SomethingSomething V1数据集上的结果表明本文提出的方法比TEA在具有空间位置关系辨析的类别上准确率提高了最多15%。