基于全局时空感受野的高效视频分类方法

在现有混合卷积神经网络架构(2D+3D)的视频分类方法中,卷积滤波器都是对局部区域进行操作,无法捕获大范围的时空依赖关系,特征通道之间缺乏相互依赖关系,传统的三维卷积核无法很好地建模时空特征.针对这些问题,提出了一种基于全局时空感受野的高效视频分类方法(CS-NL-SECO).首先将传统的三维卷积核分解成空域卷积核和时域卷积核,来更好地学习时空特征.然后在已有混合架构中的底层二维网络引入通道和空间注意力,通过学习自动获取每个特征通道的权重,依照权重关注重要的特征而抑制不相关的背景.最后在高层三维网络中引入全局时空感受野,学习全局时空特征表示自动捕获大范围的时空依赖关系.并在UCF101、HMDB51、Kinetics以及Something-something这四个视频分类常用的公有数据集上进行了实验,结果表明该方法无论在速度和精度上都远好于原方法,并且整体性能达到了最新方法的基准.

深度学习下模糊高光谱图像复原数学模型仿真

高光谱图像具有三维数据结构,可同时采集目标对象的空间维、光谱维的特征,但其成像过程中,因载荷平台振动,得到高光谱图像较为模糊,影响图像使用中的准确度与可信度。为此,研究一种深度学习下模糊高光谱图像复原数学模型方法。根据高光谱成像原理与点扩散函数求解模糊图像的光谱信息,利用傅里叶变换建立其退化模型,获得模糊图像与实际图像之间相关性。通过3D卷积网络采集模糊图像特征,使用卷积核、激活函数获取特征增加非线性因子,通过反卷积层得到特征图谱,利用图像重建层将特征重组,输出清晰高光谱图像,实现模糊高光谱图像复原。实验结果表明,所提方法能够将模糊图像复原,复原的图像信噪比在6dB以上,且图像复原时间低于15s。