基于全局时空感受野的高效视频分类方法

在现有混合卷积神经网络架构(2D+3D)的视频分类方法中,卷积滤波器都是对局部区域进行操作,无法捕获大范围的时空依赖关系,特征通道之间缺乏相互依赖关系,传统的三维卷积核无法很好地建模时空特征.针对这些问题,提出了一种基于全局时空感受野的高效视频分类方法(CS-NL-SECO).首先将传统的三维卷积核分解成空域卷积核和时域卷积核,来更好地学习时空特征.然后在已有混合架构中的底层二维网络引入通道和空间注意力,通过学习自动获取每个特征通道的权重,依照权重关注重要的特征而抑制不相关的背景.最后在高层三维网络中引入全局时空感受野,学习全局时空特征表示自动捕获大范围的时空依赖关系.并在UCF101、HMDB51、Kinetics以及Something-something这四个视频分类常用的公有数据集上进行了实验,结果表明该方法无论在速度和精度上都远好于原方法,并且整体性能达到了最新方法的基准.

反差极性敏感型运动边缘检测神经元的计算模型

在两栖类、鸟类和哺乳类某些动物的视觉系统中发现了对刺激反差极性 (变亮或变暗 )敏感的运动边缘检测神经元。为揭示这类神经元的信息加工原理 ,以Wimbauer等人提出的时延Linsker网络为基础 ,通过将不同的时空动态感受野线性组合 ,建立了蟾蜍视神经节R3类神经元和家鸽扁豆核 (nLM )神经元的感受野模型 ,并模拟了R3神经元对蠕虫样刺激物的“头/尾偏爱”特征 ,细胞对刺激物的构型选择性以及nLM神经元对运动边缘的反差、方向、边缘朝向和长度的选择性。模型从进化和发育的角度 ,在一定程度上解释了这类神经元感受野的形成机制 ,揭示了动物目标 -背景分辨行为的神经元信息加工原理。