基于4D卷积和混合注意力的驾驶行为检测方法

交通状况的复杂性和不确定性往往会影响驾驶行为模型的检测性能,为准确从前方道路视频中检测出本车的驾驶行为,提出一种基于混合注意力的4D卷积神经网络(MA4DN)模型。结合4D残差卷积块,MA4DN模型具备同时建模短程和长程时空表征的能力;为MA4DN设计一种混合注意力模块(MAM),联合学习时空感知特征、通道依赖特征和运动上下文特征等多类型信息;设计一种融合focal loss的损失函数,增强MA4DN模型对难样本的学习能力。在一个自然驾驶数据集上的实验结果表明,MA4DN的检测精度和泛化能力明显优于其它先进的3D卷积神经网络模型。

4D卷积神经网络的自闭症功能磁共振图像分类

静息态功能磁共振图像是随着时间变化的一系列三维图像。已有的3D卷积过程本质上是对三维图像数据或二维图像+时间维数据进行处理,无法有效地融合静息态功能磁共振图像的时间轴信息。为此,本文提出了新型的4D卷积神经网络识别模型。具体而言,通过对输入的fMRI使用四维卷积核执行四维卷积,在自闭症患者的功能磁共振图像中,从空间和时间上提取特征,从而捕获图像在时间序列上的变化信息。所开发的模型从输入图像中生成多个信息通道,最终的特征表示结合了所有通道的信息。实验结果表明,在保证模型泛化性能的前提下,该方法融合了功能像的全局信息,并且采集了功能像随时间变化的趋势信息,进而解决了用卷积神经网络处理三维图像随时间变化的分类问题。

多尺度特征融合的低照度光场图像增强算法

光场图像(LFI)记录了目标场景丰富的三维结构和纹理等信息,在多种计算机视觉任务中拥有巨大优势。但是,低光照条件下采集的光场图像存在亮度低、噪声大等问题,降低了图像质量。提出了一种多尺度特征融合的低照度光场图像增强算法,引入数码单反相机(DSLR)图像来监督网络的训练以提升低照度光场图像的质量。为了充分挖掘和利用光场信息,通过角度和空间Transformer在不同尺度上对光场图像进行特征提取,捕获每个子孔径图像的互补信息以及局部和远程依赖关系。提出一个循环融合模块,利用长短时记忆网络保留不同尺度特征的长时记忆,同时通过局部和全局融合层自适应地聚合整个特征空间中的有用信息。设计了一个4D残差模块从聚合的特征重建目标光场子视图。此外,还构建了一个低照度LFI和正常光照DSLR图像配对的数据集来训练所提出的网络。实验结果表明,所提网络能够有效地提升低照度光场图像的质量,相比其他算法拥有明显的优势。

融合全局和局部特征的光场图像空间超分辨率算法

光场相机传感器有限的空间分辨率阻碍了光场图像处理相关研究的进展.提出一种融合全局和局部特征的光场图像空间超分辨率算法,提高了对光场子视点全局关系建模的能力.由于光场相机捕捉的图像亮度较低,严重影响了超分辨率图像的质量,提出一个改进的4D零参考深度曲线估计网络(4D Zero-DCE-Net),充分利用光场全部子视点信息来提高光场图像的亮度.为了解决光场图像空间分辨率低的问题,提出一个基于生成对抗网络的光场图像空间超分辨率网络模型.生成器包含三个部分:第一部分是Transformer和4D卷积以并行方式结合的网络结构,能以较浅的网络层捕捉图像的全局和局部细节信息;第二部分是一个交互融合注意力模块IFAM(Interactive Fusion Attention Module),能有效地融合上述两个分支得到的全局自注意力和局部细节信息;第三部分是一个重建模块PS-PA(Pixel Shuffle-Pixel Attention),能提高整个光场的空间分辨率.最后,利用相对判别器来指导生成器的训练.实验结果表明,提出的算法和其他算法相比,峰值信号比(PSNR)至少提升了1 dB.