改进BasicVSR的水下视频超分辨率重构

由于水下环境复杂多变,水流湍急、相机抖动、悬浮颗粒的遮挡以及光的吸收和传播等导致光学设备获取的水下视频出现运动模糊、颜色失真和对比度低等问题。针对这些问题提出一种改进BasicVSR的水下视频超分辨率算法以提高重构图像的细节信息,同时改善水下图像偏蓝和偏绿的现象。首先,利用卷积神经网络拟合水下图像退化模型中的参数,进而得到水下图像特征;其次,利用原始输入的低分辨率视频帧计算得到前后帧之间的光流值;最后,利用光流信息对特征图进行双向传播,最终得到重构之后的每一帧图像。实验结果表明,经文中算法处理后的水下图像更符合人眼视觉特征,并且图像质量评价指标上相比其他算法有显著提高,更好的满足水下视觉高级任务对水下视频质量的要求。

一种面向室内场景的语义分割网络

现有RGB-D语义分割方法难以充分地融合深度信息来实现对复杂场景的语义分割,为了能更精确地在室内场景RGB图中进行识别内部物体,提出一种基于通道注意力机制的非对称三分支结构型卷积网络语义分割模型。该方法能选择性地从RGB图和深度图像中收集特征。先构建了一个具有三个并行分支的体系结构,并添加了三个互补的注意模块。且运用了双向跨模块特征传播策略,不仅可以保留原始RGB图像和深度图像的特征,还能充分利用融合分支的深度特征。在两个室内场景数据集(NYUDv2数据集和SUN-RGBD数据集)进行了对照实验和消融研究。结果表明,所提出的模型与目前最好的表现方法注意力互补网络(ACNet)对比下,像素精度、平均像素精度、平均交并比分别提高了0.9%、1.3%、1.7%,在镜子、书本、箱子等小物体的语义分割交并比指标提高了7.2%、9.6%、11.2%。验证了提出的模型在处理室内场景具更强的适用性。