基于自适应可分离卷积核的视频压缩伪影去除算法

针对目前视频质量增强和超分辨率重建等任务中常采用的光流估计相关算法只能估计像素点间线性运动的问题,提出了一种新型多帧去压缩伪影网络结构。该网络由运动补偿模块和去压缩伪影模块组成。运动补偿模块采用自适应可分离卷积代替传统的光流估计算法,能够很好地处理光流法不能解决的像素点间的曲线运动问题。对于不同视频帧,运动补偿模块预测出符合该图像结构和像素局部位移的卷积核,通过局部卷积的方式实现对后一帧像素的运动偏移估计和像素补偿。将得到的运动补偿帧和原始后一帧联结起来作为去压缩伪影模块的输入,通过融合包含不同像素信息的两视频帧,得到对该帧去除压缩伪影后的结果。与目前最先进的多帧质量增强(MFQE)算法在相同的训练集和测试集上训练并测试,实验结果表明,峰值信噪比提升(ΔPSNR)较MFQE最大增加0.44 dB,平均增加0.32 dB,验证了所提出网络具有良好的去除视频压缩伪影的效果。

基于前景语义信息的图像着色算法

图像可分为前景部分与背景部分,而前景往往是视觉中心。在图像着色任务上,由于前景的类别多且情况复杂,着色困难,以至于图像中的前景部分会存在着色暗淡和细节丢失等问题。针对这些问题,提出了基于前景语义信息的图像着色算法,以改善图像着色效果,达到图像整体颜色自然、内容颜色丰富的目的。首先利用前景子网提取前景部分的低级特征和高级特征;然后将这些特征融合到全景子网训练中,以排除背景颜色信息影响并强调前景颜色信息;最后用生成损失和像素级别的颜色损失来不断优化网络,指导生成高质量图像。实验结果表明,引入前景语义信息后,所提算法在峰值信噪比(PSNR)和感知相似度(LPIPS)上有所提升,可有效改善视觉中心区域着色中的色泽暗淡、细节丢失、对比度低等问题;相比其他算法,该算法在图像整体上取得了更自然的着色效果,在内容部分上取得了显著的改进。

基于知识蒸馏的超分辨率卷积神经网络压缩方法

针对目前用于超分辨率图像重建的深度学习网络模型结构深且计算复杂度高,以及存储网络模型所需空间大,进而导致其无法在资源受限的设备上有效运行的问题,提出一种基于知识蒸馏的超分辨率卷积神经网络的压缩方法。该方法使用一个参数多、重建效果好的教师网络和一个参数少、重建效果较差的学生网络。首先训练好教师网络,然后使用知识蒸馏的方法将知识从教师网络转移到学生网络,最后在不改变学生网络的网络结构及参数量的前提下提升学生网络的重建效果。实验使用峰值信噪比(PSNR)评估重建质量的结果,使用知识蒸馏方法的学生网络与不使用知识蒸馏方法的学生网络相比,在放大倍数为3时,在4个公开测试集上的PSNR提升量分别为0.53dB、0.37dB、0.24dB和0.45dB。在不改变学生网络结构的前提下,所提方法显著地改善了学生网络的超分辨率重建效果。

基于改进CenterNet的竹条表面缺陷检测方法

在竹条表面缺陷检测中,竹条表面缺陷形状各异,成像环境脏乱,现有基于卷积神经网络(CNN)的目标检测模型面对这样特定的数据时并不能很好地发挥神经网络的优势;而且竹条来源复杂且有其他条件限制,因此没办法采集所有类型的数据,导致竹条表面缺陷数据量少到CNN不能充分学习。针对这些问题,提出一种专门针对竹条表面缺陷的检测网络。该网络的基础框架为CenterNet,而且为提高CenterNet在较少的竹条表面缺陷数据中的检测性能,设计了一种基于从零开始训练的辅助检测模块:在网络开始训练时,冻结采用预训练模型的CenterNet部分,并针对竹条的缺陷特点从零开始训练辅助检测模块;待辅助检测模块损失趋于稳定时,通过一种注意力机制的连接方式将该模块与采用预训练的主干部分进行融合。将所提检测网络与CenterNet以及目前常用于工业检测的YOLO v3在相同训练测试集上进行训练和测试。实验结果表明,所提检测网络的平均精度均值(mAP)在竹条表面缺陷检测数据集上比YOLO v3和CenterNet的mAP分别提高了16.45和9.96个百分点。所提方法能够针对形状各异的竹条表面缺陷进行有效检测,且没有增加过多的时耗,在实际工业运用中具有很好的效果。

基于深度体素流的模糊视频插帧方法

针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成:去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络(CNN),提取并学习深度模糊特征以实现两帧输入图像的运动模糊去除;插帧模块用于估计帧间的体素流,所得体素流将用于指导像素进行三线性插值以合成中间帧。其次,制作了大型模糊视频仿真数据集,并提出一种先分后合、由粗略至细致的训练策略,实验结果表明该策略促进了多任务网络有效收敛。最后,对比前沿的去模糊和插帧算法组合,实验指标显示所提方法合成中间帧时峰值信噪比最少提高1.41 dB,结构相似性提升0.020,插值误差降低1.99。视觉对比及重制序列展示表明,所提模型对于模糊视频有着显著的帧率上转换效果,即能够将两帧模糊视频帧端对端重制为清晰且视觉连贯的三帧视频帧。