基于模块相似性的超分网络剪枝

该文针对单图像超分辨率网络(SISR)提出了一种简单的网络剪枝方法。该方法通过评估超分网络中各模块的相似性,用一种简单办法将相似度转换为各模块对网络的贡献程度,从而找到对超分网络相对不重要的模块进行网络剪枝,达到超分辨率网络压缩的目的。通过基于模块相似性的超分网络剪枝,原本参数量庞大的超分网络得到了压缩,参数量和运算量都大幅下降。实验表明,通过剪枝后的超分网络其参数量可以下降60%以上,同时精度下降不超过0.1%,对超分网络部署到低性能平台有着实际意义。

基于纹理先验的扩张残差注意力相似性去噪网络

目前,大多数基于卷积神经网络的图像去噪模型不能充分利用图像数据的冗余性,这限制了模型的表达能力。而且,为了有效去噪,往往将边缘信息用作先验知识,而纹理信息通常被忽略。针对这些问题,提出一种新的图像去噪网络,该网络首先使用注意力相似性模块提取图像的全局相似性特征,通过平均池化来平滑和抑制注意力相似性模块中的噪声,以进一步提高网络性能;其次使用扩张残差模块来提取图像的局部和全局特征;最后使用全局残差学习增强网络从浅层到深层的去噪效果。此外,还设计一种纹理提取网络从噪声图像中提取局部二值模式以获取纹理信息,利用纹理信息作为先验知识,可在去噪过程中保留演化图像中的细节。实验结果表明,与一些先进的去噪网络相比,新提出的去噪网络在图像视觉上有很大改善、效率更高且峰值信噪比提高了2 dB左右,结构相似性提高了3%左右,更有利于实际应用。

融合结构信息的深度学习立体匹配算法

针对现有立体匹配算法在边缘区域及视差不连续区域匹配精度的不足,提出了一种融合结构信息的深度学习立体匹配算法。通过简化特征提取网络,并使用Inplace-ABN层替换BatchNorm层和激活函数层,提高卷积提取图像特征的效率;利用结合注意力机制的局部相似性模块提取图像结构特征,与卷积提取到的特征进行融合,丰富图像特征信息;计算输出特征对的相关代价和连接代价,利用相关代价卷积生成注意力权重,滤除连接代价的冗余信息,提升匹配代价计算的精确性;使用简化的沙漏网络,提升网络代价聚合的快速性。算法通过Scene Flow数据集、CREStereo数据集和KITTI数据集进行实验,实验结果表明算法的全部区域端点误差为0.45 px,对第一帧图像全部区域预测错误的比例为1.55%,预测误差大于1 px的像素比例仅有6.87%,证明所提算法相比其他算法在匹配精度上表现优秀,同时验证了算法在问题区域匹配的有效性及优势。

Criminisi图像修复算法的优化

针对Criminisi算法在修复时会出现结构断裂和误匹配问题,在原有算法基础上提出一些新的改进思想,改进优先级函数的计算方法,将优先级函数表示为数据项、置信度项和邻域相关性项的加权和,以保证图像结构信息的连续性。设计一种样本块大小可变的算法,以增强局部协调性和边界的平滑性。改进模板间相似性度量方法,融入颜色直方图,以提高模板匹配的准确性。实验结果表明,该方法能够弥补Criminisi算法的不足,获得较好的视觉效果,提高图像的修复质量。