高速快门诱导的低照度图像弱参考视觉增强方法

高速快门会导致拍摄图像产生多种类型的退化,如极低曝光和噪声等问题。现有的无监督图像增强方法难以构建不同空间域的特征映射关系,以改善图像质量。针对上述问题,提出了一种高速快门诱导的低照度图像弱参考增强方法。该方法训练了一个光照特征提取网络(illumination feature extraction net,IFE-Net)以估计高阶曲线的参数;构建了联合硬注意力机制,加权选择低照度图像和参考图像的特征信息,并利用光照估计曲线将两者有机整合,逼近最佳的非线性映射,以获得清晰的复原图像;设计图像属性和转换感知相结合的多项损失函数,在增强低照度图像的同时保留更多图像细节。与现有的3种低照度图像增强算法进行实验对比,验证了算法的可行性和有效性,并通过消融实验验证了联合硬注意力模块设计的合理性和必要性。

局部-全局关系耦合的低照度图像增强

卷积神经网络目前在人工智能多个领域均取得了不同程度的进展.卷积计算是基于参数共享的滑窗机制,这导致卷积神经网络更多地关注特征信息的局部关系,对全局关系的建模能力有限.局部关系和全局关系对特征的表达均具有重要的作用.为此,本文聚焦于如何对特征信息的局部-全局关系进行构建并有效耦合,从而挖掘更加丰富的特征信息,提高特征的判别性.本文提出了局部-全局关系耦合模块,该模块是由特征提取、基于深度卷积(depth-wise convolution,DWConv)的局部关系构建分支、基于多头自注意力机制(mutli-head self-attention,MHSA)的全局关系构建分支和基于点向卷积(point-wise convolution,PWConv)的关系耦合4部分组成.基于此模块,本文构建了编解码结构的局部-全局关系耦合神经网络,该网络可以对特征信息的局部-全局关系进行建模,增强特征信息的表征能力,进而提升模型的性能.为验证所提算法的有效性,本文在低照度图像增强任务上,使用基准数据集与其他算法进行了实验对比.实验结果表明,本文所提出的方法取得了较好的图像增强结果,优于当前先进的图像增强方法.最后,本文通过消融实验和扩展实验从多个角度进一步验证了有效耦合局部-全局关系的重要性和可扩展性.