基于LoFTR算法的图像拼接算法研究与实现

针对传统算法图像匹配准方法提取特征点不精确、鲁棒性低、低纹理下很难识别到特征点等问题,提出了一种新的局部图像特征匹配方法,替代传统的顺序执行图像特征检测,描述和匹配的步骤。首先在原图像提取分辨率为1/8的粗略特征,然后平铺为一维向量,并为其添加位置编码,将组合结果输入Transformers模块中的自注意力层和交叉注意力层,最后输入可微分匹配层后得到置信矩阵,为该矩阵设置阈值和相互最近标准,从而得到粗略的匹配预测。其次是在精细层次上细化良好的匹配,在建立精匹配之后,通过变换矩阵到统一的坐标下,实现图像重叠区域对齐,最后通过加权平局融合算法对图像进行融合,实现对图像的无缝拼接。使用Transformers中的自注意力层和交叉注意力层来获取图像的特征描述符。实验结果表明,在特征点提取方面,LoFTR算法比传统的SIFT算法,无论在低纹理区域还是纹理比较丰富的区域提取的都更精确,同时使用此方法得到的拼接效果比传统经典算法拼接的效果更好。

基于深度残差生成对抗网络的运动图像去模糊

针对图像拍摄过程中由于运动、抖动、电子干扰等产生的运动图像模糊问题,提出一种基于深度残差生成对抗网络的运动图像去模糊算法。对图像模糊模型与盲去模糊过程进行了研究,介绍了生成对抗网络,改进了残差块的结构。改进的残差块包含3个卷积层,两个ReLU激活函数,一个Dropout层以及一个跳跃连接块,提升了复原图像的质量。改进了PatchGAN的结构,在只增加少量参数与网络复杂性的情况下,将最底层感受野变为原先的两倍以上。利用GOPRO数据集和Lai数据集进行测试,测试结果表明,本文提出的基于深度残差生成对抗网络的去模糊算法复原图像可达到较高的客观评价指标,可以恢复出较高质量的清晰图像。在GOPRO数据集上,相比于其他同类方法,本文提出的算法具有较好的复原能力,可达到更高的峰值信噪比(28.31 dB)和较高的结构相似度(0.8317);而在Lai数据集上,可以恢复出较高质量的图像。