基于语义分割的图像拼接实验设计

“信号与信息处理创新实践”课程是一门创新创业综合实践课程,针对课程的技术要求,该文设计了基于语义分割的图像拼接实验案例。为了提高缝合线对图像中前景物体的分辨能力,研究了基于语义分割的最佳缝合线算法。利用CRF-RNN语义分割进行图像的前景信息提取,并将提取的信息加入YUV颜色空间的能量矩阵中,从而使搜索的缝合线绕开前景物体。仿真结果表明:该算法对图像中的前景物体有较强的辨别能力,得到的拼接结果避免了压缩和割裂的问题,更加符合人眼视觉感知。该案例的设计,能够培养学生应用专业知识的基本原理,分析电子信息领域中复杂工程问题,获得有效结论的能力。

多平面分区投影的大视差图像拼接算法和综合实验案例设计

针对小重叠面积、大视差图像拼接过程中存在的重影和变形问题,提出一种多平面分区投影的大视差图像拼接算法。首先通过在图像的初始匹配点上循环使用随机采样一致性算法(RANSAC),产生多个对应平面上的候选单应性矩阵,进而生成多个局部对齐的图像;然后利用最佳缝合线算法在每一个局部对齐的图像上搜索缝合线,选择其能量最小时对应的单应性矩阵并计算分区投影函数,对待拼接图像进行分区投影变换;最后以缝合线为基准对已配准图像进行融合,得到最终的拼接结果。对实地采集的数据与AANAP和ELA两种主流大视差图像拼接算法进行对比实验,并引入形变探针来监测图像的变形情况。实验结果表明,该算法能够有效解决重影和变形问题,得到更加自然的拼接结果。