顾及图像分割信息的半全局立体匹配算法研究

针对传统半全局立体匹配算法(SGM)在高分辨率图像弱纹理以及视差不连续区域的误匹配问题,提出了一种顾及图像分割信息的SGM算法。该算法在代价计算阶段,首先根据图像分割信息自适应调整匹配窗口大小,采用不同状态信息的改进Census变换计算初始代价,解决传统算法对Census变换窗口中心像素依赖的同时减少了匹配时间;在代价聚合阶段,将图像分割信息与传统SGM算法的全局能量函数进行有机结合,提高算法在弱纹理以及深度不连续区域的匹配效果;最后通过左右一致性检测和子像素细化得到优化后的视差图。所提算法利用Middlebury平台标准数据进行验证,实验结果表明,平均误匹配率为4.54%,与传统SGM算法和一些改进算法相比,该算法能够在影像弱纹理和视差不连续区域获得更高匹配正确率。

高分辨率卫星立体影像对的图割匹配算法

针对高分辨率卫星立体像对自动匹配中同名特征点难以选取,导致视差图较低的问题,引入在计算机领域取得成功应用的图割匹配算法,将立体匹配问题转换为全局能量函数的最小化问题,并进行改进,构建简化的网络求解最小割,实现能量函数的最小化,得到较为准确的视差图,实现卫星立体像对的匹配。该文选取EROS-B卫星立体像对进行试验,结果证明改进的图割立体匹配算法生成视差图的均方根误差是传统基于相关系数的区域匹配算法生成视差图的均方根误差的1/3,且算法运行时间比传统的图割立体匹配算法的运行时间缩短了85.2%。该研究可为基于卫星立体像对构建高精度数字高程模型提供前提条件。

多类别的边缘感知方法在图像分割中的应用

针对图像语义分割方法预测出的目标大多存在边缘模糊和准确度较低的问题,提出多类别边缘感知的图像分割方法.首先设计一种用于多目标分割的Multi-sigmoid 损失函数,结合COCO 数据集预训练的FCN+CRF 网络,建立可优化类别边界的语义分割模型;然后在全局嵌套边缘检测(HED)模型的基础上,增加自底向上的信息解码部分,利用亚像素(subpixel)的图像增强算法实现上采样以及相邻尺度之间的特征融合,构建出可用于边缘检测的深度多尺度编解码模型(MSDF);最后将FCN+CRF 提取到的分割信息作为一元势, MSDF 检测到的边缘特征作为二元势,设计全局能量函数并计算最小值,实现分割结果的进一步优化.在2 个标准数据集Pascal context 和SIFT Flow 上进行了实验,结果表明,该模型的总体性能较为优越,可应用在图像语义分割和显著性目标检测等相关领域.

超像素条件随机场下的RGB-D视频显著性检测

目的视觉显著性在众多视觉驱动的应用中具有重要作用,这些应用领域出现了从2维视觉到3维视觉的转换,从而基于RGB-D数据的显著性模型引起了广泛关注。与2维图像的显著性不同,RGB-D显著性包含了许多不同模态的线索。多模态线索之间存在互补和竞争关系,如何有效地利用和融合这些线索仍是一个挑战。传统的融合模型很难充分利用多模态线索之间的优势,因此研究了RGB-D显著性形成过程中多模态线索融合的问题。方法提出了一种基于超像素下条件随机场的RGB-D显著性检测模型。提取不同模态的显著性线索,包括平面线索、深度线索和运动线索等。以超像素为单位建立条件随机场模型,联合多模态线索的影响和图像邻域显著值平滑约束,设计了一个全局能量函数作为模型的优化目标,刻画了多模态线索之间的相互作用机制。其中,多模态线索在能量函数中的权重因子由卷积神经网络学习得到。结果实验在两个公开的RGB-D视频显著性数据集上与6种显著性检测方法进行了比较,所提模型在所有相关数据集和评价指标上都优于当前最先进的模型。相比于第2高的指标,所提模型的AUC(area under curve),sAUC(shuffled AUC),SIM(similarity),PCC(Pearson correlation coefficient)和NSS(normalized scanpath saliency)指标在IRCCy N数据集上分别提升了2.3%,2.3%,18.9%,21.6%和56.2%;在DML-iTrack-3D数据集上分别提升了2.0%,1.4%,29.1%,10.6%,23.3%。此外还进行了模型内部的比较,验证了所提融合方法优于其他传统融合方法。结论本文提出的RGB-D显著性检测模型中的条件随机场和卷积神经网络充分利用了不同模态线索的优势,将它们有效融合,提升了显著性检测模型的性能,能在视觉驱动的应用领域发挥一定作用。