基于双分支点流语义先验的路面病害分割模型

针对基于深度学习的真实路面病害图像识别算法主要面临的复杂道路背景与病害前景比例不同、病害尺度小等导致的类别严重不平衡、路面病害与道路的几何结构特征对比不明显导致其不易识别等问题,本文提出一种基于双分支语义先验网络,用于指导自注意力骨干特征网络挖掘背景与病害前景的复杂关系,运用高效自注意力机制和互协方差自注意力机制分别对二维空间和特征通道进行语义特征提取,并引入语义局部增强模块提高局部特征聚合能力。本文提出了一种新的稀疏主体点流模块,并与传统特征金字塔网络相结合,进一步缓解路面病害的类别不平衡问题;构建了一个真实场景的道路病害分割数据集,并在该数据集和公开数据集上与多个基线模型进行对比实验,实验结果验证了本模型的有效性。

结合语义先验和深度注意力残差的图像修复

针对现有图像修复方法修复结果缺乏真实性、未灵活处理缺失区域和未缺失区域信息以及未有效处理不同阶段的图像特征信息等问题,提出结合语义先验和深度注意力残差组的图像修复方法。该图像修复方法主要由语义先验网络、深度注意力残差组与全尺度跳跃连接组成。语义先验网络学习缺失区域视觉元素的完整语义先验信息,利用学习到的语义信息对缺失区域进行补全。深度注意力残差组使生成器不仅能更加关注图像的缺失区域,而且能自适应地学习各个通道的特征。全尺度跳跃连接则可以将包含图像边界的低层次特征图与包含图像纹理与细节的高层次特征图结合起来对图像缺失区域进行修复。在CelebA-HQ数据集与Paris Street View数据集上进行了充分对比实验,实验结果表明,该方法优于当前代表性先进图像修复方法。

基于语义先验和双通道特征提取的图像修复

针对现有的图像修复算法重建结果存在的局部结构不连通、细节还原不准确等问题,提出了一种基于语义先验和双通道特征提取的图像修复算法(semantic prior and dual channel extraction, SPDCE)。该算法利用语义先验网络学习缺失区域的语义信息和上下文知识,对缺失区域进行预测,增强了生成图像的局部一致性;然后通过双通道特征提取网络充分挖掘图像信息,提升了对纹理细节的感知和利用能力;再使用上下文特征调整模块在多个尺度上捕获并编码丰富的语义特征,从而生成更真实的图像视图和更精细的纹理细节。在CelebA-HQ和Places2数据集上的实验结果表明,SPDCE算法与常用算法相比,峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性(structural similarity, SSIM)分别提升1.6~1.73 dB和3.1%~9.9%,L_1 loss下降15.2%~27.8%。实验证明所提算法修复后的图像具有更合理的结构和更丰富的细节,图像修复效果更优。

基于语义先验和几何约束的动态场景SLAM算法

实际场景中运动物体的特征点加入到相机位姿计算中,以及静态环境特征点过度稀疏都会导致移动机器人传统视觉同步定位与地图构建(simultaneous localization and mapping,SLAM)算法在位姿估计时精度低、鲁棒性差。设计了基于分支空洞卷积的双边语义分割算法,将环境区分为潜在运动区域和静态区域;结合几何约束进行静态特征点的二次判断及对没有先验动态标记而具有移动性的特征点的判断,并在事先均匀提取的全部特征点中进行移除,只应用静态特征点求解相机位姿和构建静态环境地图。在TUM公共数据集上进行实验,验证了提出算法在动态环境中SLAM的定位精度明显优于现有其他方法。在存在运动物体的真实环境下进行建图实验,与ORB-SLAM2算法进行对比,本文算法在动态场景中构建的地图更清晰。

基于场景语义先验和全局外观一致性的运动目标检测

在摄像机固定的视频监控中,动态背景下的运动目标检测是一个非常有挑战的基础问题。本文提出一种鲁棒的运动目标检测方法。首先,为有效利用场景区域的先验信息,把事先定义的语义区域信息融合到ViBe算法中,消除一些特定语义区域中的动态背景干扰。其次,根据改进的ViBe算法的结果估计背景和前景的全局外观GMM模型,利用该模型对每个像素进行进一步的分类,从而通过全局外观模型去除一些错误的检测结果。最后,使用超像素对结果进行后期处理,得到更加精确的检测结果。实验结果表明,本文方法在检测有强烈动态背景干扰的监控视频时,远远超过了其他的运动目标检测方法。

融合语义先验和渐进式深度优化的宽基线3维场景重建

目的基于视觉的3维场景重建技术已在机器人导航、航拍地图构建和增强现实等领域得到广泛应用。不过,当相机出现较大运动时则会使得传统基于窄基线约束的3维重建方法无法正常工作。方法针对宽基线环境,提出了一种融合高层语义先验的3维场景重建算法。该方法在马尔可夫随机场(MRF)模型的基础上,结合超像素的外观、共线性、共面性和深度等多种特征对不同视角图像中各个超像素的3维位置和朝向进行推理,从而实现宽基线条件下的初始3维重建。与此同时,还以递归的方式利用高层语义先验对相似深度超像素实现合并,进而对场景深度和3维模型进行渐进式优化。结果实验结果表明,本文方法在多种不同的宽基线环境,尤其是相机运动较为剧烈的情况下,依然能够取得比传统方法更为稳定而精确的深度估计和3维场景重建效果。结论本文展示了在宽基线条件下如何将多元图像特征与基于三角化的几何特征相结合以构建出精确的3维场景模型。本文方法采用MRF模型对不同视角图像中超像素的3维位置和朝向进行同时推理,并结合高层语义先验对3维重建的过程提供指导。与此同时,还使用了一种递归式框架以实现场景深度的渐进式优化。实验结果表明,本文方法在不同的宽基线环境下均能够获得比传统方法更接近真实描述的3维场景模型。

基于语义先验和深度约束的室内动态场景RGB-D SLAM算法

针对大多数同时定位与地图构建(simultaneous localization and mapping,SLAM)系统在动态场景下位姿估计不准确的问题,本文提出了一个基于语义先验的加权极线和深度约束的运动一致性检测算法,以此构建一个室内动态场景下的视觉SLAM系统.该系统首先对输入图像进行语义分割,获取潜在运动特征点集合;其次对图像非潜在运动区域进行特征点提取,获取帧间变换的初值,利用加权的极线约束和深度约束完成对潜在外点(如运动特征点)的二次判断,并将外点移除从而更新静态特征点集合.最后利用静态特征点集实现对相机位姿的精确求解,并作为位姿优化的初值送入后端.本文在TUM(慕尼黑工业大学)数据集上的9个动态场景序列以及波恩复杂动态环境数据集的3个图像序列上进行了多次对比测试,其绝对轨迹误差(ATE)的均方根误差(RMSE)与现有先进的动态SLAM系统DS-SLAM相比降低了10.53%~93.75%,对于平移和旋转相对位姿误差(RPE),RMSE指标最高实现73.44%和68.73%的下降.结果表明,改进的方法能够显著降低动态环境下的位姿估计误差.

基于高层先验语义的显著目标检测

为解决图像低级特征不能够均匀进行显著目标检测的问题,将高层先验语义和低级特征进行结合,提出一种新颖的基于高层先验语义的显著目标检测算法模型。利用深度卷积神经网络对输入图像以及显式显著性先验信息分别进行语义分割提取,得到显式显著性检测图;通过将图像中隐含的先验显著性特征与显著性值进行映射得到训练模型计算隐式显著性图;将显式显著性检测图和隐式显著性检测图进行自适应融合,形成均匀覆盖显著目标像素的精确显著检测图。为验证算法模型的有效性,将算法在具有挑战性的ECSSD和DUT-OMRON图像数据集进行实验仿真,实验结果表明,该算法的显著目标检测效果较其他方法有较为显著的提升。

基于全卷积神经网络与低秩稀疏分解的显著性检测

为了准确检测复杂背景下的显著区域,提出一种全卷积神经网络与低秩稀疏分解相结合的显著性检测方法,将图像分解为代表背景的低秩矩阵和对应显著区域的稀疏噪声,结合利用全卷积神经网络学习得到的高层语义先验知识,检测图像中的显著区域.首先,对原图像进行超像素聚类,并提取每个超像素的颜色、纹理和边缘特征,据此构成特征矩阵;然后,在MSRA数据库中,基于梯度下降法学习得到特征变换矩阵,利用全卷积神经网络学习得到高层语义先验知识;接着,利用特征变换矩阵和高层语义先验知识矩阵对特征矩阵进行变换;最后,利用鲁棒主成分分析算法对变换后的矩阵进行低秩稀疏分解,并根据分解得到的稀疏噪声计算显著图.在公开数据集上进行实验验证,并与当前流行的方法进行对比,实验结果表明,本文方法能够准确地检测感兴趣区域,是一种有效的自然图像目标检测与分割的预处理方法.