基于改进FeatDepth的足球运动场景无监督单目图像深度预测

为了在降低成本的同时提高图像深度信息预测的精确度,并将深度估计应用于足球运动场景,提出一种基于改进FeatDepth的足球运动场景无监督单目图像深度预测方法。首先,对原FeatDepth引入注意力机制,使模型更加关注有效的特征信息;其次,将FeatDepth中的PoseNet网络和DepthNet网络分别嵌入GAM全局注意力机制模块,为网络添加额外的上下文信息,在基本不增加计算成本的情况下提升FeatDepth模型深度预测性能;再次,为在低纹理区域和细节上获得更好的深度预测效果,由单视图重构损失与交叉视图重构损失组合而成最终的损失函数。选取KITTI数据集中Person场景较多的部分进行数据集制作并进行仿真实验,结果表明,改进后的FeatDepth模型不仅在精确度上有所提升,且在低纹理区域及细节处拥有更好的深度预测效果。最后,对比模型在足球场景下的推理效果后得出,改进后的模型在低纹理区域(足球、球门等)及细节处(肢体等)有更好的深度预测效果,实现了将基于无监督的单目深度估计模型应用于足球运动场景的目的。

复杂场景下自适应注意力机制融合实时语义分割

实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息,再经过特征融合网络(FFN)获得准确语义图像。AAFNet采用扩展的深度可分离卷积(DDW)可增大语义特征提取感受野,提出自适应平均池化(Avp)和自适应最大池化(Amp)构成自适应注意力机制融合模块(AAFM),可细化目标边缘分割效果并降低小目标的漏分率。最后在复杂城市街道场景Cityscapes和CamVid数据集上分别进行了语义分割实验,所设计的AAFNet以32帧/s(Cityscapes)和52帧/s(CamVid)的推理速度获得73.0%和69.8%的平均分割精度(mIoU),且与扩展的空间注意力网络(DSANet)、多尺度上下文融合网络(MSCFNet)以及轻量级双边非对称残差网络(LBARNet)相比,AAFNet平均分割精度最高。

融合场景深度估计和视觉传达的复杂光照图像虚拟重建

复杂光照图像虚拟中受到光照强度不均衡性影响导致重建效果不好,为了提高复杂光照图像虚拟重建效果,提出基于融合场景深度估计和视觉传达的复杂光照图像虚拟重建方法。针对不同场景深度混频光照的相互干扰采用相关匹配降噪方法实现图像降噪处理,以光照图像低亮度区域内亮度值中位数作为场景深度的参考值,采用全局特性和局部细节特征拟合的方法实现对复杂光照图像的场景深度检测和视觉跟踪拟合,采用HSV空间特征分解方法实现对不同场景中光照图片亮度通道融合处理,提取场景物体边缘、纹理等细节信息,根据场景深度检测和全局对比度融合下的视觉传达效果实现复杂光照图像虚拟重建。测试结果得知,采用该方法进行复杂光照图像虚拟重建的视觉表达能力较好,重建后的图像细节展示能力较强,能准确重建暗区域内隐藏的图像信息,两个数据集图像的峰值信噪比较高,均方根误差较低,分别为45.63 dB、53.21 dB和0.366、0.265,且重建时长短,仅为1.5 s,具有较强的重建性能。

融合卷积和注意力机制的车辆行人检测算法

针对复杂场景下的车辆、行人检测困难的问题,提出一种融合卷积和注意力机制的车辆行人检测算法ATDWYOLOX(ATtention DepthWise YOLOX)。在主干网络中采用CSPNeXt,并设计融合卷积和注意力机制的模块ACMBottleneck(Attention Convolution Mix Bottleneck);在特征融合网络中,设计融合深度可分离卷积和注意力机制的网络ATDW-PAFPN(ATtention DepthWise Progressive Asymmetric Feature Pyramid Network);在损失函数中,使用完全交并比(CIoU)和Varifocal Loss。在公开数据集BDD100K上的实验结果表明,所提算法平均检测准确率(mAP)相较于YOLOX提升了2.52个百分点,能较好地完成复杂场景下车辆行人的检测任务。

面向大跨度场景的全景深快速聚焦成像法

非结构化场景在特种行业中作用十分关键,保证其内表面健康检测对装置的安全运行至关重要。但其内表面景深跨度大,极易引起常规相机成像时的景深不足或景深误匹配,致使聚焦模糊,影响表面缺陷检测效果。因此,本文提出了基于极值搜索算法的聚焦跟踪曲线快速构造法,并实现了相机的快速高清成像。首先,建立了聚焦跟踪曲线的基本构造方法;其次,提出了极值搜索算法,简化曲线构造过程;最后,设计基于A/B标定板的单/多聚焦跟踪曲线构造方式,并分析其对成像清晰度的影响。结果表明,本算法在准确聚焦的同时,有效减少了图像采集次数且将聚焦速度提高了34.8%。基于多聚焦跟踪曲线的全景深成像,其图像客观评价指标均值提高了10.35%。可实现100~1 000 mm景深跨度下0.5 mm裂纹的清晰分辨。因此,该方法能为常规相机的非结构化场景中高清全景深成像提供解决方案。

基于真实场景的情绪识别研究

情绪识别研究从实验室环境推进到无约束的真实场景中时面临很多问题。真实场景中不受限制的个体活动和复杂环境使面部图像、语音等单一模态的数据无法可靠获取,并且在真实场景中人们自发的情绪更加微妙,表达强度不大,导致识别难度增加。因此,为了更加稳健地识别真实场景中的个体情绪,针对个体活动的特点,设计了特征提取网络充分挖掘面部、骨架、姿态及场景等多模态数据中的情绪信息进行相互补充;同时,关注不同数据间的联系,设计了特征融合模块融合多种特征。网络在具有挑战性的公共空间真实场景的PLPS-E数据集上取得了最佳识别性能,VAD维度情绪识别准确率达到了74.62%、79.15%、87.94%;网络在相对简单的真实场景FABE数据集上也达到了相当的性能,维度V的识别准确率达到了98.39%。实验表明了算法的有效性。

基于多任务深度卷积网络的雾天能见度测量

为了解决高速公路在能见度监测时存在能见度仪器成本高,部署密度不够,小尺度团雾检测困难等问题,提出一种基于多任务深度卷积网络的能见度测量算法.参照大气散射模型,构造多任务卷积神经网络,分别估算图像透射率、大气光和图像场景深度,并根据能见度检测原理求解大气消光系数,获取图像能见度.实验分析表明,该文算法比传统方法准确率提高4%以上,与能见度仪测量值对比平均误差小于10%,能够满足实际要求,且适用场景更广.

基于人体和场景上下文的多人3D姿态估计

深度歧义是单帧图像多人3D姿态估计面临的重要挑战,提取图像上下文对缓解深度歧义极具潜力.自顶向下方法大多基于人体检测建模关键点关系,人体包围框粒度粗背景噪声占比较大,极易导致关键点偏移或误匹配,还将影响基于人体尺度因子估计绝对深度的可靠性.自底向上的方法直接检出图像中的人体关键点再逐一恢复3D人体姿态.虽然能够显式获取场景上下文,但在相对深度估计方面处于劣势.提出新的双分支网络,自顶向下分支基于关键点区域提议提取人体上下文,自底向上分支基于三维空间提取场景上下文.提出带噪声抑制的人体上下文提取方法,通过建模“关键点区域提议”描述人体目标,建模姿态关联的动态稀疏关键点关系剔除弱连接减少噪声传播.提出从鸟瞰视角提取场景上下文的方法,通过建模图像深度特征并映射鸟瞰平面获得三维空间人体位置布局;设计人体和场景上下文融合网络预测人体绝对深度.在公开数据集MuPoTS-3D和Human3.6M上的实验结果表明:与同类先进模型相比,所提模型HSC-Pose的相对和绝对3D关键点位置精度至少提高2.2%和0.5%;平均根关键点位置误差至少降低4.2 mm.

基于无监督深度学习的图像拼接实验设计与实现

在智能交通、虚拟现实和遥感监控等图像应用领域,通过图像拼接可将多个摄像头获取的图像进行宽视野整体呈现。针对当前数字图像处理和模式识别等电子信息类专业课程缺少图像拼接相关的教学案例以及大视差图像拼接时存在伪影、失真等问题,给出一种基于景深-彩色图像融合的无监督深度学习图像拼接方法。采用彩色图像对应的景深图进行图像融合,计算单应性变换获得粗略对齐的图像,以低分辨率分支和高分辨率对齐分支获得精细对齐的图像,使用通道注意力和扩张卷积提升拼接效果。在不同数据集及多个场景下测试了视差图像拼接的效果,验证了该方法在真实场景下进行大视差图像拼接及多摄像头图像拼接的有效性。

结合深度图和红通道最小强度先验的水下图像复原

针对水下图像雾化、模糊等问题,提出结合深度图和红通道最小强度先验的水下图像复原变分方法.基于完整的水下成像模型,首先设计了一种自适应加权融合亮度、梯度及色差等信息的场景深度估计方法,计算3个通道的透射率;然后根据前向散射分量建立变分模型的数据项,对拟复原图像引入红通道最小强度先验作为变分能量方程规则项,借助图像金字塔,采用粗尺度到细尺度逐步优化策略进行模糊核估计;最后利用交替方向乘子法迭代求解,解决变分模型带来的非光滑优化问题.在UIEB数据集上进行了定性和定量实验,通过UCIQE,FADE和CPBD客观评价指标对比,结果表明,所提方法的评价结果比经典方法平均分别提升15%以上,复原后的图像具有更高的清晰度和更丰富的边缘信息.

基于局部对齐单目视频深度的三维场景重建

单目深度估计方法在各种场景下已经取得了较强的鲁棒性,该类方法通常预测尺度偏移量未知的不变仿射深度而非度量深度,因为收集大规模的不变仿射深度训练数据比收集度量深度训练数据容易得多。然而,在某些基于视频的应用场景中,例如视频深度估计和三维场景重建,每帧预测的深度中存在的未知比例和偏移量值可能会导致预测的深度不一致。为了解决该问题,我们提出了一种基于局部加权线性回归的方法,通过利用稀疏锚点恢复深度的尺度图和偏移量图,以保证连续帧之间的一致性。大量的实验表明,我们的方法可以在几个零样本基准上显著降低现有技术方法的Rel误差(相对误差)。此外,我们收集了630万张RGBD图像对来训练鲁棒的深度模型。通过局部恢复尺度和偏移量,我们的ResNet50-backbone模型性能甚至超过了最先进的DPT ViT-Large模型。与基于几何的重建方法相结合,我们提出了一种新的稠密三维场景重建流程,既能受益于稀疏点的尺度一致性,又能受益于单目深度估计方法的鲁棒性。通过对视频的每一帧依次预测深度图,我们可以重建出准确的三维场景几何信息。

自适应融合RGB图像特征的稀疏深度修复

深度修复的目的是从稀疏深度图像中恢复出稠密的深度图像。现有方法通常是以稀疏深度图像及其对应的RGB图像为输入,通过1个卷积神经网络恢复出密集深度图像。然而,普通的卷积层在处理稀疏且不规则的深度信息时有较大的局限性,同时,RGB图像特征和深度图像特征属于不同的模态。针对这些问题,文章提出了自适应稀疏不变模块,根据输入像素的有效性来处理稀疏深度,并提出了结合注意力机制的多尺度特征融合模块,在关注有效特征的同时,抑制不必要的特征,进一步提高深度修复性能。文章在NYUv2数据集上进行了一系列实验,实验结果表明了所提出算法和模块的有效性。

基于雾线和颜色衰减先验的图像去雾方法

针对现有图像去雾方法易产生的颜色过饱和、细节丢失、伪影等问题,提出了一种基于雾线和颜色衰减先验的去雾方法。首先,利用雾线先验和霍夫投票估计大气光。然后,根据颜色衰减先验建立关于场景深度的非线性模型,获取准确的透射率。最后,通过对大气散射模型进行反向求解去除图像中的雾霾干扰,获得细节丰富的去雾图像。在RESIDE公共数据集上进行了实验,并与多种现有方法进行了比较。实验结果表明,所提方法可有效去除图像中的雾霾干扰,获得清晰自然的去雾图像,且其时间和空间效率均优于其他方法。

快速跟踪分割辅助的动态SLAM

目前,同时定位与地图构建(SLAM)技术在真实环境中的应用仍受多种因素制约,室内环境中的动态对象干扰就是其中一个亟待解决的问题。提出一种基于ORB-SLAM3并以实例分割网络为辅助的视觉SLAM系统,该系统将分割任务置于后端,在前端结合RGB-D相机输入和核相关滤波(KCF)算法对后端检测到的语义信息进行跟踪传递,并且使用语义信息在贝叶斯概率框架中追踪关键点的运动状态。与目前基于检测或分割的方法相比,该系统使用更为轻量化的方案来分割和跟踪场景中的运动对象,并在贝叶斯滤波模型的进一步辅助下,既实现了准确的动态干扰滤除,又优化了卷积神经网络(CNN)预处理导致的系统运行实时性问题。在TUM RGB-D数据集上的实验表明,该系统能以约16 fps的速度取得较高的定位精度,相较于ORB-SLAM3平均领先78.56%,相较于DynaSLAM平均领先11.85%。

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。

基于数字图像法对路面构造深度的方法研究

针对传统铺砂法计算路面构造深度效率低、激光断面法成本高及数字图像法准确性低等问题,提出了一种基于数字图像处理技术评价路面构造深度的方法,使用实景建模软件对多张数字图像进行三维建模,通过空三运算将路面影像生成包含路面三维坐标信息的点云数据,利用矩阵数值计算手段对点云数据进行矫正处理,计算路面构造深度数值并进行路面三维显示,最后通过铺砂法试验验证了该方法的可行性,最大误差仅为4.8%。

基于边缘辅助极线Transformer的多视角场景重建

基于深度学习的多视角立体几何(MVS)旨在通过多个视图重建出稠密的3维场景。然而现有的方法通常设计复杂的2D网络模块来学习代价体聚合的跨视角可见性,忽略了跨视角2维上下文特征在3D深度方向的一致性假设。此外,基于多阶段的深度推断方法仍需要较高的深度采样率,并且在静态或预先设定的范围内采样深度值,容易在物体边界以及光照遮挡等区域产生错误的深度推断。为了缓解这些问题,该文提出一种基于边缘辅助极线Transformer的密集深度推断模型。与现有工作相比,具体改进如下:将深度回归转换为多深度值分类进行求解,在有限的深度采样率和GPU占用下保证了推断精度;设计一种极线Transformer模块提高跨视角代价体聚合的可靠性,并引入边缘检测分支约束边缘特征在极线方向的一致性;为了提高弱纹理区域的精度,设计了基于概率成本体积的动态深度范围采样机制。与主流的方法在公开的数据集上进行了综合对比,实验结果表明所提模型能够在有限的显存占用下重建出稠密准确的3D场景。特别地,相比于Cas-MVSNet,所提模型的显存占用降低了35%,深度采样率降低约50%,DTU数据集的综合误差从0.355降低至0.325。

基于金字塔分割注意力网络的单目深度估计方法

针对目前单目图像在深度估计中依然存在边缘以及深度最大区域预测不准确的问题,提出了一种基于金字塔分割注意力网络的单目深度估计方法(PS-Net)。首先,PS-Net以边界引导和场景聚合网络(BS-Net)为基础,引入金字塔分割注意力(PSA)模块处理多尺度特征的空间信息并且有效建立多尺度通道注意力间的长期依赖关系,从而提取深度梯度变化剧烈的边界和深度最大的区域;然后,使用Mish函数作为解码器中的激活函数,以进一步提升网络的性能;最后,在NYUD v2(New York University Depth dataset v2)和iBims-1(independent Benchmark images and matched scans v1)数据集上进行训练评估。iBims-1数据集上的实验结果显示,所提网络在衡量定向深度误差(DDE)方面与BS-Net相比减小了1.42个百分点,正确预测深度像素的比例达到81.69%。以上表明所提网络在深度预测上具有较高的准确性。

结合自适应双透射率和景深变化的去雾方法

为了解决单幅图像去雾算法透射率估计不准确和复原结果偏色等问题,提出一种结合景深变化的自适应双透射率去雾方法。首先,将有雾图像从RGB颜色空间转换到Lab颜色空间,对亮度分量作形态学处理和滤波操作,并结合最大值通道估计出大气光。其次,利用有雾图像的高斯-对数映射实现对无雾图像暗通道的估计,并根据不等式关系得到无雾图像的亮通道,然后估计出双透射率。最后,结合深度图与透射率之间的关系,构建双透射率联合优化的自适应透射率函数,并结合大气散射模型恢复出无雾图像。实验表明,所提方法复原结果颜色自然、去雾彻底、细节信息丰富,且具有较高的视觉对比度。同时,在不同场景中均可获得较好的去雾效果,有效解决了透射率估计不准确和偏色问题。

基于动态语义特征的视觉SLAM系统

针对视觉SLAM(Simultaneous Localization and Mapping)在真实场景下出现动态物体(如行人,车辆、动物)等影响算法定位和建图精确性的问题,基于ORB-SLAM3(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping 3)提出了YOLOv3-ORB-SLAM3算法。该算法在ORB-SLAM3的基础上增加了语义线程,采用动态和静态场景特征提取双线程机制:语义线程使用YOLOv3对场景中动态物体进行语义识别目标检测,同时对提取的动态区域特征点进行离群点剔除;跟踪线程通过ORB特征提取场景区域特征,结合语义信息获得静态场景特征送入后端,从而消除动态场景对系统的干扰,提升视觉SLAM算法定位精度。利用TUM(Technical University of Munich)数据集验证,结果表明YOLOv3-ORB-SLAM3算法在单目模式下动态序列相比ORB-SLAM3算法ATE(Average Treatment Effect)指标下降30%左右,RGB-D(Red,Green and Blue-Depth)模式下动态序列ATE指标下降10%,静态序列未有明显下降。