对比约束下的非局部关联单图像去反光级联算法

图像中存在的反光不但显著降低了图像质量,而且严重影响了后续的计算机视觉任务。因此,提出了一种对比约束下的非局部关联单图像去反光级联算法NCRR,该算法通过LSTM传递跨级联信息的双支路方式,利用反光特征和背景特征相互补充信息并迭代细化预测精度,使2条支路的预测效果相互促进。为了便于多个级联步骤的训练,提出了一种正负对比的正则化损失,将背景图像和原图像的特征分别作为正、负样本,确保目标图像在表示空间中拉近背景图像,推远原图像,缩小预测范围,较好地缓解不适定性问题。此外,提出了一种高效、计算量少的非局部关联预测模块,它能获取十字交叉路径上所有像素的上下文信息。通过进一步级联操作,使每个像素捕获整幅图像长距离的依赖关系,能利用周围像素点信息来预测被强反光遮挡的背景信息。实验结果表明,本文算法能够有效去除玻璃的强反光,并且玻璃去反光的评估结果都超过了其他对比算法,具有较好的鲁棒性。

目标跟踪中基于IoU和中心点距离预测的尺度估计

通过分析基于交并比(Intersection over union,IoU)预测的尺度估计模型的梯度更新过程,发现其在训练和推理过程仅将IoU作为度量,缺乏对预测框和真实目标框中心点距离的约束,导致外观模型更新过程中模板受到污染,前景和背景分类时定位出现偏差.基于此发现,构建了一种结合IoU和中心点距离的新度量NDIoU(Normalization distance IoU),在此基础上提出一种新的尺度估计方法,并将其嵌入判别式跟踪框架.即在训练阶段以NDIoU为标签,设计了具有中心点距离约束的损失函数监督网络的学习,在线推理期间通过最大化NDIoU微调目标尺度,以帮助外观模型更新时获得更加准确的样本.在七个数据集上与相关主流方法进行对比,所提方法的综合性能优于所有对比算法.特别是在GOT-10k数据集上,所提方法的AO、SR_(0.50)和SR_(0.75)三个指标达到了65.4%、78.7%和53.4%,分别超过基线模型4.3%、7.0%和4.2%.

基于未知类别少样本学习的开放世界目标定位

开放世界目标识别中未知类别样本难以获取,这些样本无法有效参与训练,针对这个问题,提出基于未知类别少样本学习的开放世界目标定位方法。首先,利用伪标签生成模型,将背景区域中高目标性得分的目标区域标记为伪标签,为模型学习未知类提供少量样本,增强模型对未知类别的泛化能力;其次,设计两个分支共同学习目标特征,其一为目标性分支,其二为定位质量分支。前者专注于确定目标框内是否存在目标,后者则集中于评估目标框的质量,从目标存在性和目标定位质量两个维度提取和理解目标特征。同时,目标性分支联合训练真实标签与伪标签样本增强对未知类别的识别能力,定位质量分支通过学习高质量的真实标签样本并排除伪标签样本,以减少噪声干扰。最后在COCO数据集上对该方法进行有效性评估,结果显示,与其他方法相比,所提方法具有较为出色的检测性能。

基于高低频特征增强的图像去雾

图像去雾是典型的不适定问题,编解码网络是常用的去雾网络架构,编解码网络由编码器、解码器和连接两者的特征转换器构成。已有去雾算法生成的去雾图像通常质量较低,存在局部细节去雾不彻底、颜色失真或引入噪声等问题。针对基于编解码网络的去雾算法在设计特征转换器时没有充分利用小尺度特征、解码阶段仅利用对应层编码特征的问题,提出一种基于高低频特征增强的去雾算法。在特征转换阶段,设计扩张残差组件并组成上下文聚合网络,充分利用大感受野的低分辨率特征,提取特征图远距离相关性,增强低频小尺度特征。设计基于通道注意力的多级特征重用网络,实现浅层高频特征的重利用,同时深度融合解码重建特征,增强视觉感知特征的恢复。在编码阶段构建视觉特性感知模块,利用残差块在局部建模方面的优势增强浅层丰富的高频视觉特征。实验结果表明,与AOD-Net、PFF-Net等去雾算法相比,该算法的PSNR和SSIM指标均有明显优势,在室内合成数据集SOTS和室外真实数据集Dense-Haze上,所提算法的PSNR和SSIM分别高出性能次优算法0.77 dB、0.000 7和0.40 dB、0.037 1。

二阶段锚框和类均衡损失的遥感图像目标检测

由于现有遥感图像数据集中不同类别目标的数量差异大,数据集中存在类别分布不平衡问题,影响网络模型对少数类别的检测精度。针对以上问题,提出了二阶段锚框和类均衡损失的遥感图像目标检测算法。通过K-means聚类生成遥感数据集的类平衡标签,再将得到的类平衡标签作为第二阶段K-means聚类的初始中心,生成的预设锚框能够兼顾少数类别尺度,提高少数类别实例的检测精度。同时构建类别平衡损失(CEQL),在平衡损失(EQL)的基础上,采用有效样本构建辅助权重,提高模型在训练过程中对少数类别的关注度。实验表明,改进后模型的平均准确率均值、少数类别平均准确率分别达到76.13%和76.51%,对比基准网络分别提高了1.56%和1.75%。在DOIR和NWPUVHR-10数据集上,与主流方法Faster-RCNN,RetinaNet,CenterNet,YOLOv4,YOLOX-L,YOLOv5及YOLOv7等进行了对比,实验表明改进后的算法能够在保证多数类别检测精度的基础上,有效提高了少数类别的检测精度。

结合跨视角特征关联的三维物体重建

基于深度学习的多视图三维物体重建各个视角之间的特征往往相互独立、缺乏关联性.并且可用的三维信息难以融合,导致无法重建出具有细节特征和结构完整性的单个物体,为此,提出一种端到端的结合跨视角特征关联的三维物体重建算法.首先,在重建的编码部分构造跨视角关联模块,通过计算不同视角像素点之间的相关性,使每个视角都携带其它视角的特征信息,同时利用多尺度信息有效地聚合具有不同感受域和全局上下文特征,再构造视角信息注意力增强模块,增强视角内目标物体各部分特征的关联;其次,在三维解码部分,提出三维体素融合模块,通过选择性融合各视角中目标物体的高精度部分,使重建物体具有更多的细节.本文方法在合成数据集ShapeNet上和真实世界数据集Pix3D上的实验结果表明,与当前最先进的方法相比,重建效果有较明显提升.

飞行技术专业“飞行力学”课程教学模式探索

飞行技术专业是一个典型的跨学科综合应用型专业,“飞行力学”作为飞行技术专业的一门重要专业基础课,其理论性、技术性较强。由于课程内容繁多、概念抽象且学时有限,传统的教学模式容易导致学生缺乏学习兴趣,教学目标完成度低。本文提出一种“以问题为指导,以项目为导向,以综合考核为手段”的新型教学改革模式,旨在建成一套完整可行的“飞行力学”实践教学平台以及多元化的考核评价体系。教学实践结果表明,新的教学模式可提升飞行技术专业学生的学业水平、实践能力及综合素质。

基于感知监督和多层次特征融合的去雾算法

现有图像去雾方法在网络训练时没有考虑去雾后的图像是否满足人类视觉感知;其次以编解码结构为主要结构的去雾网络,不可避免丢失细节信息,去雾后的图像存在纹理模糊、颜色失真等问题。针对上述问题,提出了一个基于感知监督和多层次特征融合的图像去雾网络。在网络结构中设计了不同层次的特征融合模块。在编码阶段设计分辨率层次特征复用与融合模块,更好地提取不同尺度下表达能力更强的特征,为重建高质量图像提供更多细节信息;特征转换阶段设计空间上下文层次特征提取与融合模块,提取与融合不同感受野的空间上下文的特征,以提供更加精准的图像结构信息;解码阶段设计自适应特征融合模块,自适应地融合下采样阶段生成的不同分辨率层次的特征及特征转换阶段输出的不同空间上下文层次的特征;其次在训练阶段的损失函数中引入感知损失和多尺度结构相似度损失,引导网络学习更多的视觉感知属性。与当前主流方法相比较,该方法在定量和定性指标得到明显提升的同时提高了对去雾图像的视觉效果。实验结果表明在RESIDE合成数据集以及真实有雾图像上取得显著的去雾效果。

从单幅透视线图建立平面立体的模型

提出了一种基于直线解释平面立体透视投影线图的新方法。采用一种新的方法表示空间直线坐标 ,根据画出隐藏线的透视线图中隐含的约束条件 ,建立线性方程组 ,求解该线性方程组得到平面立体的三维信息。证明了解释平面立体透视投影线图至少有 4个自由度。计算和实验结果证明 ,该方法能很好地恢复平面立体的三维结构 ,研究成果可用于 CAD和计算机视觉系统。

基于小波变换的电能质量扰动信号的检测

为对电能质量进行有效的治理,提高用电效率,有必要对扰动信号进行实时检测和定位。针对当前电力系统存在的电能质量扰动信号中持续时间短、发生随机性大及不容易检测的特点,采用小波变换对电力系统的高频扰动、瞬时脉冲、电压切痕信号进行检测。研究表明,该方法能够精确定位扰动信号产生的时刻和持续的时间,证实了该法的准确性和优越性。

结合语义和多层特征融合的行人检测

遮挡及背景中相似物干扰是行人检测准确率较低的主要原因.针对该问题,提出一种结合语义和多层特征融合(Combining semantics with multi-level feature fusion,CSMFF)的行人检测算法.首先,融合多个卷积层特征,并在融合层上添加语义分割,得到的语义特征与相应的卷积层连接作为行人位置的先验信息,增强行人和背景的辨别性.然后,在初步回归的基础上构建行人二次检测模块(Pedestrian secondary detection module,PSDM),进一步排除误检物体.实验结果表明,所提算法在数据集Caltech和CityPersons上漏检率(Miss rate,MR)为7.06%和11.2%.该算法对被遮挡的行人具有强鲁棒性,同时可方便地嵌入到其他检测框架.

基于SIFT特征的多视点云数据配准和拼接算法

针对无特征标志点的大场景多视点云数据,提出了一种新的基于SIFT特征的配准和拼接算法。算法提出了有效纹理图像的概念,并对有效纹理图像进行SIFT特征提取和匹配;然后将提取的SIFT特征点和匹配关系反射到三维点云数据,获取多视点云数据的特征点和匹配关系,完成多视点云数据的拼接。算法在有效纹理图像中提取和匹配特征点,排除了点云数据中孔洞和无效数据的干扰,并且算法只利用较高鲁棒性的特征点对进行拼接,计算简单,匹配精度和效率都得到提高。对室内和室外两个大场景的2个视点数据进行实验,实验结果证明拼接速度和精度都有较大的提高。

基于图像的角度检测系统研究

对基于图像的角度检测系统进行了研究，提出了一种基于图像的多角度交互式检测方法。根据获取的图像特性，交互式地选择检测区域，对检测区域采用中值滤波和Canny算子检测物体的轮廓；提出了一种交互式的边缘点搜索新方法，将经过边缘检测的图像进行轮廓矢量化得到待检物体角度参数，并与给定的设计参数进行比较，判断物体的形状误差。实验结果显示每个角度检测的时间为3～5s。

基于遮挡检测和时空上下文信息的目标跟踪算法

基于时空上下文信息的目标跟踪算法利用目标与背景之间的时空关系,在一定程度上解决静态遮挡问题,但当目标出现较大遮挡或快速运动目标被背景中物体遮挡(动态遮挡)时,仍然会出现跟踪不准确或跟丢的情况.基于此种情况,文中提出基于遮挡检测和时空上下文信息的目标跟踪算法.首先利用首帧图像中压缩后的光照不变颜色特征构造并初始化时空上下文模型.然后利用双向轨迹误差对输入的视频帧进行遮挡情况判断.如果相邻帧间目标区域特征点的双向匹配误差小于给定阈值,说明目标未出现严重遮挡或动态遮挡,可以利用时空上下文模型进行准确跟踪.否则利用文中提出的组合分类器对后续帧进行目标检测,直至重新检测到目标,同时对上下文模型和分类器进行在线更新.在多个视频帧序列上的测试表明,文中算法可以较好地解决复杂场景下较严重的静态遮挡和动态遮挡问题.

基于遮挡检测和多块位置信息融合的分块目标跟踪算法

目标跟踪无法有效判断目标何时被遮挡以及同时配合模板更新.针对这一问题,文中提出基于遮挡检测和多块位置信息融合的分块目标跟踪算法.首先,将目标区域分成4个子块,结合目标整体,利用遮挡具有从局部开始和方向性的特点,计算各分块间相关值的比值,判断目标是否遮挡及遮挡部位.再根据目标是否遮挡,采用不同的更新方式.最后,根据未被遮挡的各个分块位置信息确定最终目标的位置.在数据集上的实验表明,文中算法可以有效判定目标是否存在遮挡,并提升遮挡情况下的跟踪效果.

一种分步的融合时空信息的背景建模

自然场景中的光照突变和树枝、水面等不规则运动是背景建模的主要困难.针对该问题,提出一种分步的融合时域信息和空域信息的背景建模方法.在时域,采用具有光照不变性的颜色空间表征时域信息,并提出对噪声和光照突变具有较好适应性的码字聚类准则和自适应背景更新策略,构造了对噪声和光照突变具有较好适应性的时域信息背景模型.在空域,通过采样将测试序列图像分成两幅子图,而后利用时域模型检测其中一幅子图,并将检测结果作为另一幅子图的先验信息,同时采用马尔科夫随机场(Markov random field,MRF)对其加以约束,最终检测其状态.在多个测试视频序列上的实验结果表明,本文背景模型对于自然场景中的光照突变和不规则运动具有较好的适应性.

采用环形模板的棋盘格角点检测

曝光过度和镜头畸变将分别导致棋盘格角点分离和角点局部区域不对称,现有的角点检测算法难以准确提取棋盘格角点。为此本文提出了一种图像坐标系下基于环形模板的棋盘格角点检测算法。该算法通过分析棋盘格角点附近的灰度分布应满足的对称性和灰度交替性等性质,得出环形模板卷积后的图像应满足的性质。利用该性质来定义并提取棋盘格角点,最后利用局部冗余角点分布的对称性来去除冗余角点,使角点检测更精确从而使提取的角点直接达到亚像素精度。实验结果表明:本文提出的棋盘格角点检测算法在曝光过度,镜头畸变和复杂背景情况下均能取得较好的棋盘格角点检测效果,且运算速度快,误差小。将该算法应用于实际摄像机标定,结果显示重投影误差在0.3个像素以内。

引入分数阶微分的局部高斯分布拟合能量模型

局部高斯分布拟合能量(LGDF)模型缺乏全局信息,对初始轮廓曲线选取较敏感,特别在分割弱边缘和弱纹理区域图像时,容易陷入局部极值,对噪声的鲁棒性不好.针对上述问题,文中提出引入分数阶微分的LGDF模型.在LGDF模型中引入全局的Grümwald-Letnikov(G-L)分数阶梯度拟合项,增强弱边缘和弱纹理区域的梯度信息,提高对初始轮廓曲线和噪声的鲁棒性.采用自适应权重函数确定全局项和局部项的系数,提高对灰度不均匀图像的分割效率和分割精度.根据图像的梯度模值、信息熵和对比度构建自适应分数阶阶次的函数,提高分割效率.理论分析和实验均表明,文中模型可以用于灰度不均匀、弱纹理、弱边缘图像的分割.合成图像和真实图像的实验表明文中模型可以提高图像的分割精度和效率.

基于线性滤波的树结构动态规划立体匹配算法

传统的动态规划立体匹配算法能有效保证匹配精度的同时提高运行速度,但得到的视差深度图会出现明显的条纹现象,同时在图像弱纹理区域以及边缘存在较高的误匹配.针对该问题,提出了一种新的基于线性滤波的树形结构动态规划立体匹配算法.算法首先运用改进的结合颜色和梯度信息参数可调的自适应测度函数构建左右图像的匹配代价,然后以左图像为引导图对构建的匹配代价进行滤波;再运用行列双向树形结构的动态规划算法进行视差全局优化,最后进行视差求精得到最终的视差图.理论分析和实验结果都表明,本文的算法能有效地改善动态规划算法的条纹现象以及弱纹理区域和边缘存在的误匹配.

利用直线参数信息的建筑物灭点检测方法

针对现有的灭点检测方法未充分利用产生灭点的直线的参数信息,导致检测精度较低、计算量较大等问题,提出了一种利用直线参数信息的稳健灭点检测算法。首先采用Canny算子和Hough变换相结合的方法提取出建筑物图像中较长的稀疏直线,通过分析直线的参数信息,对不同方向直线进行聚类,并证明了各方向的直线参数满足线性分布关系;然后利用稳健回归算法建立直线参数的线性模型,并据此去除外点,获得产生有效候选灭点的有效直线束;最后根据有效直线束计算曼哈顿方向的最优灭点。实验结果表明,所提的灭点检测算法应用于规则建筑物图像的摄像机标定时,焦距的平均误差为1.05像素。