基于自监督学习的葡萄实例去重叠遮挡算法

传统随机遮挡算法在合成葡萄遮挡图像时会导致合成数据失真,易使葡萄遮挡预测失效。因此,提出一种适用于葡萄遮挡预测的遮挡数据合成方法,并进一步提出基于自监督学习的葡萄实例去遮挡预测算法。在数据合成阶段,该算法采用接近式遮挡策略取代随机遮挡方式用于将完整葡萄实例合成为不同的被遮挡实例,并在合成过程前通过一系列预处理机制来控制互为遮挡的葡萄实例尺寸,从而保证合成的遮挡葡萄符合真实情形,不存在失真问题;随后,将遮挡预测过程拆分为掩码重构与语义填充2个部分,并挑选对应的合成数据分别用于训练基于通用Unet的掩码重构网络和语义填充网络。为了克服因实例分割截取尺寸限制而无法预测完整实例的问题,该算法在数据合成阶段充分考虑被遮挡实例与遮挡者实例,并提出对应的重构和填充函数;在遮挡预测阶段,基于开源架构训练的Pointrend实例分割网络以及所提出的掩码重构网络和语义填充网络被依次用来完成对被遮挡葡萄的预测。在遮挡估计数据集上进行实验,结果表明,该算法预测的遮挡葡萄掩码与真实标注间的交并比(IoU)值达到81.16%,高于其他对比方法,表明所提合成算法与重构框架能够用于葡萄遮挡预测任务。

基于深度学习的三维人脸重建抗遮挡网络

对人脸单遮挡模型和人脸多遮挡模型进行了研究,提出了一种基于深度学习的三维人脸重建抗遮挡网络,实现了对遮挡人脸的有效重建。改进的单遮挡模型通过预训练和权重的修改有效地实现了人脸图像上下文信息的捕获。改进的多遮挡模型通过特征扭曲和变换,使用分布的损失函数和不同的微分器得出重建的人脸图像。实验结果表明,提出的方法能够在多种遮挡情况下生成更为准确的三维人脸模型,具有更好的鲁棒性和抗遮挡能力。

建筑间遮挡对光伏发电系统输出功率影响的研究

城市建筑屋顶的光伏发电利用潜力与其遮挡条件密切相关。因此,仅根据太阳辐照度评估城市建筑屋顶光伏发电利用潜力,未考虑城市建筑之间的相互遮挡因素,会导致一些情景下的评估结果偏大。为了准确评估城市建筑屋顶光伏发电利用潜力,采用建筑相对朝向、容积面积比及建筑群垂直和水平分布这3个城市形态参数作为预测变量,采用3D建筑模型进行实验,模拟不同形态建筑遮挡,获得多组有效实验数据,对城市不同形态建筑间的遮挡系数进行了量化分析;借助数据统计分析软件SPSS对多组实验数据完成统计分析后,建立了建筑群预测遮挡统计模型,并以长沙市某小区为例对该统计模型的适用性进行了验证,预测了该小区不同情景下的建筑屋顶光伏发电利用潜力。结果显示:利用该统计模型可得到被遮挡建筑的阴影遮挡水平,从而能更好地利用建筑屋顶光伏发电。研究结果提供了一种量化城市屋顶光伏组件遮挡系数的方法,对实现光伏建筑一体化和可持续城市发展有推进作用,可在城市区域建筑规划阶段模拟和预测屋顶遮挡情况。

基于分割和多级掩膜学习的遮挡人脸识别方法

现有的人脸识别方法无法有效消除遮挡造成的损坏特征的影响,随着网络层数加深,损坏特征与用于身份分类的有效特征变得难以分离,影响识别结果。针对上述问题,设计了一种基于分割和多级掩膜学习策略的遮挡人脸识别方法,模型由遮挡检测分割、特征提取、掩膜学习单元三大模块构成,无需依赖额外的遮挡检测器,且无论训练还是测试都只需要一次端到端的过程即可同时学习特征掩膜和深度抗遮挡特征。掩膜学习单元以不同尺寸的遮挡分割表示和不同阶段的人脸特征为输入,为特征提取的不同阶段生成对应的掩膜,通过掩膜运算在特征提取的各阶段有效消除遮挡造成的损坏特征的影响,最终构建特征金字塔融合各阶段特征进行身份分类。实验结果表明该方法可有效提高遮挡人脸识别的准确率,在经过遮挡处理的LFW数据集以及真实的口罩遮挡数据集MFR2、Mask_whn上的准确率分别达到了98.77%、96.70%、81.53%,与现有的主流方法相比分别提升了2.04、0.48、4.44个百分点。

基于红外相机和毫米波雷达融合的烟雾遮挡无人驾驶车辆目标检测与跟踪

战场环境下无人驾驶车辆的感知系统易受烟雾、扬尘等天气的影响,对关键目标的检测与跟踪能力大大下降,造成目标漏检、目标误检、目标丢失等严重后果。针对该问题,开发毫米波雷达和红外相机融合系统,采用目标级融合方式建立简洁有效的融合规则,提炼和组合各传感器的优势信息,最终输出稳定的目标感知结果。对毫米波雷达的目标进行有效性检验和提取,并提出改进的基于密度的含噪声空间聚类应用算法,以减少毫米波雷达噪音干扰。以YOLOv4网络为基础,引入MobileNetv2主干网络,在网络训练过程中运用迁移学习方法,同时对红外数据样本进行扩充,解决了红外图像训练样本少的问题。试验结果表明,相较于仅基于红外相机的算法,融合检测算法在烟雾环境下的精度显著提升,且算法实时性高,实现了烟雾环境下毫米波雷达与红外相机融合的目标检测与跟踪,提高了无人驾驶车辆目标检测与跟踪系统的抗烟雾干扰能力。

远距离和遮挡下三维目标检测算法研究

针对现有三维目标检测算法对存在遮挡及距离较远目标检测效果差的问题,以基于点云的三维目标检测算法(3D object proposal generation and detection from point cloud,PointRCNN)为基础,对网络进行改进,提高三维目标检测精度。对区域生成网络(region proposal network,RPN)获取的提议区域(region of interest,ROI)体素化处理,同时构建不同尺度的区域金字塔来捕获更加广泛的兴趣点;加入点云Transformer模块来增强对网格中心点局部特征的学习;在网络中加入球查询半径预测模块,使得模型可以根据点云密度自适应调整球查询的范围。最后,对所提算法的有效性进行了试验验证,在KITTI数据集下对模型的性能进行评估测试,同时设计相应的消融试验验证模型中各模块的有效性。

姿态引导与特征增强结合的遮挡行人重识别

为解决现有遮挡行人重识别方法只注重于引入外部信息而忽略特征增强的问题,提出一种姿态引导与特征增强结合的遮挡行人重识别方法。将小步幅的滑动窗口引入VIT(Vision-Transformer),使网络获取局部的细微特征,将特征经过遮挡消除模块,消除遮挡带来的干扰;在模型中融入人体姿态估计网络,辅助模型解决遮挡带来的语义信息缺失问题;通过CBN模块提高模型的学习能力,使模型学习到更多高级语义信息。在遮挡行人重识别主流数据集Occluded-DukeMTMC上达到69.8%的Rank-1准确率以及63.2%的mAP,优于现有的其它方法,在整体行人重识别数据集上也取得了具有竞争力的结果。

红外地面目标智能抗遮挡跟踪算法研究

针对背景遮挡导致红外地面目标跟踪失败的问题,提出了一种基于改进轨迹预测网络的红外地面目标抗遮挡跟踪器。提出了遮挡判断准则,准确判断红外地面目标的遮挡情况;改进BiTrap轨迹预测网络,一方面通过孪生网络结构引入速度信息,采用单向预测的方法,提出了SiamTrap轨迹预测网络,提高了轨迹预测的精度;另一方面,通过改进训练方法和应用方法,可以更准确地预测地面目标的轨迹。对于短期遮挡,利用SiamTrap网络基于时间上下文信息预测目标遮挡位置。对于长期遮挡,提出了搜索扩展策略来处理真实目标信息缺乏导致的预测误差积累。提出了“二次判定”准则,实现了目标的精确捕获和正常跟踪。在含有遮挡的红外目标跟踪序列上对算法进行了对比测试。与基准跟踪器相比,文中所提算法在OPE评价指标下,成功率和准确率分别提高了5.2%和5.9%。这表明文中算法在应对红外地面目标被遮挡情况下具有良好的鲁棒性。

低轨倾斜轨道卫星太阳电池阵防遮挡设计与分析

低轨倾斜轨道卫星轨道面光照角周期变化,太阳电池阵受照情况复杂,其输出电流呈现波动。为此,文章分析卫星各种工况下的本体遮挡面积,结合太阳电池阵遮挡工作特性分析及阴影遮挡试验结果,开展太阳电池阵防阴影遮挡设计,并采用投影法进行卫星本体遮挡影响分析。结果表明:卫星本体遮挡时,电流损失预计值与在轨遥测电流损失值基本一致,分析误差小于2%。上述分析结果可为卫星复杂遮挡工况下电源系统能量平衡设计提供参考。

基于关键区域遮挡与重建的人脸表情识别

为了解决自然场景下人脸表情识别任务中的无用信息干扰和遮挡对识别性能的影响问题,提出一种基于关键区域遮挡与重建的人脸表情识别模型。利用多尺度特征提取网络,提取人脸图像的全局特征。根据68个人脸关键点划分出68个关键区域,并通过插值法提取68个关键区域的特征,同时采用注意力机制学习关键区域特征之间的先验关系。设计自监督的遮挡与重建模块,对关键区域特征进行随机遮挡,并利用已知区域信息来预测和重建被遮挡区域的特征,从而提高模型在自然场景下的表情识别性能。设计多个实验验证了该模型的泛化能力,并通过消融实验验证了模型中每个模块的有效性。实验结果表明,该模型在真实世界的情感面孔数据集(RAF-DB)和Occlusion-RAF-DB数据集上分别达到了88.44%和86.09%的识别准确率,相比于视觉Transformer(Vi T)等模型有效地提升了自然场景下人脸表情识别的性能。

基于上下文提取与注意力融合的遮挡服装图像分割

针对遮挡服装图像分割准确率低的问题,提出一种融合上下文提取与注意力机制的遮挡服装图像实例分割方法。以Mask R-CNN为基础网络,首先采用上下文提取模块优化ResNet的输出特征,通过融合不同速率的多路径特征从多个感受野中捕获图像的上下文信息,强化遮挡服装特征表示的识别及提取能力;然后引入通道注意力机制与空间注意力机制的残差连接,自适应地专注于捕捉遮挡服装图像的空间和通道维度上的语义相互依赖关系,降低上下文提取模块在处理特征图时因冗余的上下文关系扩大造成误定位与误识别的概率;最后,采用目标检测损失函数CIoU计算原理作为非极大值抑制的评判标准,关注预测框和真实框的重叠与非重叠区域,最大程度地选择遮挡服装的最优目标框,使预测框更加贴近真实框。结果表明,与其它方法相比,改进方法显著改善了不同遮挡程度服装图像的误分割现象,能提取出更精确的服装实例,其对遮挡服装图像的平均分割精度比原模型提升了4.4%。

抗遮挡的行人多目标跟踪算法

为了解决在复杂场景下行人相互遮挡导致跟踪系统精度降低的问题,提出了基于FairMOT的抗遮挡多目标跟踪算法(multiple obeject tracking algorithm with anti-occlusions,AOMOT)。首先通过轻量化平衡模块,解耦不同层次的语义信息,减少检测任务和重识别任务的语义冲突,降低重识别任务的性能提升对检测任务的影响。其次应用自注意力结构提取行人的外观特征,加强局部窗口下的类内特征的区分度,增强行人身份信息的匹配一致性并减少身份标识的频繁切换。最后优化身份关联算法,挖掘低置信度目标中的被遮挡对象,将其重新纳入目标身份关联并更新其重识别特征。实验结果表明,AOMOT相比原有FairMOT在MOT17数据集中高阶跟踪精度提升1.5百分点,身份F1分数提升3百分点,身份切换数量降低32%。

城市道路场景下的被遮挡车辆检测算法研究

为了提高智能汽车在城市道路场景下对前方被遮挡车辆的检测精度,提出了一种双尺度点云密度扩展网络BPDE-Net,来解决因存在车辆被遮挡而导致的目标点云稀疏问题。第一阶段,将原始点云投影到语义分割后的图像标签上,并在遮挡区域内随机生成固定数目的虚拟点,采用混合插值法来关联虚拟点和实际投影点,得到的虚拟点再反向映射到点云空间;第二阶段,使用马氏距离来关联相邻体素间的点云,以此增加每个体素内的相似点云数量,通过改进注意力高斯矩阵来计算体素特征所对应的相对位置编码,用于关注通道内不同体素序列的相对位置。在KITTI数据集中选取了大量的车辆之间存在遮挡的城市道路场景进行对比试验,结果表明:BPDE-Net在3D视角和鸟瞰图视角下的被遮挡车辆平均检测精度(mAP)分别为79.2%和83.7%,相较于基线网络Second分别提高了11.2%和12.5%;点云密度增强模块和体素特征融合模块的mAP相较于目前主流的方法分别提高了3.9%与1.8%,提升了车辆在被遮挡场景下的可辨识度与鲁棒性。

基于改进Gabor算法的遮挡人脸智能识别方法

为提高有遮挡人脸的识别精度,提出基于改进Gabor算法的遮挡人脸智能识别方法。首先,对人脸图像动态范围压缩,并选择反锐化掩模滤波算法展开图像增强处理;其次,利用Gabor滤波器对信息保留较完整、亮度较高的半边脸进行特征提取;最后将提取到的Gabor特征输入到极限学习机中完成遮挡人脸的智能识别。实验结果表明,所提方法对处理遮挡人脸图像具有良好的效果,且其对人脸图像识别具有精准度高、识别时间短等优点。

遮挡条件下多视角甜椒果实点云三维重构方法

为进行表型原位自动化测量,实现甜椒数字化育种和管理,针对原位果实表型测量中的目标遮挡问题,提出一种多视角甜椒果实点云的三维重构方法。通过虚拟叶片的方法,创建增强数据集,建立基于YOLO v5算法的甜椒果实识别模型,实现对不同遮挡程度果实的识别,同时,构建考虑果实位置与遮挡程度的果实表型采集算法,实现多视角的果实三维数据采集。最后,配准甜椒果实三维点云,提取甜椒表型参数,并通过温室甜椒果实表型,对点云重构方法的有效性进行验证。相较手动测量数据,果实果宽平均相对误差为1.72%,果高平均相对误差为1.60%。试验结果表明,本文所提出的甜椒原位表型点云重构方法,可为遮挡条件下作物表型提供有效的解决思路和可行方法。

基于YOLO-DCL的复杂环境油茶果遮挡检测与计数研究

为解决复杂环境中油茶果因遮挡造成的检测与计数难题,提出了一种基于双主干网络(Dual-backbone)和连续注意力特征融合模块(Consecutive attention feature fusion,CAFF)的检测模型。该模型结合了两种不同主干网络的优势,实现了对不同特征的高效提取。此外,设计了双输入单输出的连续注意力特征融合模块,取代了传统的拼接操作(Concat),优化了多尺度特征信息的融合策略。为了在精度与模型内存占用量之间取得平衡,采用了幻影卷积模块(Ghostconv),并去除了空间金字塔池化层(Spatial pyramid pooling fast,SPPF),加快了训练速度,减少了参数量。改进后的YOLO-DCL(YOLO dual-backbone&consecutive attention feature fusion&lightweight)模型在各类遮挡检测任务上表现优秀,平均精度均值达到92.7%,精确率为90.7%,召回率为84.9%,而模型内存占用量仅为5.7 MB。相较YOLO v8n模型分别上升4.0、8.6、2.3个百分点,内存占用量下降9.5%。该模型还具备油茶果遮挡类别的自动计数功能,可降低人工统计的劳动成本,适合在野外复杂环境中部署应用。

基于姿态引导特征增强的遮挡行人重识别

为解决遮挡行人重识别在特征提取过程中的特征丢失、特征匹配过程中的噪声干扰问题,提出了一种姿态引导的特征增强模型。首先,在关键点信息的辅助下,设计一种对称区域特征修复模块,将被遮挡区域丢失的局部特征替换为未遮挡区域的局部特征;其次,为挖掘局部特征的内在语义联系,设计一种相邻区域特征补偿模块,通过相邻区域特征修正局部特征表示;最后,通过引入广义均值池化对特征图的中心区域再次进行特征提取,提升行人特征向量的表达能力,以获得更加准确的全局特征。仿真实验表明,该模型在常见的全身数据集、半身数据集和遮挡数据集的Rank-1和mAP均优于绝大部分算法,其中在遮挡数据集Occluded-Duke、Occluded-REID上的Rank-1分别达到了56.7%和72.4%。

基于稠密连接的通道混合式PCANet的低分辨率有遮挡人脸识别

针对低分辨率有遮挡人脸识别问题提出了基于稠密连接的通道混合式主成分分析网络(DCH-PCANet)。现有的PCANet模型的卷积层只使用了通道无关式卷积(CIC)。通道无关式卷积由于未考虑特征图在通道方向上的相关性,可以更好地凸显单个特征图的局部纹理特征,对于补偿因低分辨率、遮挡等因素导致的特征损失具有重要意义,但也会强化遮挡区域的特征,从而放大坏特征的影响范围;而通道相关式卷积(CDC)由于充分考虑了各特征图在通道方向上的相关性,可以较好地抑制坏特征的作用,形成较为稀疏的特征图。在PCANet中添加了基于通道相关式卷积的特征图提取分支,形成了通道混合式PCANet;并且引入了稠密连接,以充分利用低阶特征提升有遮挡图像识别的鲁棒性。针对如下4种数据集进行了实验:受控环境、真实遮挡和模拟低分辨率的人脸数据集(AR人脸数据集),非受控环境、真实遮挡和模拟低分辨率的人脸数据集(MFR2和PKUMasked-Face),非受控环境、真实遮挡和真实低分辨率的人脸数据集(自建数据集)。实验结果表明,与现有方法相比,所提出的基于稠密连接的通道混合式PCANet具更好的遮挡鲁棒性和低分辨率鲁棒性,可以作为前沿方法的有效补充,提升其识别性能。

基于光流与多尺度上下文的图像序列运动遮挡检测

针对非刚性运动和大位移场景下运动遮挡检测的准确性与鲁棒性问题,提出一种基于光流与多尺度上下文的图像序列运动遮挡检测方法.首先,设计基于扩张卷积的多尺度上下文信息聚合网络,通过图像序列多尺度上下文信息获取更大范围的图像特征;然后,采用特征金字塔构建基于多尺度上下文与光流的端到端运动遮挡检测网络模型,利用光流优化非刚性运动和大位移区域的运动检测遮挡信息;最后,构造基于运动边缘的网络模型训练损失函数,获取准确的运动遮挡边界.分别采用MPI-Sintel和KITTI测试数据集对所提方法与现有的代表性方法进行实验对比与分析.实验结果表明,所提方法能够有效提高运动遮挡检测的准确性和鲁棒性,尤其在非刚性运动和大位移等困难场景下具有更好的遮挡检测鲁棒性.

联合关键点数据增强和结构先验的遮挡人体姿态估计

人体姿态估计技术在许多领域都有着重要的应用。现有研究主要聚焦于无遮挡情况下的人体关键点精确定位,却忽略了人像采集过程中普遍存在的遮挡问题。针对此问题,提出了一个基于关键点数据增强的人体姿态估计方法。具体地,数据增强策略以训练图像中人体可见关键点为中心,生成特定数量和大小的遮挡区域,模拟人体关键点受遮挡时的场景,提升网络模型对遮挡场景下关键点预测的鲁棒性。为了提高模型对被遮挡关键点与相邻关键点间关联性的感知,进一步设计基于人体结构先验知识的损失函数,根据人体真实结构构建相邻关键点连接关系,约束预测的关键点坐标范围,从而提升被遮挡关键点的坐标精度。在OCHuman测试集和COCO验证集上的预测结果表明,相比于基准网络模型,该方法在不增加网络参数的情况下能够提升遮挡场景中的人体姿态估计性能。