图像级高光谱影像高分辨率特征网络分类方法

基于深度学习的高光谱影像分类方法通常将高光谱影像切分为局部方块作为模型的输入,这不但限制了长距离空-谱信息关联的获取,还带来了大量额外的计算开销。以全局图像作为输入的图像级分类方法能够有效避免这些缺陷,然而,现有的基于全卷积神经网络特征串行流动模式的图像级分类方法在信息恢复时的细节损失会导致分类精度低、分类图视觉效果差等问题。因此,本文提出一种基于HRNet的图像级高光谱影像快速分类方法,在全程保持高分辨率特征的基础上对影像的多重分辨率特征进行并行计算与交叉融合,从而缓解了传统特征串行流动模式造成的信息损失问题。同时,提出多分辨率特征联合监督和投票分类策略,进一步提升了模型分类性能。利用4组开源高光谱影像数据集对本文方法进行验证,试验结果表明,与现有的先进分类方法相比,本文方法能够取得具有竞争性的分类结果,同时显著减少训练和分类时长,在实际应用时更具时效性。为了保证方法的复现性,笔者将代码开源于https://github.com/sssssyf/fast-image-level-vote。

一种新的基于深度学习的遥感影像变化检测算法——H-BIT方法的提出与应用

对遥感影像变化检测进行了研究,提出了一种融合HRNet与BIT的H-BIT方法,能兼顾遥感影像高分辨率与高语义特征,在场景复杂、目标尺度跨度大时表现优异。该方法经HRNet网络、词元分析器处理后,引入Transformer,通过注意力机制,能从更大的感受野解译变化结果。在LEVIR-CD数据集上进行了实验,结果表明H-BIT方法能完整提取目标,对目标边缘的处理更平滑,变化检测的精确率、召回度、F1得分和总体精度分别为86.95%、90.24%、87.93%和96.62%,均高于原始BIT算法的表现,说明该方法能适应多尺度目标与复杂场景,变化检测精度高、计算速度快、鲁棒性高、泛化性强。

基于高分辨率网络和图卷积网络的三维人体重建模型

针对单目图像重建人体时出现的头部姿态翻转和图像特征间隐式空间线索缺失的问题,提出了一种基于高分辨率网络(HRNet)和图卷积网络(GCN)的三维人体重建模型。首先利用HRNet和残差块作为主干网络从原始图像中提取丰富的人体特征信息,然后使用GCN来捕获特征之间隐式的空间线索以获得空间精确的特征表示,最后使用此特征来预测多人线性蒙皮模型(SMPL)的参数以得到更加准确的重建结果;同时为了有效解决人体头部姿态翻转的问题,对SMPL的关节点重新进行了定义,在原有关节的基础上增加对头部关节点的定义。实验结果表明,所提模型能够准确地重建出三维人体,在2D数据集LSP上的重建准确率达到了92.41%,在3D数据集MPI-INF-3DHP上的关节误差和重建误差也大幅降低,平均误差仅分别为97.73 mm和64.63 mm,验证了所提模型在人体重建领域的有效性。

基于高分辨率网络的轻量型人体姿态估计方法

在高分辨率网络(HRNet)的基础上,提出一种融合Ghost卷积的轻量型高分辨率网络(GLHRNet)。首先使用Ghost卷积模块和极化自注意力(PSA)模块在HRNet中构建新的残差块结构,新的残差块结构可以在减少网络模型参数量和计算量的同时,建模高分辨率图像的长距离依赖关系。接着在新网络模型中引入IBN-Net的设计思想,在新网络模型的浅层同时使用批量归一化和实例归一化,为网络模型引入外观不变性,减小光照变化问题对模型的影响。算法在COCO人体姿态估计数据集上的实验结果表明,与HRNet相比新网络模型的参数量降低了36.1%,计算量降低了35.2%,人体姿态估计的平均准确率提高了1.4个百分点。

基于改进RetinaNet的行人检测算法

为提高实际应用场景中行人的检测精度,提出了使用高分辨率特征提取网络HRNet(high-resolution representation network)并引入Guided Anchoring机制对RetinaNet算法进行改进,维持了特征图在特征提取过程中的高分辨率信息,同时使网络中的锚框自适应生成,提高了算法的检测精度。结果表明:该改进算法在Caltech行人数据集上取得了0.905的平均精度均值(mean average precision,mAP),相比于标准的RetinaNet算法提高了6.0%,在每帧图像尺寸为1280×720像素的视频上检测速度达到了19 FPS(FPS为每秒检测帧数),达到了检测精度与检测速度的均衡。

二维人体姿态估计研究进展

人体姿态估计一直是计算机视觉领域的研究热点,随着人体姿态估计方法的性能和精度不断提升,目前可以广泛应用于人机交互、智能监控和人体活动分析等领域。人体姿态估计属于强应用相关的研究领域,现有研究成果均不同程度地涉及方法、模型和应用层面,亟待对其进行系统性归纳和总结。文中综述了大量二维人体姿态估计的研究成果,以供研究人员参考。具体包括:单人和多人姿态估计方法,基于ResNet,Hourglass和HRNet的姿态估计模型,以及姿态估计在人机交互和智能监控领域的应用。文中提出的关于移动设备中的人体姿态估计、拥挤场景下的人体姿态估计和装备人群的姿态估计等研究问题和研究思路,是现有研究的良好补充,为研究人员提供了广阔的研究空间。

基于非局部高分辨率网络的人体姿态估计方法

人体姿态估计是计算机视觉中的基础任务,其可应用于动作识别、游戏、动画制作等。受非局部均值方法的启发,设计了非局部高分辨率网络(non-local high-resolution,NLHR),在原始图像1/32分辨率的网络阶段融合非局部网络模块的,使网络有了获取全局特征的能力,从而提高人体姿态估计的准确率。NLHR网络在MPII数据集上训练,在MPII验证集上测试,PCKh@0.5评价标准下的平均准确率为90.5%,超过HRNet基线0.2个百分点;在COCO人体关键点检测数据集上训练,在COCO验证集上测试,平均准确率为76.7%,超过HRNet基线2.3个百分点。通过3组消融实验,验证NLHR网络针对人体姿态估计在精度上能够超过现有的人体姿态估计网络。

基于注意力机制的轻量型人体姿态估计

针对高分辨率人体姿态估计网络存在参数量大、运算复杂度高等问题,提出一种基于高分辨率网络(HRNet)的轻量型沙漏坐标注意力网络(SCANet)用于人体姿态估计。首先引入沙漏(Sandglass)模块和坐标注意力(CoordAttention)模块;然后在此基础上构建了沙漏坐标注意力瓶颈(SCAneck)模块和沙漏坐标注意力基础(SCAblock)模块两种轻量型模块,在降低模型参数量和运算复杂度的同时,获取特征图空间方向的长程依赖和精确位置信息。实验结果显示,在相同图像分辨率和环境配置的情况下,在COCO(Common Objects in COntext)校验集上,SCANet模型与HRNet模型相比参数量降低了52.6%,运算复杂度降低了60.6%;在MPII(Max Planck Institute for Informatics)校验集上,SCANet模型与HRNet模型相比参数量和运算复杂度分别降低了52.6%和61.1%;与常见的人体姿态估计网络如堆叠沙漏网络(Hourglass)、级联金字塔网络(CPN)和SimpleBaseline相比,SCANet模型在拥有更少的参数量与运算复杂度的情况下,仍能实现对人体关键点的高准确度预测。

语义一致性引导的多任务拼接篡改检测

目的 随着数字图像及编辑软件的广泛应用,伪造图像层出不穷,对新闻传播、法律取证等行业造成了影响。拼接伪造是一种常见的伪造方式,这种伪造方式往往会向原始图像中添加新的对象,导致原始图像语义受到改变、曲解。现有很多基于卷积神经网络的篡改检测方法都更关注篡改痕迹的特征提取,但忽略了伪造图像中的语义不一致。针对拼接伪造中原始图像发生的语义变化,提出了一种以篡改检测为主任务,语义分割和噪声重建为辅助任务的多分辨率全卷积神经网络。方法 通过多任务策略将语义分割和噪声重建作为辅助任务。语义分割任务旨在捕捉拼接伪造图像过程中产生的语义不一致现象,噪声重建任务允许网络获得更全面的图像噪声分布。为了使网络获取更全面、准确的特征,网络中的RGB流、噪声流和融合模块都使用多分辨率思想从多个分辨率上提取处理不同形状和大小的拼接对象。结果 本文与其他几种先进的篡改检测网络和基于HRNet(high-resolution network)的基线网络进行了对比实验,在Fantastic Reality和Spliced Dataset两个数据集中,本文方法均取得了最优性能,F1分数分别为0.946和0.961。对JPEG(joint photographic experts group)压缩、亮度调节、对比度调节和添加噪声进行鲁棒性实验,结果表明,本文方法针对常见的图像后处理手段具有良好的鲁棒性。结论 提出的语义一致性引导的多任务多分辨率拼接篡改检测网络检测更加准确,具有良好的鲁棒性,拓展了数字图像取证研究新思路。

多分辨率特征注意力融合行人再识别

目的行人再识别是实现跨摄像头识别同一行人的关键技术,面临外观、光照、姿态、背景等问题,其中区别行人个体差异的核心是行人整体和局部特征的表征。为了高效地表征行人,提出一种多分辨率特征注意力融合的行人再识别方法。方法借助注意力机制,基于主干网络HRNet(high-resolution network),通过交错卷积构建4个不同的分支来抽取多分辨率行人图像特征,既对行人不同粒度特征进行抽取,也对不同分支特征进行交互,对行人进行高效的特征表示。结果在Market1501、CUHK03以及Duke MTMC-ReID这3个数据集上验证了所提方法的有效性,rank1分别达到95. 3%、72. 8%、90. 5%,mAP(mean average precision)分别达到89. 2%、70. 4%、81. 5%。在Market1501与Duke MTMC-ReID两个数据集上实验结果超越了当前最好表现。结论本文方法着重提升网络提取特征的能力,得到强有力的特征表示,可用于行人再识别、图像分类和目标检测等与特征提取相关的计算机视觉任务,显著提升行人再识别的准确性。