用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

基于全局特征地图的由粗到细点云配准算法

针对现有点云配准算法在非重复扫描式激光雷达上存在精度低、鲁棒性差、通用性差等问题,提出一种基于全局特征地图的由粗到细点云配准算法(CTF-ICP),并实现非重复扫描式激光雷达里程计。该算法利用高斯分布表征局部点云分布,构建全局特征地图。配准阶段包含粗配准和精配准。首先,采用正态分布变换在连续点云帧之间实现帧到帧的粗配准;然后,根据粗配准的结果将当前点云映射到全局特征地图,并将对应位置的全局特征协方差矩阵的特征值进行归一化,实现帧到地图的精配准;最后,将该文算法与其他常用的配准算法进行对比实验。实验结果表明:该文算法能够较好地适应非重复扫描式激光雷达,配准精度和速度比常用的配准算法都有明显提升;同时,消融实验证明了由粗到细的点云配准算法以及全局特征地图的有效性。

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道⁃空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。

基于空间关系聚合与全局特征注入的视觉问答模型

现有视觉问答模型缺乏视觉对象间关系的理解能力,导致复杂问题的答案预测准确率较差;针对该问题,提出了一种基于空间关系聚合与全局特征注入的视觉问答模型。该模型首先利用空间关系聚合视觉区域特征,将其转换为视觉全局特征,并将这些特征注入网络;然后引入双边门控机制进行特征融合,使模型能够根据不同的问题输入,自适应地调整视觉全局特征和视觉区域特征对答案预测的贡献度;最后将融合特征输入分类网络,得到预测结果。在VQA 2.0和GQA公开数据集上进行实验,结果表明:该模型在VQA2.0的测试-开发集、测试-标准集和GQA的数据集上的总准确率分别达到71.12%、71.54%和57.71%,优于MCAN和SCAVQAN等主流模型。该模型由于引入了具有空间关系的视觉全局特征,能够更好地提升视觉对象间关系的理解能力,有效提高了视觉问答模型的准确率。

基于自适应增殖数据增强与全局特征融合的小目标行人检测

针对当前规模的小目标行人数据集较少,传统行人检测模型对小目标检测效果较差的问题,提出一种基于消隐点性质,提出自适应增殖数据增强和全局上下文特征融合的小目标行人检测方法.利用射影几何与消隐点的性质,对图像中的多个目标进行复制;通过仿射变换投影到新的位置,生成多个大小与背景合理的小目标样本以完成数据增强.利用跨阶段局部网络与轻量化操作改进沙漏结构,融合坐标注意力机制强化骨干网络.设计全局特征融合颈部网络(GFF-neck),以融合全局特征.实验表明,在经过数据增强后的WiderPerson数据集上,改进算法对行人类别的检测AP值达到了79.6%,在VOC数据集上mAP值达到了80.2%.测试结果表明,当搭建实验测试系统进行实景测试时,所提算法有效提升了小目标行人检测识别精度,并满足实时性要求.

集成局部和全局特征的舰船图像检索算法

面对现有船舶图像检索存在的“语义鸿沟”问题,导致无法满足用户实际检索需求,研究集成局部和全局特征的船舶图像检索算法,实现不同条件下的船舶图像检索。通过颜色矩方法提取船舶图像全局颜色特征;通过块截断量化编码理念,采用模糊C-均值聚类算法将船舶图像分割成子块,构建子块的二值位图,表示图像局部颜色特征;结合小波变换提取船舶图像纹理特征;求解待检索船舶图像与数据库中船舶图像的各特征相似度,获取总相似度,选取总相似度最大图像作为图像检索输出结果。实验结果表明:该算法可有效提取船舶图像纹理特征;尺度变化、光照变化、旋转条件下的船舶图像检索性能较好,平均匹配率97.94%,平均匹配时间为11.9 ms,检索速度快,操作简单,能够满足用户实时性检索需要。

基于全局特征点匹配的全局定位方法

针对传统全局定位方法存在对传感器要求多、计算量大的问题,提出了一种基于全局特征点匹配的移动机器人定位方法。该方法采用普通2D雷达作为传感器,在机器人建立全局地图的过程中同步地提取全局特征点,在全局定位算法中,通过建立局部地图和提取局部地图特征点,实时将局部地图特征点和全局地图特征点进行匹配后求解全局位姿。在两个数据集上的测试,结果优于蒙特卡罗自适应定位(adaptive Monte Carlo localization,AMCL)和Cartographer的全局定位效果,运算速度更快。结果表明,与已有的方法相比,该全局定位方法能够更快地完成全局定位和有效减少计算资源的消耗。

顾及全局特征和纹理特征的遥感影像超分辨率重建方法

由于遥感设备的性能限制,使得采集的遥感影像质量受到影响,低分辨率的遥感影像限制了遥感解译应用的精度。当前针对遥感影像的超分辨率重建研究仍然存在重建后的遥感影像地物全局信息和纹理细节不足的问题。因此,本文提出顾及全局特征和纹理特征的遥感影像超分辨率重建方法,该方法利用生成对抗网络的特征学习能力,并对模型全局和纹理进行增强。一方面,地物全局特征增强部分用于解决当前研究中超分辨率重建模型对低分辨率遥感影像中全局遥感地物信息没有重视和利用的问题。在生成网络中引入自注意力模块,以获取全局地物注意力图的方式将遥感影像中相距较远的地物信息作为重建过程的参考。另一方面,遥感影像纹理增强部分用于解决超分辨率重建模型中超分辨率影像纹理信息不足的问题。本文方法引入纹理损失以优化生成网络参数并增强超分辨率重建后影像中的纹理信息。另外,为避免重建结果中的“伪影”现象,研究采用权值归一化代替批量归一化方法。试验结果表明,本文方法在遥感影像超分辨率重建过程中能增强遥感地物特征,同时可以实现地物的纹理细节精细化恢复,而且超分辨率重建结果的图像质量评价指标SSIM、FSIM和PSNR值分别达到了0.756、0.595和26.005。

基于局部和全局特征的点云对应关系构建

点云对应关系的构建,即在两个点云模型之间构建一个映射关系,是点云配准中的关键步骤。目前大多数点云对应关系构建都是基于点云的局部特征,没有考虑到三维场景上的人类视觉系统特征。因此提出基于局部和全局特征融合的点云特征检测来构建对应关系的方法,该点云特征检测方法能够有效的提取出点云在视觉上的显著几何区域,通过在这些区域能构建一个比较可靠的稀疏对应关系,从而为后续的稠密对应关系构建提供良好的前置条件。经过实验结果验证,本文方法在人体点云模型上能取得较好的对应关系结果。

基于局部和全局特征的深度伪造检测方法

近几年深度伪造技术已经能够生成高质量的虚假图像或视频,应用于娱乐的同时也对其他安全方面带来了严重威胁.尽管现有的检测方法在一些数据集上取得了较高的准确性,但跨数据集测试时有效性大幅度降低.针对这一问题,提出了基于局部和全局特征相结合的深度伪造检测方法.该方法通过多尺度Transformer模块从不同尺寸的图像块中提取全局信息,并使用EfficientNet网络结合注意力机制提取图像局部特征,最终根据提取的局部特征和全局特征对深度伪造人脸进行分类.实验结果表明,在FaceForensics++数据集上检测准确率达到了96.78%,在Celeb-DF和DFDC数据集上测试的结果分别达到了77.3%、73.32%.该方法可以挖掘伪造人脸中更多的局部和全局伪影,在不同数据集之间具有一定的泛化性.

基于多维全局特征融合的移动机器人地形识别

为提高移动机器人对复杂作业场景的适应性,提出了一种基于多维全局特征融合的移动机器人地形识别方法。利用IMU传感器获取四轮移动机器人在不同地形的运动信息,采用哈希编码算法提取六通道加速度和角速度信息的全局特征,结合随机森林分类器对水泥、木板、砖石、草地和砂石路面地形进行了识别。实验结果表明,本方法可提高地形识别准确率,实现对五种地形环境的识别。

基于局部细化多分支与全局特征共享的无监督行人重识别方法

无监督行人重识别因其在真实监控场景中具备良好的可扩展性而备受关注。现有的无监督行人重识别方法主要通过基础骨干网络获取粗略的全局特征来训练网络,很少利用局部细化分支与全局特征共享来形成更具有鉴别性的特征描述符。本文提出一种基于局部细化多分支与全局特征共享的特征提取网络,该网络融合了粗略的全局特征和局部细化分支中的细腻特征来获取行人多样化的特征表达。另外,为了提升分支网络对潜在关键区域信息的捕获能力,在分支操作前放置通道细化信息融合的注意力块来增强网络对行人特征的关注力度,执行细化特征的专注学习。通过在Market-1501、DukeMTMC-reID和MSMT17数据集上的实验结果验证了所提方法的有效性,平均精度(mAP)分别提升了4.4%、3.2%、6.4%,其中在Market-1501数据集上的平均精度达到了83.3%。

结合局部特征及全局特征的显著性检测

针对目前大多数显著性检测方法中采用背景种子以及局部区域对比度显著性检测模型的缺点,本文提出了一种综合考虑局部特征以及全局特征的显著性检测算法。在对图像进行分割之后,算法首先融合了采用多特征方式生成的背景显著图与采用前景区域对比度方式生成的前景显著图,之后使用高斯滤波器对融合后的结果进行优化形成局部特征显著图。其次,在局部特征显著图的基础上提取多种特征的样本集合进行训练,从而得到全局特征显著图。算法最后将第一步生成的局部特征显著图与全局特征显著图进行结合生成最终的显著图。实验部分验证了算法各部分的有效性,并且在3个公开数据集上对文章方法与近年来优秀的显著性检测算法进行了对比,实验结果显示,本文算法在CSSD数据集上的准确率、召回率以及F-measure分别达到了0.837 5、0.743 4和0.813 7,在其它数据集上也有良好表现。实验表明,本文算法能够有效抑制背景区域,并且高亮前景区域,更好地检测出显著目标。

融合局部与全局特征的人体动作识别

根据视频特征来识别人体行为是一个具有广泛应用的重要研究课题。提出了一种鲁棒性强,抗噪性能优的人体运动目标检测方法和一种简单高效的多信息融合的混合行为特征表示方法和相应的识别算法。该混合行为特征具有简单、鲁棒和判别能力强的特点,它融合了基于中心距的时空兴趣点局部特征和基于曲率函数的傅里叶描述子全局特征,利用泛化能力较强的随机森林模型进行快速分类。实验结果表明,该方法具有简单、快速和高效的特点。

多核学习融合局部和全局特征的人脸识别算法

提出一种基于词袋模型的新的人脸识别算法.该方法将词袋模型和词袋模型的全局模式分别作为人脸图像的局部特征和全局特征描述,最后使用多核学习方法将二者进行融合.AR、FERET、CMU PIE以及LFW公开人脸数据库上的实验结果表明,本文方法能够更好的解决小样本问题,并且对人脸的表情变化、姿态变化以及面部遮挡具有更优良的鲁棒性.

结合全局特征的命名实体属性值抽取

关注非结构化文本中命名实体属性值的抽取问题.当前主流有监督属性值抽取方法仅使用局部特征,抽取效果有限,开展了利用文本全局特征改善属性值抽取的研究.通过适用于中文属性值抽取的全局特征,用局部特征以外的有价值信息提高抽取效果.据此,提出结合全局特征的感知机学习算法,该算法能够方便地融合文本全局特征,并将全局特征和局部特征统一结合到模型学习过程中,使模型具有更好的特征表示能力.实验结果表明,所提出方法的整体抽取效果高于仅使用局部特征的CRF模型和平均感知机模型.该方法适用于开放领域的属性值获取,具有较好的泛化能力.

融合局部特征和全局特征的手指静脉识别方法

手指静脉识别是利用人体手指静脉结构的唯一性实现个体身份认证,具有高度安全和使用便捷等优点。为了进一步提高手指静脉识别系统的性能,提出了一种融合局部特征和全局特征的手指静脉识别方法。应用局部二元模式方法提取手指静脉局部特征,利用海明距离计算匹配得分;应用双向两维主成分分析方法提取手指静脉全局特征,利用欧式距离计算匹配得分;在得分级上融合二者的匹配得分以产生识别结果。实验结果表明,局部特征与全局特征具有较好的互补性,有效地提高了识别精度。

基于SURF和全局特征融合的图像分类研究

针对SURF对图像局部特征具有极好的描述能力,但对于全局特征描述能力不强的缺点,提出将SURF和全局颜色特征相融合的图像分类算法,提取图像的SURF特征向量集,并利用随机直方图算法将该向量集进行数据归约成单一高维特征向量;提取图像HSV颜色直方图;分别利用支持向量机(SVM)对这两种特征进行分类;将两个分类结果进行高层特征融合得到最终分类结果。实验结果表明,该算法显著提高了图像分类的准确率。

基于全局特征拼接的行人重识别算法研究

针对目前行人重识别出现网络模型复杂化、识别率低的问题,提出一种基于全局特征拼接的行人重识别算法。首先利用卷积神经网络(CNN)提取全局特征;然后把不同卷积层提取的特征进行拼接,使特征信息互补;最后将拼接后的特征再次进行卷积处理,获得高表征能力的特征。网络训练时,采用聚类损失函数和标签平滑损失函数联合训练,同时引入了随机擦除和减小池化步长的训练技巧。在Market1501、DukeMTMC-reID、CUHK03和MSMT17数据集上进行了实验验证,实验表明所提算法具有良好性能,其中在Market1501上,Rank-1、mAP分别达到了95.9%和94.6%。

融合局部聚合描述符和全局特征的现勘图像分类算法

针对低层特征对图像内容描述不够精确而导致现勘图像分类准确率不高的不足,提出一种融合局部聚合描述符(vector of locally aggregated descriptors,VLAD)和全局特征的现勘图像分类算法。首先,分别提取HSV颜色直方图和局部二值模式(local binary pattern,LBP)特征作为图像全局特征;然后,对现勘图像进行密集采样,提取每个子区域的尺度不变特征变换(scale-invariant feature transform,SIFT)特征,利用VLAD方法对提取的密集SIFT特征进行编码;最后,将全局特征和VLAD特征融合,并采用直方图相交核函数的支持向量机(support vector machine,SVM)进行分类。针对现勘5K、轮胎5K和Corel-1K数据集,比较提出算法与基于低层特征、基于词袋模型、基于空间金字塔模型特征分类方法的性能。结果表明:提出的算法分类精度优于对比算法。