面向超分辨率重建的层次间局部特征增强网络

基于卷积神经网络的超分辨率重建模型以单项传播为主,层次越靠后感知信息的能力越微弱,导致层次间局部特征部分丢失,难以实质提升网络的特征表达能力。针对此问题,提出层次间局部特征增强网络。该方法由级联残差模块、层次间特征增强块和特征感知注意力机制组成。级联残差模块通过有效残差连接增加对残差分支信息的利用;层次间特征增强块提取不同深度特征的依赖关系,自适应调整中间层特征权值增强捕获关键信息的能力;特征感知注意力机制采用方向感知和位置判断的方式准确定位和识别感兴趣对象。多项标准数据集的实验结果表明,该方法能改善超分辨率的视觉重建效果,整体性能优于现有方法。

基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别

现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中,主要存在两大挑战:(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息,(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此,该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先,设计了全局抑郁特征局部感知力增强(PLEGDF)模块,用于提取面部局部区域之间的语义相关性信息,促进不同局部区域与抑郁相关的信息之间的交互,从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后,提出了全局-局部语义相关性特征融合(FGLSCF)模块,用于捕捉全局和局部语义信息之间的关联性,实现全局和局部抑郁特征之间的语义一致性描述。最后,在AVEC2013和AVEC2014数据集上,利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99,优于大多数已有的基准模型,证实了该方法的合理性和有效性。

融合全局增强-局部注意特征的表情识别网络

为抑制自然场景下遮挡和姿态变化等因素对人脸表情识别的影响,提出一种融合全局增强-局部注意特征(GE-LA)的表情识别网络。为获取增强的全局上下文信息,构建通道-空间全局特征增强结构,该结构采用通道流模块(CFM)和空间流模块(SFM),分别获取对称多尺度通道语义以及像素级空间语义,并结合两类语义生成全局增强特征;为抽取局部细节特征,将高效通道注意力(ECA)机制改进为通道-空间注意力(CSA)机制,并以此构建局部注意模块(LAM)获取通道和空间高级语义。为提升网络对遮挡、姿态变化等因素的抗干扰能力,设计一种自适应策略实现全局增强特征和局部注意特征的加权融合,并基于自适应融合特征实现表情分类。在自然场景人脸表情数据集RAF-DB和FERPlus上的实验结果表明,提出网络的表情识别率分别为89.82%和89.93%,比基线网络ResNet50分别提高了13.39个百分点和10.62个百分点。与相关方法相比,提出方法降低了遮挡、姿态变化的影响,在自然场景下具有较好的表情识别效果。

联合增强局部最大发生特征和k-KISSME度量学习的行人再识别

行人再识别是一种在监控视频中自动搜索行人的重要技术,该技术包含特征表示和度量学习2部分。有效的特征表示应对光线和视角变化具有鲁棒性,具有判别性的度量学习能够提高行人图像的匹配精度。但是,现有的特征大多都是基于局部特征表示或者全局特征表示,没有很好的集成行人外观的精细细节和整体外观信息且度量学习通常是在线性特征空间进行,不能高效地利用特征空间中的非线性结构。针对该问题,设计了一种增强局部最大发生的有效特征表示(eLOMO)方法,可以实现行人图像精细细节和整体外观信息的融合,满足人类视觉识别机制;并提出一种被核化的KISSME度量学习(k-KISSME)方法,其计算简单、高效,只需要对2个逆协方差矩阵进行估计。此外,为了处理光线和视角变化,应用了Retinex变换和尺度不变纹理描述符。实验表明该方法具有丰富和完整的行人特征表示能力,与现有主流方法相比提高了行人再识别的识别率。

基于关键特征增强机制的3D人脸识别

3D人脸识别是计算机视觉领域的重要组成部分,Pointnet依靠深度学习解决了点云的无序性,实现了3D点云的全局特征提取,但由于点云数据缺乏细节纹理,仅靠全局特征很难实现复杂情况下的人脸识别。针对以上问题,基于Pointnet提出了一种局部特征描述子,用于描述点云局部空间的几何特征,并引入关键特征增强机制,通过特征概率分布增强人脸关键信息,该机制能减少不必要特征对任务的干扰,有效提升模型的准确率。在公共数据集CASIA-3D、Lock3DFace、Bosphorus上进行实验测试,结果表明该方法能很好地应对表情变化、部分遮挡以及头部姿态的干扰,在弱光环境下其准确率高于RP-Net 1.1%,并具有良好的实时性。

基于深度学习的特征增强式安全事故文本实体识别模型研究

为了研究安全事故案例报告中上下文语义指代和复杂领域内容对机器自动识别与抽取信息的性能影响,通过考虑局部特征增强构建了BERT+Multi-CNN+BiGRU+CRF(BMulCBC)模型。BERT负责将非结构化文本转化输入,Multi-CNN和BiGRU负责向量局部特征与序列特征编码,CRF则负责完成准确的实体标签解码。研究结果表明:模型实体识别的精确率、召回率和F 1值分别为65.94%,74.02%,69.75%,在精确率和F 1值上皆优于同类对比模型。研究结果可为安全事故事理图谱推理提供理论支持。

融合有效掩膜和局部增强的遮挡行人重识别

在监控系统中行人经常会被各种障碍物遮挡,使得遮挡行人重识别仍然是一个长期存在的挑战。最近一些基于Transformer和外部语义线索的方法都改善了特征的表示和相关性能,但仍存在表示弱和语义线索不可靠等问题。为解决上述问题,提出了一种基于Transformer的新方法。引入了一种有效的掩膜生成方式,可靠的掩膜可以使模型不依赖外部语义线索并实现自动对齐。提出了一种基于平均注意力分数的序列重建模块,可以更有效地关注前景信息。提出了局部增强模块,获得了更鲁棒的特征表示。比较了所提方法和现有的各种方法在Occluded-Duke,Occluded-ReID,Partial-ReID,Market-1501数据集上的性能。Rank-1准确率分别达到了72.3%、84.8%、86.5%和95.6%,mAP精度分别为62.9%、83.2%、76.4%和89.9%,实验结果表明所提模型性能较其他先进网络有所提升。

基于Transformer与局部特征融合的轨道紧固件缺陷检测方法

为解决传统人工巡检轨道交通线路存在的效率低和有安全隐患等问题,提出一种基于Transformer与局部特征融合的轨道紧固件缺陷检测方法。构建轨道紧固件缺陷检测模型,将Transformer与局部特征模块融合,整合局部信息,进而提取轨道紧固件缺陷特征;同时,采用数据增强的方法对轨道紧固件缺陷样本进行数据扩增,扩充数据集,验证所建模型的检测效果。实验结果表明,相较于传统方法,文章提出的方法在识别轨道紧固件缺失和损坏两类缺陷方面的精度和平均准确率均有所提升,在不同的轨道线路实验环境下也表现出良好的检测效果。

一种基于Transformer模型的特征增强算法及其应用研究

Transformer模型在自动语音识别(ASR)任务中展现出优秀的性能,但在特征提取方面存在两个问题:一是模型集中于全局特征交互信息提取,忽略了其他有用的特征信息,如局部特征交互信息;二是模型对低层特征交互信息的利用不够充分。为了解决这两个问题,提出了卷积线性映射(CMLP)模块以强化局部特征交互,并设计低层特征融合(LF)模块来融合高低层特征。通过整合这些模块,构建了CLformer模型。在两个中文普通话数据集(Aishell-1和HKUST)上进行实验,结果表明,CLformer显著提升了模型性能,在Aishell-1上较基线提高0.3%,在HKUST上提高0.5%。

基于局部增强的跨模态正交特征融合方法

针对传统典型相关分析方法在求解复杂非线性问题时,存在着无法揭示隐藏在高维样本空间中的局部几何结构,且依赖于原始数据分布等问题,提出了一种基于局部增强的正交特征融合方法。该方法首先利用样本间的近邻关系构建低维相关融合特征的局部增强散布,进一步融合投影变换矩阵的正交约束,通过最大化模态间的相关性和最小化模态内的局部散布信息,获得保留数据间重构关系和局部几何结构的低维相关融合特征,采用双模型对目标函数对应的广义特征值问题进行分解,保证了特征向量之间的连贯性。实验结果显示,该方法在小样本、高维数的情况下相较于另外4种对比方法具有更好的识别性能和鲁棒性。

无监督学习全局和局部特征建模的低光照图像增强

在EnlightenGAN的启发下,提出了一种新的基于无监督学习全局和局部特征建模的低光照图像增强网络(Low-light Image Enhancement Network Based on Unsupervised Learning Global and Local Feature Modeling Image Enhancement,GLFMIE)。该网络分为两个阶段:生成网络和判别网络。生成网络包括全局和局部特征建模网络,判别网络包括全局和局部判别网络。在全局特征建模中创新性地引入了Swin-Transformer Block,其移位窗口机制可以以较少的内存消耗对输入图像进行长距离的特征依赖建模,并很好地提取图像颜色、纹理和形状的特征,从而有效地抑制噪声和伪影。在局部特征建模中,设计了一种多尺度图像和特征聚合(Multi-Scale Image and Feature Aggregation,MSIFA)网络,允许在单个U型网内交换来自不同尺度的信息,进一步增强图像特征的表征能力。在多个公共数据集的测试实验中,与已有一些先进低光照图像增强算法相比,该算法均取得了SOTA级别的表现。

基于多尺度局部保持投影的轴承故障特征增强方法

针对轴承故障声发射信号的非线性特性,及易受背景噪声干扰的特点,提出一种多尺度局部保持投影方法。通过小波包分解实现一维信号的多尺度构造,利用近邻图保持信号局部流形信息,通过局部保持投影将信号变换到新的坐标空间下,实现故障特征增强。仿真和实验信号处理结果表明,多尺度局部保持投影方法在轴承故障增强检测中效果显著。

基于局部线性增强嵌入的轴承故障诊断

由于实际采集数据的局部邻域并非位于线性子空间中,传统的局部线性嵌入算法无法出提取显著特征。针对该问题,提出了局部线性增强嵌入(local linear augmentation embedding,LLAE)算法。首先通过高维重构模型挖掘出流形的本质结构;然后将邻域线性增强策略引入到低维目标函数的构造中,通过构造均值和方差模型,获得样本的显著特征。在两个轴承数据集上进行了大量的实验,LLAE算法获得了良好的可视化和聚类效果,识别精度达到了97%以上。这表明LLAE算法能够提取出显著的特征,实现更有效的故障诊断。

基于局部特征分析的LDCT增强算法

针对CT影像灰度动态范围宽、对比度差的问题,提出一种基于局部特征分析的低剂量CT(Low-dose Computed Tomography,LDCT)影像增强算法.算法通过对影像全局和局部统计特征的分析,构造非线性变换函数,实现对活动子块所对应区域的局部动态范围拉伸.选用两组不同采集协议CT影像进行的对比实验表明,算法实现简捷,可有效增强影像中的细部解剖结构,并可较好地抑制LDCT影像中的线性伪影.算法已被用于肺癌计算机辅助诊断系统的预处理过程.

融合边缘增强与非局部模块的遥感图像超分辨率重建生成对抗网络

针对遥感图像成像过程中噪声污染严重,超分辨率重建图像存在目标边缘模糊和伪影等问题,本文提出一种融合边缘增强与非局部模块的遥感图像超分辨率算法(Edge-Enhanced and Non-local Modules Generative Adversarial Net⁃work,ENGAN)。为了使图像细节边缘更清晰,本文融合一种图像边缘增强模块;同时,为进一步扩大模型感受野和增强去除边缘噪声性能,改进边缘增强模块中的Mask分支;此外,引入非局部模块,通过更好地利用图像的内在特征相关性,进一步提升了网络的重建性能。本文在UCAS-AOD和NWPU VHR-10两种遥感图像数据集上进行多个算法的对比实验,结果表明本文提出的方法在多个评价指标上均有所改善。以退化类型Ⅳ为例,本文方法相比深度盲超分辨率退化模型,4倍超分辨率的SSIM提升了0.068,PSNR提升了1.400 dB,RMSE减少了12.5%,且重建后的遥感图像相较于原始图像可以得到更好的地面目标检测结果。

人脸局部特征增强的亲属关系验证方法

亲属关系验证是人脸识别的一个重要分支,可以用于寻找失散亲人、搜寻走失儿童、构建家庭图谱、社交媒体分析等重要场景。父母和孩子的人脸图像之间往往存在较大的差异,如何从人脸中提取到有鉴别力的特征是提高亲属关系验证准确率的关键。因此,提出了一种基于深度学习和人脸局部特征增强的亲属关系验证方法,构建了人脸局部特征增强验证网络(Local Facial Feature Enhancement Verification Net,LFFEV Net),获取用于亲属关系验证的具有强鉴别力的人脸特征表示。LFFEV Net由局部特征注意力网络和残差验证网络两部分组成。局部特征注意力网络提取人脸局部关键特征,将获取的局部关键特征和对应的原始图像一同输入到残差验证网络中获取更具鉴别力的人脸特征,将特征经过融合并结合Family ID信息进行亲属关系验证。算法在公开的亲属关系数据集KinFaceW-Ⅰ和KinFaceW-Ⅱ上进行测试,实验结果表明,所设计的方法在亲属关系验证任务中有较高的识别率。

基于移动增强现实的移动图像局部模糊特征修复方法

为了提高道路监控视频移动图像的检测能力,需要进行局部模糊特征修复,提出基于移动增强现实的移动图像局部模糊特征修复方法。构建道路监控视频移动图像的视觉信息采样模型,采用分块帧点检测方法进行移动图像特征提取和信息配准,在虚拟视觉下进行道路监控移动图像重构,结合模糊信息增强技术进行移动图像的信息增强处理,构建移动图像的多源分布式特征检测模型,采用模糊分布式检测方法进行移动图像的特征优化检测和局部模糊特征修复,采用移动增强现实技术提高图像修复的精度。仿真结果表明,采用该方法进行移动图像局部模糊特征修复的精密度较高,图像的成像质量较好。

基于局部多特征的低分辨率图像纹理增强技术研究

传统纹理图像增强方法存在轮廓模糊问题,导致增强效果较差。针对这些不足,提出基于局部多特征的低分辨率图像纹理增强技术。使用仿射变换方法查看近似平面单应性变化,结合RANSAC算法,匹配低分辨率图像纹理局部多特征点。提取低分辨率图像低频和高频信息,采用插值算法逐点划分低分辨率图像,得到像素点块。从中寻找匹配后最佳匹配块,采用高斯函数抑制重叠区域影像,将所有高频信息块拼接,得到低分辨率图像。将加窗及合成图像矩阵转换成同等大小隶属度矩阵,利用拉伸变化趋势强化轮廓,由此完成图像纹理增强。由实验结果可知,该技术在UMD数据集、UIUC数据集和Brodatz数据集下增强效果较好,能够得到准确完整的图像,有效恢复图像纹理细节。

基于局部方差的数字媒体图像模糊增强方法

数字媒体图像的增强,受到图像特征提取算法的影响,导致增强处理后图像熵值较低。因此,提出基于局部方差的数字媒体图像模糊增强方法。运用粗糙集理论处理数字媒体图像,去除图像内噪声。依托于局部方差技术结合变差函数,设计局部方差特征提取算法。通过变换图像模糊域映射图像纹理特征,再利用隶属度函数实现图像自适应模糊增强处理。实验结果表明:所提出的增强方法应用效果与CTGT方法、TFPSO方法相比,图像熵值提升了26.72%和23.63%。

基于多尺度正交PCA-LPP流形学习算法的故障特征增强方法

针对齿轮箱故障声发射信号特征增强问题,提出一种多尺度正交PCA-LPP非线性流形学习特征增强方法,兼顾PCA的全局方差增大变换特性以及LPP的局部非线性特征保持特性,并通过正交化消除投影分量间的冗余信息,使处理之后的齿轮箱故障信号内含的故障特征得到增强,一方面增强后信号包络谱中的故障谱线清晰明显,另一方面增强后信号以小波包能量熵为特征量,故障类型的辨识率显著提高,可以达到93.75%。