基于增强局部特征的水下目标检测

海洋工程的日常任务经常会利用水下航行器来探测水下环境,针对水下复杂环境采集的图像目标容易出现局部特征信息丢失,导致漏检、检测精度低的问题,提出基于增强局部特征的水下目标检测方法。在主干网络采用Faster Block增强图像特征提取能力;利用归一化注意力模块抑制不显著的特征信息来提高网络的效率;构建集中特征增强金字塔池化模块增强对水下复杂背景下目标局部特征信息的捕获能力;改进损失函数提高网络模型对水下图像目标预测效果。实验结果表明,该方法平均精度相较于原模型提升了1.5百分点,网络推理速度为36.4,能够有效地提升水下目标的检测精度。

面向超分辨率重建的层次间局部特征增强网络

基于卷积神经网络的超分辨率重建模型以单项传播为主,层次越靠后感知信息的能力越微弱,导致层次间局部特征部分丢失,难以实质提升网络的特征表达能力。针对此问题,提出层次间局部特征增强网络。该方法由级联残差模块、层次间特征增强块和特征感知注意力机制组成。级联残差模块通过有效残差连接增加对残差分支信息的利用;层次间特征增强块提取不同深度特征的依赖关系,自适应调整中间层特征权值增强捕获关键信息的能力;特征感知注意力机制采用方向感知和位置判断的方式准确定位和识别感兴趣对象。多项标准数据集的实验结果表明,该方法能改善超分辨率的视觉重建效果,整体性能优于现有方法。

单幅图像局部特征分层模糊挖掘算法仿真

为了能够深入获得图像纹理特征信息,提高后续数据识别精准度。因此,提出了单幅图像局部特征分层模糊挖掘算法。通过直方图均衡化方法,将图像中灰度值集中到对应灰度等级区域。由不均匀分布向均匀分布状态转换,拓展像素的灰度动态范围。分析图像局部特征复杂度与差异度,求出相邻模板灰度等级,得到局部复杂性和差异度矩阵,采用Laplace算法对图像局部特征推荐分类,根据推荐级别分层模糊挖掘所选特征,以此实现对单幅图像的局部特征分层模糊挖掘。通过实验证明,所提算法可准确挖掘出图像特征,不同层级纹理信息都完整,且挖掘时间保持在0.25s内。

多尺度局部特征和Transformer全局学习融合的发动机剩余寿命预测

飞机发动机剩余寿命(Remaining useful life,RUL)的准确预测对确保其安全性和可靠性至关重要.在基于多传感器检测数据预测时,需解决局部特征提取问题以全面捕捉设备在不同时间尺度下的退化趋势,并需解决时间序列中各元素之间长期依赖性的全局学习问题.因此,提出了结合多尺度局部特征增强单元(Multi-sacle local feature enhancement unit,MSLFU_BLOCK)和Transformer编码器的预测模型,称之为MS_Transformer.MSLFU_BLOCK利用堆叠的因果卷积逐层从时间序列数据中提取多尺度局部信息,同时避免了传统卷积计算中固有的未来数据泄漏问题.随后,Transformer编码器通过其自注意机制进一步捕获时间序列数据中的短期和长期依赖关系.通过将多尺度局部特征增强单元与Transformer编码器相结合,提出的MS_Transformer全面捕捉了时间序列数据中的局部和全局模式.在广泛使用的CMAPSS基准数据集上进行的消融和预测实验验证了模型的合理性和有效性.与13个先进预测模型的比较分析表明,MS_Transformer模型在操作条件更复杂的FD002和FD004数据集上的RMSE和Score指标优于其他模型,同时在四个数据集上的平均性能最优.该研究为发动机剩余寿命预测提供了更为可靠的解决方案.

集成全局局部特征交互与角动量机制的端到端多目标跟踪算法

针对多目标跟踪(MOT)算法性能对于检测准确度和数据关联策略的依赖性问题,该文提出一种新的端到端算法。在检测方面,首先基于特征金字塔网络,提出空间残差特征金字塔模块(SRFPN),以提升特征融合和信息传递的效率。随后,引入全局局部特征交互模块(GLFIM)来平衡局部细节和全局上下文信息,增强多尺度特征的专注度,提高模型对目标尺度变化的适应性。在关联方面,引入角动量机制(AMM),充分考虑目标运动方向,以提升连续帧之间目标匹配的精确性。在MOT17和UAVDT数据集上进行实验验证,所提跟踪器的检测性能和关联性能均显著提升,并且在目标遮挡、尺度变化和杂乱背景等复杂场景下表现出良好的鲁棒性。

利用局部特征匹配的运动小目标光流估计

基于深度光流估计的动态背景运动小目标检测,为了保证小目标的检测性能,一般采用较少的下采样次数以维持较高的分辨率,但由此带来了较大的计算耗时。特征匹配是深度光流估计的一个核心处理环节,其耗时在光流估计整体耗时中的占比较大,且对下采样次数非常敏感。据此,提出一种基于局部特征匹配的快速光流估计算法:引入目标运动信息,缩小特征匹配的空间范围,减少待处理的数据量;设计分块局部匹配策略,引入批处理机制,避免出现逐点局部匹配策略数据处理耗时过大问题,实现算法加速。在此基础上,在光流估计获取的光流场上,采用CenterNet网络检测运动目标对应的光流异常区域。从光流估计耗时、检测精度等方面开展了实验验证,结果表明:针对运动小目标检测,分块特征匹配光流估计比全局特征匹配光流估计耗时减少约25%,目标检测性能相当。

局部特征引导标签平滑与优化的井下弱特征人员重识别

煤矿井下低照度、强光扰、高粉尘等环境条件,以及井下人员服装的相似性和脸部落煤现象,导致井下弱特征人员重识别困难。现有人员重识别方法仅提取全局特征,未充分考虑局部特征,使得井下人员重识别准确率较低。针对上述问题,提出了一种局部特征引导标签平滑与优化的井下弱特征人员重识别方法。该方法首先通过卷积神经网络提取井下人员图像的全局特征与局部特征;然后利用k最近邻相似性计算全局特征和局部特征的互补性得分,来衡量全局特征和局部特征的相似程度;最后根据特征互补性得分对局部特征进行标签平滑及对全局特征进行标签优化,即动态调整每个局部特征的权重,以改进每个局部特征的标签,并对局部特征的预测结果进行汇总,利用更可靠的信息来完善标签以作为全局特征的标签,从而减少图像噪声并增强特征识别能力。实验结果表明,该方法在公开数据集和包含井下人员图像的自建数据集上的平均精度均值(mAP)、第一匹配正确率(Rank-1)和平均逆置负样本惩罚率(mINP)总体优于主流人员重识别方法,具有良好的泛化性和鲁棒性,能有效实现井下弱特征人员重识别。

LSVSH描述符:高鉴别强鲁棒的点云局部特征统计直方图

三维局部特征描述是三维计算机视觉中的重要任务.现实场景中包含噪声、遮挡和杂波等干扰,使得准确和鲁棒的三维局部特征描述具有很大的挑战性.为提高特征描述的性能,提出一种局部曲面变化统计直方图(local sur-face variation based statistics histogram,LSVSH)描述符.首先设计一种不依赖于局部参考轴(local reference axis,LRA)的新属性(称为曲率属性),增强描述符对LRA误差的稳健性;然后沿径向剖分局部空间,在每个子空间中统计3个角度属性和1个曲率属性生成LSVSH描述符,实现对局部曲面信息的全面稳健描述.在B3R,U3M,U3OR和QuLD这4个数据集上进行大量的实验,结果表明,LSVSH在4个数据集上的RPC下面积(the area under the recall-precision curve,AUCpr)值分别为0.95,0.70,0.54和0.10,优于现有的局部特征描述符的性能;在U3M数据集上的正确配准率和在U3OR数据集上的正确识别率分别达到70%和100%,验证了LSVSH应用于物体配准和识别任务上的有效性.

融合汉字多级特征与文本局部特征的中文命名实体识别

针对目前中文命名实体识别模型在复杂语境下准确率较低的问题,添加更多汉字特征以弥补词向量表形、表音方面的不足,引入更多先验知识,丰富语义特征;同时设计一种兼顾全局特征与局部特征的编码器,提升模型面对复杂语境时的鲁棒性与泛化性;实验结果表明,该文提出的方法在Weibo、OntoNotes 5.0、Boson、People Daily数据集上F_(1)值分别提升1.61、0.37、0.98、0.98,验证汉字本身特征的重要性与通用性的同时,也验证了文本局部特征有助于提升模型性能。此外,还探究了八种不同汉字编码方式对模型性能的影响,实验证明相比于单个拼音字符,汉字的声母、韵母携带更多发音信息,音调、多音字等特征也有利于提升模型性能;最后,在多种文本实例上测试了模型性能,实验结果表明了该文工作的有效性。

考虑局部特征的无人机集群关键节点识别方法

针对无人机集群关键节点识别方法注重网络全局,忽略节点与其局部特征之间关联性的问题,提出一种考虑局部特征的无人机集群关键节点识别方法。基于复杂网络理论构建无人机集群网络模型;引入拉普拉斯能量评估两跳范围内节点的重要程度,结合信息熵评估特定模体中节点的重要程度,以综合识别关键节点。结果表明:该方法识别的关键节点表现出较好的区分度,验证了其有效性,相比对比方法,在连续失效下抗毁性下降趋势显著,验证了其准确性。

基于加权特征融合与局部特征注意的人种分类

为充分利用浅层特征中的细节纹理信息对人种特性的描述能力,挖掘具有区分性部位的表达特征对人种分类的作用,更好利用数据不同层次的特征与区分性部位以提供更具鲁棒性的人种信息,提出一种基于加权特征融合与局部特征注意的人种分类模型(weighted feature fusion and local feature attention model,WFLA)。模型设计加权特征融合模块增强浅层与深层特征的交互,构建局部特征注意模块重点关注区分性部位。在3个公开数据集中的大规模验证实验验证了WFLA模型在人种分类任务中具有明显优势。

喉源性咳嗽证型临床特征相关性分析与局部特征AI分析

目的:分析喉源性咳嗽(喉咳)临床症状与中医证型的相关性,探究人工智能(AI)对咽部图像特征分类的分析情况,以期完善临床证候客观信息收集,扩大望诊范围,将精细化局部辨证为完善整体辨证服务。方法:收集2022年8月至2023年2月于上海中医药大学附属岳阳中西医结合医院门诊就诊的喉咳患者142例,记录其相关临床资料及内窥镜下咽后壁图像信息,分析喉咳临床特征与中医证型的相关性,并将所有咽部图像分类标注后交由AI进行局部特征学习,以探究局部特征人工分类的准确率。结果:在单因素Logistic回归模型中,中度咽干(OR=2.630)、中度咽痒(OR=3.290)与痰饮证呈正相关;重度咽干(OR=5.786)、中度咽黏膜充血(OR=7.360)及中度咽后壁淋巴滤泡增生(OR=4.200)与火热证呈正相关;重度咽异物感(OR=5.353)及重度咽黏膜充血(OR=5.194)与瘀血证呈正相关;其余症状与三证型均无明显相关性。将有意义的结果进行多因素Logistic回归分析得出:相对无咽痒,中度咽痒增加痰饮证发生的风险,差异有统计学意义[OR=3.269,95%CI(1.060,10.079),P=0.039);相对于无咽干,中度咽干增加痰饮证发生的风险,差异有统计学意义[OR=2.649,95%CI(1.041,6.745),P=0.041];相对无咽干,重度咽干增加火热证发生的风险,差异有统计学意义[OR=24.615,95%CI(2.774,218.403),P=0.004];相对于无咽黏膜充血,中度咽黏膜充血增加火热证发生的风险,差异有统计学意义[OR=21.819,95%CI(3.526,135.027),P=0.001];相对于轻度咽后壁淋巴滤泡增生,中度咽后壁淋巴滤泡增生增加火热证发生的风险,差异有统计学意义[OR=11.657,95%CI(1.942,69.99),P=0.007];而咽异物感及咽黏膜充血与瘀血证无明显相关性(P>0.05)。AI分析得出此次整体分类的准确率为74.8%。结论:喉咳部分临床特征与证型间具有相关性,可为全身辨证提供参考;其余部分咽喉部特征与全身情况不一定相符,须全身辨证与局部辨证相结合论治;AI图像分析技术与延伸望诊相结合,可拓宽辨证思路,为精细化辨证提供参考。

基于全局与局部特征的二阶段文档图像可见水印去除模型

可见水印是一种常用的数字图像版权保护手段。分析可见水印去除结果可以验证图像上水印的有效性,并为水印设计者提供设计或添加水印的参考和启发。目前,大多数的水印去除方法都是基于自然图像的研究,而文档图像在生活中也被广泛使用,但由于缺乏公开的文档图像去水印数据集,相关文档图像的水印去除研究较少。为了探究水印去除方法在文档图像上的水印去除效果,构建了一个文档图像水印去除数据集(SDIWRD)。在对文档图像可见水印去除的研究中发现,使用已有的水印去除方法得到的水印去除结果中容易留下水印主体伪影或者轮廓伪影。为了解决这个问题,提出了一种基于全局与局部特征的二阶段文档图像可见水印去除模型(RWRNet),该模型采用由粗到细的二阶段的半实例归一化编解码器架构。在粗略阶段,使用全局与局部特征提取模块增强对全局空间特征的捕捉能力,同时保留对局部细节信息的提取能力,从而帮助进行水印去除;在细化阶段,细化网络共享粗略阶段权重,并构建循环特征融合模块来充分挖掘粗略阶段编解码器的重要特征,为细化阶段提供丰富的上下文信息,帮助进行细致的水印去除。此外,还结合了结构相似性损失来帮助获取更好的视觉质量。所提方法在SDIWRD数据集上进行了实验,实验结果显示PSNR达到了41.21 dB,SSIM达到了99.07%,RMSE降低至3.64,优于现有水印去除方法。另外也在公开的CLWD彩色水印去除数据集进行了实验,实验结果显示PNSR达到了39.31dB,SSIM达到98.81%,RMSE降低至3.50,也优于现有水印去除方法。实验结果证明了所提方法具有良好的泛化性和去水印的能力,能有效减轻水印伪影。最后还提出了一些防止水印去除的建议,在相关网站1)可公开访问所提出的方法和数据集。

基于图卷积的局部特征细化动作识别方法

动作识别是计算机视觉领域一个重要研究方向。目前,主流方法在局部动作特征上的关注度不足。部分动作识别方法为关注局部动作特征,将预定义的人体骨架拆分成左右手、左右腿等多个部分。但是,这些部分包含的骨架关键点较少,使得动作特征较相似,导致识别准确率降低。此外,已有基于局部动作特征的动作识别方法未充分考虑全局姿态特征,模型识别准确率不稳定。为此,提出基于图卷积的局部特征细化动作识别方法。将预定义人体骨骼拓扑图划分为身体、上下肢,加强模型关注局部动作特征的能力。同时,设计局部特征细化器,采用对比学习策略扩大不同种类动作的局部动作特征差异,缩小同类动作之间的差异,解决因划分策略造成动作特征相似的问题。在此基础上,将上下肢与身体的分类结果相结合,充分利用全局姿态特征,提高模型的稳定性。实验结果表明,该方法在NTU RGB+D 602个基准数据集X-Sub、X-View的识别准确率分别为93.0%和98.8%,在NTU RGB+D 1202个基准数据集X-Sub、X-Set的识别准确率分别为88.8%和90.1%,能够有效提高动作识别的准确率。

基于多尺度局部特征融合的行人重识别方法

针对现有行人重识别方法在提取行人特征时存在特征不对齐、忽略相邻区域语义相关性、背景杂乱以及训练效率低的问题,提出一种多尺度局部特征融合的方法。首先引入空间变换网络对图像进行自适应仿射变换,实现行人空间特征对齐;接着横向均等分割不同尺度的特征图,对相邻局部块采取不同的拼接方式,以弥补切割造成的相邻块关联性信息缺失的问题;再融合全局特征与局部特征,挖掘二者之间的关联性。同时,融入随机擦除的方法对数据集进行处理,防止模型过拟合;并且使用多种损失函数对网络模型进行训练,提升模型的类内紧致性和类间差异性。将所提方法在Market-1501和DukeMTMC-ReID数据集上进行实验,Rank-1分别达到95.0%,88.8%,mAP分别达到89.2%,78.9%,结果表明所提方法能够提取更具判别力的行人特征。

融合局部特征的多知识库常识问答模型

当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单,导致模型丢失了一些与问题和答案相关的重要信息,限制了融合外部知识的常识推理模型的效果。另外,在进行常识问答的任务时,预训练语言模型输出的问题和答案表示存在的向量各向异性问题没有得到解决。这些问题都是导致常识问答推理性能不够高的因素。针对以上问题,提出了一种基于局部特征融合的多知识库常识问答模型,改进外部知识库和问答文本的融合方式。模型将局部的问题和答案特征融入预训练语言模型全局特征,以丰富模型的特征信息,并在预测层结合了多种维度的特征进行预测;模型对于待匹配的问题和答案句子表示进行了白化处理,然后执行匹配任务。通过白化操作,模型增强了句子表示的各向同性,提升了句子向量的表征能力;还探索了不同预训练编码器(如:ALBERT、ELECTRA)在模型上的效果,以加强对知识文本的特征抽取能力,并证明了模型的稳定性。实验结果证明,在相同BERT-base编码器的实验下,模型的准确率达到78.6%,相较于基线模型,准确率提升了3.5个百分点;在ELECTRA-base编码器的实验下,模型的准确率达到80.1%。

基于全局和局部特征集成的低分辨率人脸识别方法

低分辨率图像中人脸特征模糊不清,导致人脸识别结果准确率较低,因此,文章提出基于全局和局部特征集成的低分辨率人脸识别方法。该方法采用主成分分析法提取低分辨率人脸图像的全局特征,通过LBP算法提取低分辨率人脸图像的局部特征,构建一个包含特征集成模块与分类识别模块的卷积神经网络,输入提取的全局和局部特征,经过学习输出低分辨率人脸识别结果。实验结果表明,该方法使低分辨率人脸识别结果的正确率高达94%,是有效且优越的。

基于局部特征聚合网络的三维语义分割

激光雷达采集的自动驾驶场景点云数据规模庞大且包含丰富的空间结构信息,一些方法将点云变换到体素化网格等稠密表示形式进行处理,但却忽略了点云变换引起的信息丢失问题,导致分割性能降低。为此,提出了一种基于局部特征聚合网络的三维语义分割方法。其中的局部特征融合模块,聚合中心点的K个最近点的特征,并通过强大的注意力机制,得到增强的点特征,从而弥补丢失的信息,提高网络的分割精度。此外,为了提高小物体的分类精度,提出了3D注意力特征融合块,通过摒弃常规的特征图拼接,使用注意力机制来决定不同层次语义特征的权重,得到更加丰富的语义特征,提高网络的性能。在SemanticKITTI和nuScenes数据集上的大量实验表明了该方法的优越性。

基于Transformer融合全局和局部特征的显著性检测方法

针对现有显著性目标检测方法在全局与局部特征融合方面效率低下的问题,提出了视觉变换器-深度变换器解码器(vision transformer-deep transformer decoder,ViT-DTD)显著性检测方法。该方法首先通过视觉变换器对输入图像进行分块,在浅层捕获局部特征,在深层聚合全局特征。然后,通过逐层融合浅层的局部特征和深层的全局特征,结合密集连接策略,确保特征信息在解码过程中被充分利用。最后,通过逐层上采样对融合后的特征进行解码,以恢复图像的高分辨率显著性图。结果表明,该方法在2个基准测试集上的平均绝对误差(mean absolute error,MAE)相比标签解耦框架(label decoupling framework,LDF)方法平均降低了14.0%,加权F度量平均提高了3.7%,结构度量(structure-measure,S)指标平均提高了2.7%。该方法在复杂场景中的表现相比其他对比方法更加优越,能够提供更为精确和稳定的显著性检测方案。

基于局部特征匹配的井下管柱图像智能拼接融合技术

井下电视成像测井可以直观地监测井下管柱是否异常,但采集的井下管柱图像存在纹理低、光照不足、背景重复等问题,传统的尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)等算法很难稳定地检测出高质量的特征点,导致图像拼接融合鲁棒性差。为此,基于局部特征匹配的思路,先利用反向像素映射算法将管柱图像展开成平面图,并对径向误差进行精确修正,再利用卷积神经网络提取局部特征,利用注意力机制在粗略层面上建立像素级匹配,最后引入最佳拼接线和平滑函数来消除拼接误差,实现了井下管柱大尺度图像的智能拼接融合。研究结果表明:(1)基于局部特征匹配的井下管柱图像智能拼接融合技术,通过图像预处理、特征匹配和图像融合,解决了井下管柱图像拼接融合的稳定性问题;(2)图像智能融合质量的平滑权重因子(k)为0.05时融合效果最佳,k值越小融合图像拼接缝越明显,k值过大则容易在重叠区域产生重影;(3)通过计算待拼接图像的最佳拼接线来消除角度倾斜带来的误差,达到了稳定智能拼接融合的目的;(4)与SIFT算法相比,该算法能检测出的特征点数量平均增加了74.6%,平均智能匹配正确率由83.9%增加到了98.8%。结论认为,该算法检测到的特征点数量和正确率都得到了明显提升,智能融合图像的结构相似性、峰值信噪比和均方误差等指标均优于传统算法,为解决井下管柱探测难题提供了新思路和技术手段。