增强提示学习的少样本文本分类方法

针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化。为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实验评估,结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。

联合归一化模块和多分支特征的行人重识别

针对行人重识别技术中存在特征挖掘不充分的问题,提出一种联合归一化模块和多分支特征的行人重识别模型。在主干网络中嵌入注意力机制引导的实例归一化模块,减轻背景等杂波信息的影响。在双级特征融合模块对局部特征进行加权后再聚合形成对行人特征的更细节表达。联合平滑交叉熵损失、三元组损失以及跨分支特征蒸馏损失对网络进行优化。所提模型在Market-1501和DukeMTMC-ReID数据集上首位准确率分别达到了95.7%和89.2%。实验结果表明,该模型增强了对图像特征的提取。

多层特征融合与语义增强的盲图像质量评价

针对现有盲图像质量评价算法在面对真实失真图像时性能较差的问题,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L_(1)损失函数和三元组排名损失函数进行融合,构建新的损失函数L_(mix)。为了验证本文方法的有效性,在野生图像质量挑战数据集上进行了验证和对比实验,该算法的斯皮尔曼等级相关系数与皮尔逊线性相关系数指标相比原算法分别提升2.3%和2.3%;在康斯坦茨真实图像质量数据数据集和野生图像质量挑战数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。

联合注意力机制和多分支特征的行人重识别

针对行人重识别技术中存在模型识别率低的问题,提出一个联合注意力机制和多分支特征的网络模型。在残差网络中嵌入自注意力机制模块强化图像有效特征的提取,在深度特征挖掘模块,使用全局特征分支、局部关联特征分支以及随机擦除特征分支形成对行人更全面的描述。在优化过程中提出联合余弦交叉熵损失、全样本三元组损失、中心损失以及特征对齐损失对网络使用最小最大策略进行更新。所提方法在Market-1501和DukeMTMC-reID数据集上首位准确率分别达到了95.8%和89.8%。

基于改进YOLOv8n的煤矿井下钻杆计数方法

为提高煤矿井下钻杆计数的效率和精度,提出了一种基于改进YOLOv8n模型的煤矿井下钻杆计数方法。建立了YOLOv8n−TBiD模型,该模型可准确检测矿井钻机工作视频中的钻杆并进行有效分割:为有效捕获钻杆的边界信息,提高模型对钻杆形状识别的精度,使用加权双向特征金字塔网络(BiFPN)替换路径聚合网络(PANet);针对钻杆易与昏暗的矿井环境混淆的问题,在Backbone网络的SPPF模块后添加三分支注意力(Triplet Attention),以增强模型抑制背景干扰的能力;针对钻杆在图像中占比小、背景信息繁杂的问题,采用Dice损失函数替换CIoU损失函数来优化模型对目标钻杆的分割处理。利用YOLOv8n−TBiD模型分割出的钻杆及其掩码信息,根据打钻过程中钻杆掩码面积变小而装新钻杆时钻杆掩码面积突然增大的规律,设计了一种钻杆计数算法。选取综采工作面实际采集的钻机工作视频对基于YOLOv8n−TBiD模型的钻杆计数方法进行了实验验证,结果表明:①YOLOv8n−TBiD模型检测钻杆的平均精度均值达94.9%,与对比模型GCI−YOLOv4,ECO−HC,P−MobileNetV2,YOLOv5,YOLOX相比,检测准确率分别提升了4.3%,7.5%,2.1%,6.3%,5.8%,检测速度较原始YOLOv8n模型提升了17.8%。②所提钻杆计数算法在不同煤矿井下环境的视频数据集上实现了99.3%的钻杆计数精度。

基于改进PatchSVDD的田间异常区域检测方法

利用无人机遥感技术对农田进行监测并及时发现田间异常对保证农业生产具有重要意义。目前田间异常区域检测需要标注大量的正常与异常样本。然而,异常样本在整个农田区域中占比过小且无法充分收集。特别是农田异常的多样性和不可预知性,对检测方法的适用性提出了更高的要求。针对以上问题,本文提出基于改进PatchSVDD (Patch-level Support Vector Data Description)模型的田间异常区域检测方法,该方法仅使用田间正常区域的标注信息,即可对田间异常区域进行检测和定位。首先,改进方法引入不相邻图像块之间的边界损失函数,从而提升了正常与异常样本边界的判别性,改进了检测的鲁棒性;第二,引入外部记忆组件,通过压缩存储正常样本特征,从而在保证检测精度的基础上有效减少了测试阶段的时间和空间消耗;第三,构建了包含杂草簇、种植缺失、障碍物、双倍种植和积水共5个异常类型的田间异常数据集。本文方法在平均检测AUC(Area Under Curve)值和平均定位AUC值上分别达到了96.9%和94.6%,相比于原算法分别提升1.2%和1.6%,从而验证了方法的有效性。

基于超球面三元组编码的干扰模式开集识别

干扰模式识别是现代军事通信对抗中必不可少的一环,随着复杂电磁环境当中各种新型恶意干扰样式层出不穷,对于未知型干扰的判决也变得愈发重要。因此,要求干扰模式识别算法保持对于已知型干扰高精度识别的同时,也能够完成对于未知型干扰的判决,以排除未知型恶意干扰的影响。基于此,该文将未知型干扰存在时的干扰模式识别问题建模为开集识别问题,并提出一种基于超球面3元组编码的干扰模式开集识别方法。所提方法基于超球面3元组对输入的时频图像进行降维编码以提高识别精度,然后采用元识别分类器准确地完成干扰模式开集识别任务。通过仿真试验证明该算法在干信比大于–2 dB时能够高效地完成开放空间中的干扰模式识别任务。

结合数据增强的跨模态行人重识别轻量网络

现有的跨模态行人重识别方法中,轻量化网络的相关研究较少。考虑到硬件部署对轻量化网络的需求,提出新的跨模态行人重识别轻量网络。以Osnet为基础,进行特征提取器和特征嵌入器的拆分。同时使用数据增强操作,利用有限的数据集,最大程度提高了网络的鲁棒性。改进难样本三元组损失函数,在减少计算量的同时缩小模态间差异,提升网络识别准确率。提出的轻量化网络结构简单且效果显著,在SYSU-MM01数据集的全搜索模式下rank-1/mAP分别达到65.56%、61.36%,参数量仅为1.92×10^(6)。

基于Triplet Loss和KNN的非侵入式未知负荷识别

针对在接入新负荷时传统非侵入式负荷识别算法会产生误分类的问题,提出一种基于三元组损失(Triplet Loss)和KNN的非侵入式未知负荷识别算法。首先,采用负荷稳态运行时的电流、电压构造多特征融合的彩色V-I轨迹图像;然后,挖掘在线的Semi-Hard样本对,使用Triplet Loss训练神经网络,并得到各样本的特征向量;最后,对特征向量进行PCA降维,并基于类中心构造邻域,使用KNN算法来进行负荷识别。使用PLAID、COOLL数据集对所提算法进行测试。测试结果表明,所提的负荷识别算法在已知类别负荷的分类和未知负荷的识别方面均有较高的准确率。

基于样本对语义主动挖掘的图文匹配算法

针对目前基于共识学习的图文匹配算法无法有效匹配图像−文本样本对中难分的负样本,模型的泛化能力较弱,在大规模数据集上效果不佳等不足,本文提出了一种基于样本对语义主动挖掘的图文匹配模型。首先,提出的自适应分层强化损失具有多样化的学习模式,在传统的三元组损失基础上,增加具有预测性的候选实例(难以分辨的样本对)进行辅助训练。其主动学习模式通过一种惩罚机制来关注难分的负样本,以提高判别能力。此外,提出的模型还能自适应地从非真实标签样本中挖掘出更多隐藏的相关语义表征,从而提高了模型的性能和泛化能力。最后,在Flickr30K和MSCOCO公共数据集上的实验结果证明了该算法的有效性,其性能达到了目前先进水平。本方法有效地结合了图像文本两种模态,能有效提高自然语言搜索和视觉问题回答等应用的性能。

电子监控部分遮挡目标单模态自监督信息挖掘技术

针对电子监控视频中受遮挡目标识别难度高的问题,提出一种电子监控部分遮挡目标单模态自监督信息挖掘技术。为了得到目标的状态信息,利用遮挡检测方法判断监控视频中是否存在部分遮挡目标。当监控视频存在部分遮挡目标时,利用减法聚类方法进行特定目标的识别、跟踪或描述,并提供更准确和详细的目标特征信息。在此基础上,将交叉熵损失函数与软间隔三元组损失函数构建的监督遮挡目标特征学习判别损失函数作为部分遮挡目标信息挖掘的目标函数,在每个批次的电子监控样本中,搜寻最小距离的负样本对以及最大距离的正样本对,并通过反向传播优化参数。由此输入电子监控图像样本,通过前向传播输出得到电子监控部分遮挡目标单模态自监督信息挖掘结果。实验结果表明,所提出的技术可以有效挖掘电子监控部分遮挡目标,目标挖掘的mAP值高于0.9,能够为提升监控目标识别精度提供可靠依据。

基于内卷神经网络的轻量化步态识别方法

现有步态识别方法存在计算量大、识别速率较慢和易受视角变化影响等弊端,会造成模型难以部署、步态识别准确率降低等问题。针对以上问题本文提出一种基于内卷神经网络的高准确率步态识别方法。首先,基于残差网络架构和内卷神经网络算子提出了内卷神经网络模型,该模型利用内卷层实现步态特征提取以达到减少模型训练参数的目的;然后,在内卷神经网络模型基础上,建立一个由三元组损失函数和传统损失函数Softmax loss组成的联合损失函数,该函数使所提出的模型具有更好的识别性能及更高的跨视角条件的识别准确率;最后,基于CASIA-B步态数据集进行实验验证。实验结果表明,本文所提方法的网络模型参数量仅有5.04 MB,与改进前的残差网络相比参数量减少了53.46%;此外,本文网络在相同视角以及跨视角条件下相比主流算法具有更好的识别准确率,解决了视角变化情况下步态识别准确率降低的问题。

基于类相似特征扩充与中心三元组损失的哈希图像检索

现有的深度哈希图像检索方法主要采用卷积神经网络,提取的深度特征的相似性表征能力不足.此外,三元组深度哈希主要从小批量数据中构建局部三元组样本,样本数量较少,数据分布缺失全局性,使网络训练不够充分且收敛困难.针对上述问题,文中提出基于类相似特征扩充与中心三元组损失的哈希图像检索模型(Hash Image Retrieval Based on Category Similarity Feature Expansion and Center Triplet Loss,HRFT-Net).设计基于Vision Transformer的哈希特征提取模块(Hash Feature Extraction Module Based on Vision Transformer,HViT),利用Vision Transformer提取表征能力更强的全局特征信息.为了扩充小批量训练样本的数据量,提出基于类约束的相似特征扩充模块(Similar Feature Expansion Based on Category Constraint,SFEC),利用同类样本间的相似性生成新特征,丰富三元组训练样本.为了增强三元组损失的全局性,提出基于Hadamard的中心三元组损失函数(Central Triplet Loss Function Based on Hadamard,CTLH),利用Hadamard为每个类建立全局哈希中心约束,通过增添局部约束与全局中心约束的中心三元组加速网络的学习和收敛,提高图像检索的精度.在CIFAR10、NUS-WIDE数据集上的实验表明,HRFT-Net在不同长度比特位哈希码检索上的平均精度均值较优,由此验证HRFT-Net的有效性.

生成对抗网络协同角度异构中心三元组损失的跨模态行人重识别

基于红外与可见光域之间的跨模态行人重识别对于夜间场景监控极为重要,但由于红外图像和可见光图像的数据分布存在较大差异,使得模型很难提取到同一行人在不同模态下的模态不变特征.本文针对现有跨模态行人重识别算法中存在的数据集样本数量较少问题以及不同模态图像之间存在较大跨模态差异问题,提出了一种新颖的生成对抗网络来生成与原始图像相似的匹配图像,在对跨模态行人数据集进行增广的同时减少跨模态差异;为减少跨模态差异和模态内差异,本文采用了双流网络来提取更具鉴别性特征,并提出了角度异构中心三元组损失对正负样本在特征空间中夹角进行约束,提升其在特征空间中的聚类效果.本文在SYSU-MM01和RegDB数据集上进行实验验证,结果表明本文所提出的生成匹配图像方法能够有效降低不同模态图像之间的跨模态差异,同时角度异构中心三元组损失使得特征空间中的嵌入特征具有角度辨别性,从而提升模型的分类能力.在SYSU-MM01数据集中,本文方法相较于最新算法在Rank-1和mAP分别提升了5.71%和8.18%,证实了文中方法的有效性.

基于Gram矩阵的T-CNN时间序列分类方法

时间序列分类是流式数据事件分析和数据挖掘的基础.针对现有方法损失时间属性、分类准确率低、效率低等问题,提出基于Gram矩阵的T-CNN时间序列分类方法.该方法对时间序列进行小波阈值去噪,过滤正态曲线噪声,提出基于Gram矩阵的无损时间域图像转换方法,保留事件全部信息.改进时间序列CNN分类方法,在卷积层计算引入Toeplitz卷积核矩阵,实现矩阵乘积替换卷积运算.引入Triplet网络思想,构建T-CNN分类模型,通过计算同类事件与不同类事件间的相似度优化CNN的平方损失函数,提高T-CNN模型梯度下降的收敛速率及分类准确性.实验表明,相比现有方法,T-CNN时间序列分类方法能够提高35%的分类准确率、35%的分类精确率及40%的分类效率.

基于双流结构的跨模态行人重识别关系网络

针对可见光-红外跨模态行人重识别中模态差异导致的识别精确率低的问题,提出了一种基于双流结构的跨模态行人重识别关系网络(IVRNBDS)。首先,利用双流结构分别提取可见光模态和红外模态行人图像的特征;然后,将行人图像的特征图水平切分为6个片段,以提取行人的每个片段的局部特征和其他片段的特征之间的关系,以及行人的核心特征和平均特征之间的关系;最后,在设计损失函数时,引入异质中心三元组损失(HC Loss)函数放松普通三元组损失函数的严格约束,从而使不同模态的图像特征可以更好地映射到同一特征空间中。在公开数据集SYSU-MM01(Sun Yat-Sen University Multi Modal re-identification)和Reg DB(Dongguk Body-based person Recognition)上的实验结果表明,虽然IVRNBDS的计算量略高于当前主流的跨模态行人重识别算法,但所提网络在相似度排名第1(Rank-1)指标和平均精度均值(m AP)指标上都有所提高,提高了跨模态行人重识别算法的识别精确率。

引入跨批存储机制度量学习的人脸活体检测

针对人脸活体检测中存在的嵌入特征混叠、泛化能力差的问题,采用异常检测的方法来学习活体样本的一个紧凑表示空间,并通过像素级的辅助监督来获得更细粒度的活性特征;为了获得更清晰的分类边界,引入多尺度三元组损失来优化模型,采用批内和批间样本挖掘相结合的方法,来扩大样本挖掘范围,以获得更多有效的样本对。通过在公开数据集OULU、Replay Attack和CASIA上的对比实验,证明了算法的鲁棒性和泛化能力。

用于语音检索的三联体深度哈希方法

现有基于内容的语音检索中深度哈希方法对监督信息利用不足,生成的哈希码是次优的,而且检索精度和检索效率不高。针对以上问题,提出一种用于语音检索的三联体深度哈希方法。首先,将语谱图图像特征以三联体方式作为模型的输入来提取语音特征的有效信息;然后,提出注意力机制-残差网络(ARN)模型,即在残差网络(ResNet)的基础上嵌入空间注意力力机制,并通过聚集整个语谱图能量显著区域信息来提高显著区域表示;最后,引入新三联体交叉熵损失,将语谱图图像特征之间的分类信息和相似性映射到所学习的哈希码中,可在模型训练的同时实现最大的类可分性和最大的哈希码可分性。实验结果表明,所提方法生成的高效紧凑的二值哈希码使语音检索的查全率、查准率、F1分数均超过了98.5%。与单标签检索等方法相比,使用Log-Mel谱图作为特征的所提方法的平均运行时间缩短了19.0%~55.5%,能在减小计算量的同时,显著提高检索效率和精度。

基于双注意力时间卷积网络的人体行为识别

为解决TCN使用可穿戴传感器数据进行人体行为识别准确率不高的问题,提出适用于可穿戴传感器数据的双注意力时间卷积网络的人体行为识别模型。为TCN引入两类不同的注意力模块,提取与当前行为高度相关的深层特征。利用LN层代替TCN中残差模块的WN层,优化模型的残差结构。创新性地应用三元组损失函数区分高相似传感器数据的异类行为。实验结果表明,在公共人体行为数据集PAMAP2上采用该模型的识别准确率高达98.25%,相较原始TCN模型提升了5.28%。

基于细粒度特征与注意力机制的机载图像匹配

针对多视图多视角机载图像匹配问题,提出一种基于细粒度特征和互注意力机制的图像匹配方法。该方法在使用卷积神经网络来提取局部细粒度特征的基础上,通过自注意力机制挖掘全局信息并融入细粒度特征表达,再利用互注意力机制增强匹配图像间的相似性细粒度特征。然后计算每个细粒度特征的注意力得分,按其大小对特征分割对齐。最后用改进后的三重损失对整个模型进行约束,使模型在多视图多视角的数据上更具有鲁棒性。在University-1652公开数据集上的实验结果表明,本文方法的匹配性能优于目前先进方法。