基于改进YOLOv8n的煤矿井下钻杆计数方法

为提高煤矿井下钻杆计数的效率和精度,提出了一种基于改进YOLOv8n模型的煤矿井下钻杆计数方法。建立了YOLOv8n−TBiD模型,该模型可准确检测矿井钻机工作视频中的钻杆并进行有效分割:为有效捕获钻杆的边界信息,提高模型对钻杆形状识别的精度,使用加权双向特征金字塔网络(BiFPN)替换路径聚合网络(PANet);针对钻杆易与昏暗的矿井环境混淆的问题,在Backbone网络的SPPF模块后添加三分支注意力(Triplet Attention),以增强模型抑制背景干扰的能力;针对钻杆在图像中占比小、背景信息繁杂的问题,采用Dice损失函数替换CIoU损失函数来优化模型对目标钻杆的分割处理。利用YOLOv8n−TBiD模型分割出的钻杆及其掩码信息,根据打钻过程中钻杆掩码面积变小而装新钻杆时钻杆掩码面积突然增大的规律,设计了一种钻杆计数算法。选取综采工作面实际采集的钻机工作视频对基于YOLOv8n−TBiD模型的钻杆计数方法进行了实验验证,结果表明:①YOLOv8n−TBiD模型检测钻杆的平均精度均值达94.9%,与对比模型GCI−YOLOv4,ECO−HC,P−MobileNetV2,YOLOv5,YOLOX相比,检测准确率分别提升了4.3%,7.5%,2.1%,6.3%,5.8%,检测速度较原始YOLOv8n模型提升了17.8%。②所提钻杆计数算法在不同煤矿井下环境的视频数据集上实现了99.3%的钻杆计数精度。

多层特征融合与语义增强的盲图像质量评价

针对现有盲图像质量评价算法在面对真实失真图像时性能较差的问题,本文提出多层特征融合和语义信息增强相结合的无参考图像质量评价算法。提取图像的局部和全局失真特征,利用特征融合模块对特征进行多层融合;利用多层扩张卷积增强语义信息,进而指导失真图像到质量分数的映射过程;考虑预测分数和主观分数之间的相对排名关系,对L_(1)损失函数和三元组排名损失函数进行融合,构建新的损失函数L_(mix)。为了验证本文方法的有效性,在野生图像质量挑战数据集上进行了验证和对比实验,该算法的斯皮尔曼等级相关系数与皮尔逊线性相关系数指标相比原算法分别提升2.3%和2.3%;在康斯坦茨真实图像质量数据数据集和野生图像质量挑战数据集上进行了跨数据集实验,该算法在面对真实失真图像时表现出了良好的泛化性能。

基于改进PatchSVDD的田间异常区域检测方法

利用无人机遥感技术对农田进行监测并及时发现田间异常对保证农业生产具有重要意义。目前田间异常区域检测需要标注大量的正常与异常样本。然而,异常样本在整个农田区域中占比过小且无法充分收集。特别是农田异常的多样性和不可预知性,对检测方法的适用性提出了更高的要求。针对以上问题,本文提出基于改进PatchSVDD (Patch-level Support Vector Data Description)模型的田间异常区域检测方法,该方法仅使用田间正常区域的标注信息,即可对田间异常区域进行检测和定位。首先,改进方法引入不相邻图像块之间的边界损失函数,从而提升了正常与异常样本边界的判别性,改进了检测的鲁棒性;第二,引入外部记忆组件,通过压缩存储正常样本特征,从而在保证检测精度的基础上有效减少了测试阶段的时间和空间消耗;第三,构建了包含杂草簇、种植缺失、障碍物、双倍种植和积水共5个异常类型的田间异常数据集。本文方法在平均检测AUC(Area Under Curve)值和平均定位AUC值上分别达到了96.9%和94.6%,相比于原算法分别提升1.2%和1.6%,从而验证了方法的有效性。

结合数据增强的跨模态行人重识别轻量网络

现有的跨模态行人重识别方法中,轻量化网络的相关研究较少。考虑到硬件部署对轻量化网络的需求,提出新的跨模态行人重识别轻量网络。以Osnet为基础,进行特征提取器和特征嵌入器的拆分。同时使用数据增强操作,利用有限的数据集,最大程度提高了网络的鲁棒性。改进难样本三元组损失函数,在减少计算量的同时缩小模态间差异,提升网络识别准确率。提出的轻量化网络结构简单且效果显著,在SYSU-MM01数据集的全搜索模式下rank-1/mAP分别达到65.56%、61.36%,参数量仅为1.92×10^(6)。

电子监控部分遮挡目标单模态自监督信息挖掘技术

针对电子监控视频中受遮挡目标识别难度高的问题,提出一种电子监控部分遮挡目标单模态自监督信息挖掘技术。为了得到目标的状态信息,利用遮挡检测方法判断监控视频中是否存在部分遮挡目标。当监控视频存在部分遮挡目标时,利用减法聚类方法进行特定目标的识别、跟踪或描述,并提供更准确和详细的目标特征信息。在此基础上,将交叉熵损失函数与软间隔三元组损失函数构建的监督遮挡目标特征学习判别损失函数作为部分遮挡目标信息挖掘的目标函数,在每个批次的电子监控样本中,搜寻最小距离的负样本对以及最大距离的正样本对,并通过反向传播优化参数。由此输入电子监控图像样本,通过前向传播输出得到电子监控部分遮挡目标单模态自监督信息挖掘结果。实验结果表明,所提出的技术可以有效挖掘电子监控部分遮挡目标,目标挖掘的mAP值高于0.9,能够为提升监控目标识别精度提供可靠依据。

基于内卷神经网络的轻量化步态识别方法

现有步态识别方法存在计算量大、识别速率较慢和易受视角变化影响等弊端,会造成模型难以部署、步态识别准确率降低等问题。针对以上问题本文提出一种基于内卷神经网络的高准确率步态识别方法。首先,基于残差网络架构和内卷神经网络算子提出了内卷神经网络模型,该模型利用内卷层实现步态特征提取以达到减少模型训练参数的目的;然后,在内卷神经网络模型基础上,建立一个由三元组损失函数和传统损失函数Softmax loss组成的联合损失函数,该函数使所提出的模型具有更好的识别性能及更高的跨视角条件的识别准确率;最后,基于CASIA-B步态数据集进行实验验证。实验结果表明,本文所提方法的网络模型参数量仅有5.04 MB,与改进前的残差网络相比参数量减少了53.46%;此外,本文网络在相同视角以及跨视角条件下相比主流算法具有更好的识别准确率,解决了视角变化情况下步态识别准确率降低的问题。

基于Gram矩阵的T-CNN时间序列分类方法

时间序列分类是流式数据事件分析和数据挖掘的基础.针对现有方法损失时间属性、分类准确率低、效率低等问题,提出基于Gram矩阵的T-CNN时间序列分类方法.该方法对时间序列进行小波阈值去噪,过滤正态曲线噪声,提出基于Gram矩阵的无损时间域图像转换方法,保留事件全部信息.改进时间序列CNN分类方法,在卷积层计算引入Toeplitz卷积核矩阵,实现矩阵乘积替换卷积运算.引入Triplet网络思想,构建T-CNN分类模型,通过计算同类事件与不同类事件间的相似度优化CNN的平方损失函数,提高T-CNN模型梯度下降的收敛速率及分类准确性.实验表明,相比现有方法,T-CNN时间序列分类方法能够提高35%的分类准确率、35%的分类精确率及40%的分类效率.

基于双注意力时间卷积网络的人体行为识别

为解决TCN使用可穿戴传感器数据进行人体行为识别准确率不高的问题,提出适用于可穿戴传感器数据的双注意力时间卷积网络的人体行为识别模型。为TCN引入两类不同的注意力模块,提取与当前行为高度相关的深层特征。利用LN层代替TCN中残差模块的WN层,优化模型的残差结构。创新性地应用三元组损失函数区分高相似传感器数据的异类行为。实验结果表明,在公共人体行为数据集PAMAP2上采用该模型的识别准确率高达98.25%,相较原始TCN模型提升了5.28%。

基于卷积特征的场景地标检索方法

针对场景中地理目标的检索任务主要解决在视角变化、光照变化甚至遮挡等情况下对地理目标的检索匹配问题,也称为实例目标检索,使用高性能的卷积网络构建用于实例目标检索任务的三输入孪生网络架构,采用三元组损失函数进行训练,并使用区域建议网络准确定义目标区域,生成准确并具有鲁棒性且固定长度的图像特征向量。检索时根据地理场景的特点采用图像全局特征进行粗检索,采用局部特征进行精检索,并配合查询扩展的方法实现了精确的实例目标检索结果。实验表明,所提方法与其他具有代表性的检索方法相比,在公开数据集测试中取得了有竞争力的结果。

基于改进YOLOv8s的钢材表面缺陷检测

针对YOLOv8s模型在钢材表面缺陷检测任务中特征提取能力不足、特征融合不充分以及收敛速度慢、回归精度差等问题,提出一种基于改进YOLOv8s的钢材表面缺陷检测算法。首先,为了使模型关注更多维度的特征信息,将YOLOv8s模型主干网络和颈部网络中的部分C2f模块替换为C2f-Triplet模块;其次,为了使模型在更大的感知区域内聚合上下文信息,将YOLOv8s模型颈部网络中的最近邻上采样模块替换为内容感知特征重组(content-aware reassembly of features,CARAFE)上采样算子;最后,为了提高模型收敛速度和回归精度,将原YOLOv8s的CIoU回归损失函数替换为SIoU损失函数。实验结果表明:在NEU-DET数据集上,改进后的YOLOv8s钢材表面缺陷检测算法较原YOLOv8s算法精确率提高1.6百分点,平均精度均值提高2.2百分点。相比于目前主流的钢材表面缺陷检测算法,改进后的YOLOv8s钢材表面缺陷检测算法可以更加准确地检测出钢材表面缺陷的类别和位置,并且模型相对较小,便于在移动端部署。

一种车脸识别算法的研究与应用

基于车牌识别技术的停车场收费系统存在无牌车无法自动扣费以及套牌车逃费等问题。针对这一问题,需要基于车牌之外的其它特征来对车辆进行自动准确地识别。车脸能够有效表达车辆的特征信息,因此文中提出了一种基于卷积神经网络的车脸识别算法,该算法可以根据车脸图像自动准确地识别车辆,有效解决车辆身份识别中过度依赖于车牌的问题。实验结果表明,该算法的车脸识别准确率可以达到94.23%,明显优于传统的车脸识别算法,证明了该算法的可行性。最后,将车脸识别技术融合进智能停车场收费系统,可以有效地解决无牌车无法自动扣费和套牌车逃费的问题。

基于共享联结三元组卷积神经网络的枪弹膛线痕迹快速匹配方法

针对传统通过激光检测提取膛线线形痕迹信号时枪弹痕迹检测精度不高且操作复杂的问题,提出了新型提取和处理方法。采用多尺度配准、弹性形状度量与卷积神经网络技术,基于多模式弹性驱动自适应控制方法,建立了试件末端位置和姿态参数分布模型,采用孤立森林算法检测信号进行异常处理,利用变尺度形态滤波算法去除非细小特征,引入平方速度函数优化弹性形状度量算法,完成曲线轮廓嵌入层映射;在膛线线形匹配部分,建立了适用于痕迹特征的优化参数共享联结三元组卷积神经网络模型,通过嵌入层相似度计算和最小化三重损失函数训练该网络至收敛;最后进行了不同方法的相似度匹配对比实验。结果表明,与传统的检测方法相比,新方法解决了传统枪弹痕迹检测中面临的精度与操作性问题,保证检测结果的稳定性,且成本大大降低。在膛线线形痕迹提取中采用多模式弹性驱动自适应控制方法和三元组卷积神经网络模型,可为枪弹痕迹检测提供一种新的可行方法和思路。

基于能量模型的行人与车辆再识别方法

为了解决行人再识别以及车辆再识别算法中网络训练过程对计算资源的消耗过大且准确率较低的问题,提出基于能量模型的目标分类和度量学习方法.利用样本特征空间中同类样本的低能量分布特性,设计对比能量损失函数,形式上表达为训练样本在真实目标类别上的损失函数响应和非目标类别上的响应之差,可以更准确地增大目标响应,抑制非目标响应,提高了分类准确率,使得同类样本特征更聚集、异类样本特征更远离.在多个行人再识别和车辆再识别数据集上的测试结果显示,相对于Soft-max和Triplet混合损失函数,利用能量模型可以提升网络训练效率,提高目标再识别准确率.

基于深层残差网络和三元组损失的雷达信号识别方法

针对分类网络难以有效扩展分类数量的问题,提出了一种基于深层残差网络和三元组损失的雷达信号识别方法。该方法首先将雷达信号作为深层残差网络的输入,通过一维卷积将雷达信号映射到128维欧几里得空间,得到信号的特征向量;然后利用三元组损失函数调整网络参数,使得同类信号之间特征向量的欧式距离减小而不同类别信号之间的距离增大;最后通过基于样本库的识别算法实现对信号的分类识别。实验结果表明,相较于传统的分类网络,该方法在保证识别准确率的同时使得模型能够对分类数量进行有效扩展。

基于改进三元组网络和K近邻算法的入侵检测

入侵检测一直以来被视作是保证网络安全的重要手段。针对网络入侵检测中检测准确率和计算效率难以兼顾的问题,借鉴深度度量学习思想,提出了改进三元组网络(imTN)结合K近邻(KNN)的网络入侵检测模型imTNKNN。首先,设计了适用于解决入侵检测问题的三元组网络结构,以获取更有利于后续分类的距离特征;其次,为了应对移除传统模型中的批量归一化(BN)层造成过拟合进而影响检测精度的问题,引入了Dropout层和Sigmoid激活函数来替换BN层,从而提高模型性能;最后,用多重相似性损失函数替换传统三元组网络模型的损失函数。此外,将imTN的距离特征输出作为KNN算法的输入再次训练。在基准数据集IDS2018上的对比实验表明:与现有性能良好的基于深度神经网络的入侵检测系统(IDS-DNN)和基于卷积神经网络与长短期记忆(CNN-LSTM)的检测模型相比,在Sub_DS3子集上,imTN-KNN的检测准确率分别提高了2.76%和4.68%,计算效率分别提高了69.56%和74.31%。

基于卷积神经网络的带遮蔽人脸识别

基于卷积神经网络Inception-ResNet-v1 模型进行训练与学习,实现了在添加遮挡干扰因素下的人脸识别。将图像嵌入到d 维度的欧几里得空间,采用Triplet Loss 作为损失函数,直接学习特征间的可分性。选取LFW(labeled faces in wild)数据集和摄像头采集的人脸图片制作训练集和测试集。结果表明,模型在眼部被遮挡的情况下识别率为98. 8%,在嘴部被遮挡的情况下识别率为98. 6%,在眼部和嘴部同时被遮挡的情况下识别率为96. 9%。模型在遮挡率为20%~ 30%时,识别率能够达到98. 2%。从实验结果可以得出,模型在一定遮挡的情况下能得到较好的识别效果。

Dual Variational Generation Based ResNeSt for Near Infrared-Visible Face Recognition

Near infrared-visible(NIR-VIS)face recognition is to match an NIR face image to a VIS image.The main challenges of NIR-VIS face recognition are the gap caused by cross-modality and the lack of sufficient paired NIR-VIS face images to train models.This paper focuses on the generation of paired NIR-VIS face images and proposes a dual variational generator based on ResNeSt(RS-DVG).RS-DVG can generate a large number of paired NIR-VIS face images from noise,and these generated NIR-VIS face images can be used as the training set together with the real NIR-VIS face images.In addition,a triplet loss function is introduced and a novel triplet selection method is proposed specifically for the training of the current face recognition model,which maximizes the inter-class distance and minimizes the intra-class distance in the input face images.The method proposed in this paper was evaluated on the datasets CASIA NIR-VIS 2.0 and BUAA-VisNir,and relatively good results were obtained.

联合损失优化下的高相似度奶山羊身份识别

目的动物个体身份识别一直是智慧畜牧业的主要难题之一,由于动物个体本身与人类在图像识别上需要的数据特征不同以及各个特征作为个体属性之间的关系不明确,对动物个体识别领域的研究较少,针对具有高相似度的奶山羊个体身份识别问题,提出了基于深度学习的高相似度的奶山羊识别方法。方法采集了26只萨能奶山羊的全身图像,利用SSD(single shot MultiBox detection)网络进行数据集预处理,并随机选取1040幅图像作为训练集,260幅图像作为测试集。其次采用Res Net18(residual neural network)预训练模型并进行迁移学习,最后联合三元组损失函数与交叉熵损失函数进行参数调整。研究表明,采用联合损失函数并结合Adam优化器算法时,可获得较好的识别效果。此外,在实验部分针对奶山羊的特征选取问题上,对奶山羊的羊脸区域与奶山羊的全身区域分别采用了三元组损失函数与孪生网络,验证了对奶山羊的识别仅靠羊脸区域的特征时准确率较低;此外,针对网络的训练,本文不仅通过YOLOv3(you only look once)以及孪生网络(siamese network)验证了奶山羊本身属于高相似度的数据集,而且针对奶山羊数据集分别采用三元组损失函数与交叉熵损失函数作为唯一的损失函数,并验证了该方法的有效性。结果奶山羊识别的最高精准度为93.077%,相较于Triplet-Loss损失函数74.615%的准确率以及Cross Entropy-Loss 89.615%准确率有了较大提升。结论本文提出的基于深度学习的高相似度的奶山羊识别方法不仅具有较高的准确率,而且在奶山羊个体身份识别方面具有极大的应用价值,有助于准确识别羊的身份,为相似度高的动物个体身份识别提供了思路。

面向数字文旅的图像文本跨模态检索方法

[目的/意义]图像文本跨模态检索应用对最大化利用数字文旅资源具有重要意义。然而,数字文旅领域的图像文本跨模态检索方法面临长文本挑战、数据缺失、内存资源有限等问题。为此,我们提出了一种新的基于Transformers和MobileNet V3模型的数字文旅图像文本跨模态方法。[方法/过程]首先,提出了基于自注意力机制的双层多组Transformers模型从标题、正文和评论等文本中学习具有互补性的文本特征;其次,设计了FastR-CNN和MobileNet V3模型学习图像局部细粒度特征;最后,提出了多元线性回归方法在共享子空间补全缺失数据。构建以图搜文和以文搜图的双向三元损失函数学习模型参数。[结果/结论]在标准数据集Flickr30k、自建数据集CulTour-Sha和有数据缺失的数据集Flickr30k-1与CulTour-Sha-1上的大量实验结果表明,我们的方法在召回率、内存需求和计算速度等方面优于当前几种先进的跨模态检索方法。