困难样本采样联合对比增强的深度图聚类

针对困难样本挖掘的图聚类算法是最近的研究热点,目前算法存在的主要问题有:对比方法和样本对加权策略缺少良好的融合机制;采样正样本时忽略了视图内部的“假阴性”样本;忽视图级信息对聚类的帮助。针对上述问题,提出困难样本采样联合对比增强的图聚类算法。首先使用自编码器学习嵌入,根据计算的伪标签、相似度、置信度信息为表示学习设计一种自加权对比损失,统一不同视图下节点对比和困难样本对加权策略。通过调整不同置信区域样本对的权重,损失函数驱动模型关注不同类型的困难样本以学习有区分性的特征,提高簇内表示的一致性和簇间表示的差异性,增强对样本的判别能力。其次,图级表示经聚类网络投影,通过聚类对比损失最大化不同视图下聚类的表示一致性。最后联合两种对比损失,利用自监督训练机制进行迭代优化,完成聚类任务。该算法在5个真实数据集上与9个基准聚类算法对比,在4个权威指标上达到最优,聚类性能出色。消融实验表明两个对比模块的有效性和可迁移性。

基于对困难样本迁移学习的烤烟分级特征表示

在基于机器视觉的烟草自动分级系统的研究中,烟草图像的特征表示是至关重要的。提取的特征越好,分级精度就越高。然而,烟草的姿态通常不稳定,这可能导致一些特征信息不可靠。为了提取更好的特征,现提出了一种融合显式特征和低维深度特征的方法。在深度特征学习中,修改后的AlexNet网络用于迁移卷积特征。通过困难样本挖掘来优化网络。实验表明,融合显式特征和深度特征可以提高烟叶分级的准确性。此外,主动挖掘困难样本可以用更少的样本实现与随机添加样本相同的性能。

基于多传感器融合的视觉感知困难样本挖掘方法

视觉感知困难样本能有效提升自动驾驶场景中目标检测算法的性能,但是这些样本通常稀少且难以通过简单手段获取。针对该问题,文章提出一种基于多传感器融合的视觉感知困难样本挖掘方法。该方法利用雷达点云分割出来的障碍物目标对图像检测目标进行交叉复核,基于实际障碍物在多传感器间的映射关系挖掘图像目标检测算法难以识别或者未加入模型训练的样本,并将这些困难样本通过云边协同机制用于图像目标检测模型的重训练和远程部署,实现模型的优化迭代更新。试验表明,该方法可以有效挖掘矿用卡车自动驾驶场景的困难样本,通过增量迁移学习显著提升图像目标检测算法性能。同时,该算法对轨道交通等领域自动驾驶场景也具有重要的指导意义。

基于困难样本对激励的小样本图像分类方法

使用少量标签样本训练得到的传统模型往往预测精度低、泛化能力弱,很难应用到实际生产中.针对小样本图像提出一种基于困难样本对激励分类方法,包括预训练阶段和元学习阶段.预训练阶段在基类数据集上训练编码器,并作为元学习阶段的初始特征编码器;元学习阶段将进一步优化此编码器,元训练过程使用本质特征法降低异常样本对质心的影响;结合度量学习与元学习设计了困难样本对激励损失函数,从样本对角度出发,在训练过程中引导模型扩大正负样本间距离,使同类样本更加紧凑.在公开数据集mini-ImageNet,tiered-ImageNet上进行实验的结果表明,分类精度分别为64.12%,70.15%,验证了所提方法的有效性和可行性.

模拟困难样本的Mask R-CNN滑坡分割识别

随着人工智能的发展,利用高分影像进行滑坡等地质灾害识别逐渐成为研究热点。滑坡目视解译需依赖专家经验,传统滑坡自动识别方法又易将滑坡和裸地、道路等地物混淆。针对以上问题,提出了基于模拟困难样本的掩模区域卷积神经网络(mask region-based convolutional neural network,Mask R-CNN)滑坡提取方法。在现有样本的基础上,利用滑坡的形状、颜色、纹理等特征模拟更为复杂的滑坡背景进行困难样本挖掘增强,并将得到的困难样本输入Mask R-CNN网络进行滑坡精细检测分割。在实际研究区域中,由于滑坡数量有限,因此在频率域进行小样本学习,在减少数据需求的同时,保证分割识别的准确度。中国贵州省毕节市的实验结果表明,基于模拟困难样本的Mask R-CNN方法检测精度为94.0%,像素分割平均准确率为90.3%,可实现低虚警率下的高性能检测分割;采用频率域学习,在一半数据输入量的情况下,模型检测精度仍可得到提升。利用中国甘肃省天水地区的滑坡区域进行实际验证,进一步证明了所提方法的有效性。

基于参数优化元学习和困难样本挖掘的小样本恶意软件分类方法

在恶意软件分类中,针对新出现的恶意软件样本数量少导致分类准确性低的问题,提出了一种基于参数优化元学习和困难样本挖掘的方法。首先,将恶意软件反编译得到二进制文件,进而转化为灰度图。然后,使用参数优化元学习在多个任务上训练模型,获得浅层神经网络的初始化参数,并在此基础上,根据测试集中的少量任务来微调模型。同时,结合困难样本挖掘方法,有目的性地组织样本训练模型,提高模型的收敛速度以及分类准确率。最后,在Malimg数据集和BIG-2015数据集上与已有深度学习方法做了对比实验。实验结果表明:在Malimg数据集上,分类准确率达到0.9967;在BIG-2015数据集上,分类准确率达到0.9933,都优于已有方法。

考虑样本不平衡的X光安检图像违禁品分类方法

X光安检图像违禁品分类被广泛应用于协助维护航空和运输安全。针对X光安检图像中违禁品尺度不一、存在困难样本及旅客行李安检固有的正负样本不均衡等问题,提出一种端到端的考虑样本不平衡的X光安检图像违禁品分类方法。采用多尺度特征提取网络捕获尺度不一的多类型违禁品特征,通过特征融合模块提升模型对图像边缘和纹理特征的表达能力,基于代价敏感思想设计损失函数,解决数据集不平衡问题,并提高困难样本分类精准度。在公开数据集SIXray上构建的子集实验结果表明:所提方法相较于端到端分类模型,平均AP指标值提升了4.5%,特别是对剪刀等难分类样本,AP指标值都有显著的提升效果。

乳腺超声图像中易混淆困难样本的分类方法

目的超声诊断常作为乳腺肿瘤首选的影像学检查和术前评估方法,但存在良恶性结节的图像表现重叠、诊断严重依赖医生经验,以及需要较多人机交互等问题。为减少误诊和不必要的穿刺活检率,以及提高诊断自动化程度,本文提出一种端到端的模型,实现结节区域自动提取及良恶性鉴别。方法就超声图像散斑噪声问题使用基于边缘增强的各向异性扩散去噪模型(edge enhanced anisotropic diffusion,EEAD)实现数据预处理,之后针对结节良恶性特征提出一个改进的损失函数以增强鉴别性能,通过形状描述符组合挖掘因形状与其他类别相似从而易导致错判的困难样本,为使该部分困难样本具有更好的区分性,应用改进的损失函数,并在此基础上构建困难样本形状约束损失项,用来调整形状相似但类别不同样本间的特征映射。结果为验证算法的有效性,构建了一个包含1805幅图像的乳腺超声数据集,在该数据集上具有5年资历医生的平均判断准确率为85.3%,而本文方法在该数据集上分类正确率为92.58%,敏感性为90.44%,特异性为93.72%,AUC(area under curve)为0.946,均优于对比算法;相对传统Softmax损失函数,各评价指标提高了5%~12%。结论本文提出了一个端到端的乳腺超声图像分类方法,实用性强;通过将医学知识融合到优化模型,增加的困难样本形状约束损失项可提高乳腺肿瘤良恶性诊断的准确性和鲁棒性,各项评价指标均高于超声科医生,具有临床应用价值。

残差网络下基于困难样本挖掘的目标检测

为了提高图像目标的检测精度,提出一种在残差网络下设计基于困难样本挖掘的目标检测算法。首先阐述基于深度学习的目标检测算法,即超快速区域卷积神经网络(Faster R-CNN)的工作原理,分析该算法存在的不足与改进方式。在Faster R-CNN的基础上,为了使模型能提取更有效的深度卷积特征,选取网络更深的残差网络替换原始的ZF或VGG网络。为了使学习到的网络模型有更强的泛化能力,在网络训练过程中,利用困难样本更新网络参数,使网络训练更充分。在Pascal VOC2007、Pascal VOC2007+Pascal VOC2012和BIT这三个数据集中进行训练和测试,实验结果显示,融合了两种方法的Faster R-CNN在这三个数据集上的检测精度分别提升了3.5%、7.1%、6.4%,提升效果明显。

基于双三元组网络的易混淆文本情感分类方法

预训练模型的快速发展使得情感分类任务得到了突破性进展,然而互联网提供的海量数据中存在着大量语义模糊、易混淆的文本,制约了当前多数模型的分类效果。针对易混淆文本对情感分类的负面影响,该文提出了一种基于双三元组网络的易混淆文本情感分类方法。该方法有效解决了传统三元组网络中同类文本特征之间仍存在明显差异的问题,改进了三元样本组合的构建方式,分别从易分类文本和普通文本中构建出两对三元样本组合,并以不同权重进行特征相似度比对,让模型深入挖掘易混淆文本和易分类文本的特征编码差异,充分学习同类别文本间的相似性和混淆类别文本间的差异性,提高了文本特征的聚类效果;同时,在训练过程中将本批次的易混淆文本加入到下一批次进一步训练,更有效地利用了易混淆文本的语义信息,以此提升模型整体的分类效果。在nlpcc2014、waimai_10k和ChnSentiCorp数据集上进行对比实验,实验结果表明,与现有的易混淆文本情感分类方法相比,该方法在准确度和F1值上具有更好的表现,其中F1值相较于基准模型提升了3.16%、2.35%和2.5%,验证了所提方法的有效性和合理性。

深度有序度量学习改进的课堂参与度识别

在线课堂已成为当前最重要的教学场景之一.针对当前基于视觉特征学习和距离度量学习的参与度识别模型仍然缺乏足够的判别力和稳定性等问题,本文将有序深度度量学习方法引入课堂参与度识别任务,联合建模视觉特征学习和判别度量学习.首先,提出一个有序度量损失函数建模参与度样本的有序标签结构,使得在学习获得的有序度量空间中,视觉特征与其参与度标签保持有序一致性,提高识别模型的判别力.其次,提出一种四元组困难样本构造策略,对困难正样本的视觉特征相似度进行最小化,同时最大化困难负样本的视觉特征相似度,充分挖掘困难样本,提高模型训练的效率和稳定性.最后在课堂参与度基准数据集DAiSEE上进行测试,验证了算法的有效性.

双重注意力机制下的跨光谱虹膜识别优化算法

跨光谱虹膜识别任务,通常是指匹配不同光谱下采集的虹膜图像,针对光谱域变化对虹膜识别率影响的问题,提出一种基于双重注意力机制下的跨光谱虹膜识别优化算法。该算法首先通过浅层网络的特征提取,将可见光与近红外光谱域中的浅层特征送入各自的专有外部注意力模块进行优化,以分别存储各自光谱域中虹膜样本数据集的特有信息,随后将优化后的浅层特征送入共享的深度特征提取网络,再将深度特征先后送入改进的空间注意力模块和外部注意力模块,强化虹膜关键特征信息的表达,同时以改进的加性角间距损失函数ArcFace Loss(additive angular margin loss)动态调整对于困难样本的优化力度。该算法在PolyU数据集上进行了实验验证,等错误率EER(equal error rate)达到了0.23%,分离度达到了8.56,该实验结果与跨光谱虹膜识别SOTA(state-of-the-art)算法进行了比较,远高于其他主流算法。

基于Generalized Region Loss的代价函数及在图像分割中的应用

针对图像分割中的困难样本,提出了一种对像素区域细分计算的Generalized Region Loss的新的代价函数;首先通过引入一项参数,改变了以往代价函数主要通过设置权重或Focal等关注困难样本的方法,其次通过对标签图像和预测图像进行区域划分,并且对划分四区域的困难样本分类关注,最后分别计算其四区域绝对损失,进而进行加权组合;为验证算法性能,使用CamVid数据集作为实验数据,该代价函数在FCN和U-Net两种图像分割网络上得到验证,同当前图像分割领域常用的12种代价函相比,IoU指标分别提高1.93%和2.99%,由此证明此代价函数优于大多数图像分割代价函数;最终实验结果表明,提出的基于像素区域细分计算的代价函数能够有效提高图像分割精度,为图像分割的研究提供借鉴。

基于不平衡数据与集成学习的图像情感分类研究

目前,基于图像的情感分析已成为情感计算领域的研究热点。针对图像情感分析常用的开放数据集通常表现为多分类的不均衡数据,单一模型存在抽取特征单一、泛化能力不强等问题。首先,改进Focal Loss损失函数,使模型跟随训练进度动态调整聚焦参数。然后,设定概率阈值参数确定困难样本,通过舍弃困难样本避免模型学习错误特征。接下来,选取3个分类性能良好的卷积神经网络模型作为基分类器,分别关注图像的局部、颜色及深度语义特征。最后,采取加权投票法策略,引入信息熵更新多分类器决策的权值。实验表明,所提方法能提升图像情感多分类的准确率,可为基于不平衡数据与集成学习的图像情感分类研究提供参考与借鉴。

基于改进Faster RCNN的安全帽佩戴检测研究

针对已有安全帽佩戴检测算法对部分遮挡、尺寸不一和小目标存在检测难度大、准确率低的问题,提出了基于改进的Faster RCNN和多部件结合的安全帽佩戴检测方法。在原始Faster RCNN上运用多尺度训练和增加锚点数量增强网络检测不同尺寸目标的鲁棒性,并引入防止正负样本不均衡的在线困难样本挖掘策略,然后对检测出的佩戴安全帽工人和安全帽等采用多部件结合方法剔除误检目标。实验表明,相比于原始Faster RCNN,检测准确率提高了7%,对环境的适应性更强。

深度学习在车牌定位中的研究

为提高场景不断变化下车牌定位的准确性,提出应用深度学习定位的方法。基于最小生成树原理将图像转换成图论中的图,结合相似度进行选择搜索获取车牌候选区域。利用车牌长宽比条件对候选区域进行筛选,以减少数据的不平衡性。通过带平滑项的交叉熵损失函数以及Bootstrapping技术训练深度网络,并用该模型从候选区域中识别出车牌区域。实验表明,该方法在候选区域提取、网络训练阶段以及定位准确率方面均优于其他算法,测试集中准确率为97.6%。

基于改进区域卷积神经网络的安全帽佩戴检测

针对已有的安全帽佩戴检测算法对小尺寸目标和部分遮挡目标检测效果较差的问题,在区域卷积神经网络基础上,做出优化用于安全帽佩戴检测。在原始Faster RCNN的基础上使用多层卷积特征融合技术优化区域建议网络产生候选区域特征图,使用在线困难样本挖掘技术训练ROI网络,自动挑选出困难样本使训练更加有效。实验结果表明,相比原始的Faster RCNN算法,所提方法检测精度提高了4.73%,对部分遮挡和小尺寸目标均有较好的检测效果,对环境变化具有更强的适应性。

基于深度学习的PCB缺陷检测方法研究

针对在PCB生产过程中出现漏孔、鼠咬、开路、短路、毛刺、余铜、灰尘、划痕等缺陷而影响其后期使用的问题,提出了一种基于Faster R-CNN算法的PCB缺陷检测方法。该方法以ResNet-101为基础骨干网络构建特征金字塔网络,采用Soft-NMS算法对预选框进行筛选,然后使用在线困难样本挖掘方法,将损失值较高的困难样本集中进行处理,提高网络对复杂PCB缺陷样本检测的精确度。实验结果表明,改进后的Faster R-CNN缺陷检测方法可以对各类PCB缺陷进行准确定位和分类,平均检测精度达到93.76%,相较于传统Faster R-CNN方法提高了24.5个百分点,对PCB缺陷全自动检测的研究有一定参考价值。

基于卷积神经网络的动车组行车安全图像缺陷检测与分割

动车组运行故障动态图像检测系统TEDS在客运专线安装部署,为动车组安全运行提供保障。针对TEDS缺陷自动检测精度低的问题,提出基于卷积神经网络的TEDS缺陷检测与分割模型,采用特征金字塔网络提取缺陷的多尺度融合特征,采用可改变感受野的可变形卷积DCN适应缺陷形态的多样性。TEDS缺陷检测任务中缺陷数量远小于背景数量,采用在线困难样本挖掘OHEM筛选出困难样本,重新输入预测网络以平衡正负样本的比例。通过对几个动车段的TEDS图像数据进行试验分析,结果表明该模型的准确率、召回率优于传统方法。另外,迁移学习试验结果验证了模型的泛化能力,且该模型可以实现缺陷的精准分割。

基于Faster-RCNN的遥感图像飞机检测算法

CCCV2017发布遥感图像飞机数据集,用于评测飞机检测算法.针对该遥感图像数据集中的飞机朝向不确定、图像覆盖范围广、图像背景复杂度高,导致飞机检测难度大、检测算法准确率和算法泛化能力低等问题,提出了基于Faster-RCNN的飞机检测改进算法.首先,通过对图像采用翻转以及角度旋转等方式对数据集进行合理的扩增;然后,在扩增后的数据集上,使用深度残差网络对图像进行特征提取,针对数据集中飞机目标的长宽比特点优化区域建议网络;同时,为了防止训练集中正负样本不均衡,采用在线困难样本挖掘方法对数据进行训练.在CCCV2017数据集上评估表明,改进后的Faster-RCNN算法极大提高了初始的Faster-RCNN算法性能,在测试集上m AP达到了89.93%.在NWPUVHR-10、NWPU-RESISC45、UCAS-AOD遥感图像飞机数据集测试表明,该改进模型同样具有良好的性能,从而验证了该模型具有良好的鲁棒性和泛化能力.