优化合成样本分布的加权过采样方法

针对不均衡数据分类问题中原有过采样方法在生成样本分布上存在的不足,文章提出改进合成样本分布的加权过采样方法——WKSMOTE(Weighted SMOTE for WKMeans preprocess)。首先,应用聚类算法中的WKMeans算法对原数据集进行预处理,进而划分少数类样本,使每个样本生成不同数量的新样本;然后,应用SMOTE算法合成新样本,增强决策边界;最后,将过采样后的均衡数据集在随机森林分类器中进行训练。实验结果表明,WKSMOTE方法对不均衡数据集的整体分类性能有一定的提升,验证了方法的有效性。

基于视觉-语言预训练模型的零样本迁移学习方法综述

近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模型强大的泛化性能,使用视觉-语言预训练模型不仅能提高零样本识别任务的准确率,而且能够解决部分传统方法无法解决的零样本下游任务问题。对基于视觉-语言预训练模型的ZST方法进行概述,首先介绍了零样本学习(FSL)的传统方法,并对其主要形式加以总结;然后阐述了基于视觉-语言预训练模型的ZST和FSL的区别及其可以解决的新任务;其次介绍了基于视觉-语言预训练模型的ZST方法在样本识别、目标检测、语义分割、跨模态生成等下游任务中的应用情况;最后对现有的基于视觉-语言预训练模型的ZST方法存在的问题进行分析并对未来的研究方向进行展望。

基于样本选择的标签含噪图像分类

标签噪声广泛存在、无法避免且影响深度网络模型的性能.利用神经网络的“记忆效应”,基于小损失原则的样本选择方法能简单有效地处理标签噪声.本文基于特征空间中样本距离越近越相似的原则,结合样本的高低置信度假设,提出了新的样本选择原则以及二阶段加权样本选择重标签方法(WSSR-2s).(1)在训练前期阶段,对于高置信度样本,在特征空间中对其票权进行加权,更好地引导训练;(2)在训练中后期阶段,对于低置信度样本,将其票权转移给其最相似的特征样本,以更正确地训练.在合成噪声数据集CIFAR-10、CIFAR-100以及真实噪声数据集ANIMAL-10N、WebVision的实验结果表明,本文提出的方法取得更高的精度,能够更好地处理标签噪声问题.

基于多目标PSO混合优化的虚拟样本生成

受限于检测技术难度、高时间与经济成本等原因,难测参数的软测量模型建模样本存在数量少、分布稀疏与不平衡等问题,严重制约了数据驱动模型的泛化性能.针对以上问题,提出一种基于多目标粒子群优化(Multi-objective particle swarm optimization, MOPSO)混合优化的虚拟样本生成(Virtual sample generation, VSG)方法.首先,设计综合学习粒子群优化算法的种群表征机制,使其能够同时编码用于连续变量和离散变量;然后,定义具有多阶段多目标特性的综合学习粒子群优化算法适应度函数,使其能够在确保模型泛化性能的同时最小化虚拟样本数量;最后,提出面向虚拟样本生成的多目标混合优化任务以改进综合学习粒子群优化算法,使其能够适应虚拟样本优选过程的变维特性并提高收敛速度.同时,首次借鉴度量学习提出用于评价虚拟样本质量的综合评价指标和分布相似指标.利用基准数据集和真实工业数据集验证了所提方法的有效性和优越性.

基于改进U-net的少样本煤岩界面图像分割方法

煤岩图像语义分割技术是煤岩界面识别的重要研究方向,现有的语义分割模型通常依赖于大样本数据集进行训练,然而目前已标注的煤岩图像数据样本难以获取,并且缺乏公开数据集。针对以上问题,提出了一种基于改进U-net模型的样本煤岩界面图像分割模型。将裁剪后具有更强特征提取能力且结构上更为简单的VGG16替换U-net的原始骨干特征提取网络,提升对图像信息的特征提取能力并获得更快的训练速度,在U-net网络的跳跃连接和解码器上采样部分引入注意力机制模块,对提取的特征层进行处理,提升模型对煤岩界面图像关键特征的提取能力,提高分割精度。使用迁移学习方法对改进的模型进行预训练,提高模型泛化能力同时避免过拟合,使模型更适用于小样本数据集训练。通过使用自制的煤岩界面数据集对所改进的网络模型性能进行验证,并将该模型与经典Unet、DeepLabv3+、PspNet、HrNet网络模型进行了对比。试验结果表明:在同样使用由125幅煤岩界面图片构建的小样本数据集进行训练的情况下,所提改进模型相较于经典U-net模型在分割精确度和检测效率方面都有显著提升,模型精确度提高了1.84%,平均交并比提高了5.34%,类别平均像素准确率提高了0.48%,检测速度增幅为5.3%。同时,与其他网络模型相比,所提改进模型在小样本煤岩界面图像的语义分割中优势显著,表明所提改进思路的有效性。

基于局部特征深度信息的绝缘子小样本缺陷检测

基于深度学习的目标检测技术已广泛应用于绝缘子缺陷检测中,然而现有目标检测算法主要基于大量缺陷样本训练网络模型,无法对少样本缺陷进行准确识别。针对绝缘子缺陷检测过程中缺陷样本量不足的问题,该文提出了一种基于局部特征深度信息的绝缘子小样本缺陷检测方法。首先采用旋转目标检测网络改进Faster R-CNN(faster region-based convolutional neural network)模型提取绝缘子串区域,然后对绝缘子串特征进行划分,提取绝缘子串局部特征并基于深度推土距离(deep earth mover’s distance,Deep EMD)网络实现小样本缺陷检测。实验结果表明,在玻璃绝缘子自爆缺陷检测中,所提出方法采用2张训练样本可取得与现有目标检测方法 200张训练样本相同的效果,采用10张训练样本的绝缘子自爆检测在与真值框的交并比阈值为0.5至0.95之间的平均精度(mean average precision,mAP)达到0.65,该方法为小样本电力设备缺陷智能化检测提供了新的方法和思路。

小样本学习技术在新型电力系统中的应用与挑战

数据驱动已成为新型电力系统建设及其数字化转型的核心范式,相关算法在负荷预测、状态检修、多主体调控等多项业务中展现出优越的工程效果与应用潜力。然而,实际工程数据往往面临着样本不足、样本不平衡等问题,制约了数据驱动算法的最终效果。因此,需要借助小样本学习来应对这一挑战。文中从数据、特征、模型3个层面探究了小样本学习技术,综述并分析了相关技术在场景生成、故障诊断、电力系统暂态稳定评估等业务的应用现状,并进一步指出小样本学习技术在新型电力系统中所面临的不足与挑战。

高分辨率遥感影像样本库动态构建与智能解译应用

在人工智能时代,遥感影像解译朝着自动化智能化方向发展,高质量的样本数据集是其核心。我国积累了海量优质的时空地理信息基础数据及衍生产品,是深度学习驱动的遥感影像智能解译样本的重要来源。盘活现有数据资源,可推动人工智能与遥感解译的应用深度与广度。本文基于现有数据资源,针对样本数据集区域受限、时效性不强、类型单一等问题,研究了面向深度学习的高分遥感影像智能解译样本库动态构建技术。首先,分析了要素提取、地表覆盖分类、变化检测方面的公开样本数据集的特点,提出业务驱动的样本应需生成-动态构建-智能应用思路;其次,研究了基于历史解译成果的样本自动生成、SAM大模型提示学习引导的样本清洗精化方法及实现过程;再次,设计了具有区域性、时序性、尺度性、多传感器、多类型的样本库,以及顾及空间-时间-地类关系的动态样本数据库架构,研究了样本数据集“量化-检索-组合”动态重构过程,实现时空样本的动态管理与多维检索;最后,开展了地表覆盖分类、要素提取、变化检测等智能解译应用,验证了本文研究思路及方法的可行性,以期推动基于已有基础数据的样本数据集的有效利用,以及样本构建-管理-应用及数据-模型-业务的互联互通,为高分遥感影像智能解译样本库构建与应用提供参考思路。

难分类样本快速空中目标意图识别方法

针对不平衡难分类条件下空中目标群组意图快速识别的难题,提出一种基于滑动窗口估计的时空卷积自注意力网络模型的意图识别方法。该方法根据特征数据的特点对其使用滑动窗口的预先处理,通过时空卷积网络快速提取多维时序特征数据的流信息;然后采用自注意力机制捕捉每个特征数据的关键特征并优化权重。仿真结果表明该方法有效提升了不平衡样本中难分类样本意图识别的训练效率和分类的准确率。

基于困难样本对激励的小样本图像分类方法

使用少量标签样本训练得到的传统模型往往预测精度低、泛化能力弱,很难应用到实际生产中.针对小样本图像提出一种基于困难样本对激励分类方法,包括预训练阶段和元学习阶段.预训练阶段在基类数据集上训练编码器,并作为元学习阶段的初始特征编码器;元学习阶段将进一步优化此编码器,元训练过程使用本质特征法降低异常样本对质心的影响;结合度量学习与元学习设计了困难样本对激励损失函数,从样本对角度出发,在训练过程中引导模型扩大正负样本间距离,使同类样本更加紧凑.在公开数据集mini-ImageNet,tiered-ImageNet上进行实验的结果表明,分类精度分别为64.12%,70.15%,验证了所提方法的有效性和可行性.

面向复杂工业过程的虚拟样本生成综述

用于复杂工业过程难测运行指标和异常故障建模的样本具有量少稀缺、分布不平衡以及内涵机理知识匮乏等特性.虚拟样本生成(Virtual sample generation,VSG)作为扩充建模样本数量及其涵盖空间的技术,已成为解决上述问题的主要手段之一,但已有研究还存在缺乏理论支撑、分类准则与应用边界模糊等问题.本文在描述复杂工业过程难测运行指标和异常故障建模所存在问题的基础上,梳理虚拟样本定义及其内涵,给出面向工业过程回归与分类问题的VSG实现流程;接着,从样本覆盖区域、实现流程与推广应用等方向进行综述;然后,分析讨论VSG的下一步研究方向;最后,对全文进行总结并给出未来挑战.

增强提示学习的少样本文本分类方法

针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化。为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实验评估,结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。

基于噪声样本渐近修正的中医舌色分类方法

基于深度学习的中医舌色分类模型具备良好的性能,但是依赖大量正确标注的样本.由于人工标注样本费时费力,不可避免地存在错误标注,导致模型在训练过程中对噪声样本过拟合,使其泛化能力变差.为此,本文提出了一种基于噪声样本渐近修正的中医舌色分类方法.首先,根据舌色分类的特点,提出了一种全局-局部特征融合方法,将其嵌入到ResNet18骨干网络中,构建了舌色分类网络,并采用集成学习范式,提高分类模型的可靠性和稳定性;其次,针对噪声样本下的舌色分类网络训练问题,提出了样本注意力机制和噪声样本标签重新标注机制,在训练过程中对干净样本和噪声样本加以区分,赋予不同的权重,并逐步对噪声样本标签进行修正;最后,采用Boostrapping损失函数降低模型对噪声样本的关注度,抑制噪声样本对分类性能的影响.将提出的方法在两个自建的舌色分类数据集上进行了实验验证,结果表明,该方法通过渐进地对噪声标签进行校正,可以获得比现有的有噪样本下图像分类方法更高的分类精度,Acc指标分别达到了94.6%和93.65%.

基于小样本学习的滚动轴承故障检测

轴承故障类型复杂,并且在不同工况下每种故障类型都很难获得足够的训练样本。因此,本文提出一种基于深度神经网络的小样本学习分类算法,引入第1层具有宽卷积核网络(Convolutional neural network with training interference,TICNN)作为孪生网络的子网络用于提取特征,减少工业环境噪声影响。孪生网络是一种常用于小样本学习的结构,通过输入相同或不同类别的样本对进行训练,学习不同属性样本与特征之间的映射关系,并采用相似度进行度量。测试样本通过寻找最近邻的类别来实现分类。在标准凯斯西储大学轴承故障诊断基准数据集上的实验结果表明,在数据有限的情况下,本文模型在故障诊断中表现出更好的效果。当使用最少的训练数据在不同的噪声环境中进行测试时,本文小样本学习模型的性能超过了具有合理噪声水平的基线模型,故障诊断准确率达到了94.41%。当在具有新故障类型或新工作条件的测试集上进行评估时,本文模型仍然有效。

基于全局对抗负样本的图对比学习方法

图对比学习在无监督节点表示方面取得了巨大成功。该类模型旨在通过拉近同一节点对应的不同增强节点的表示(正样本),推远不同节点的表示(负样本)的方式为每个节点学习表示。其中负样本的选择是图对比学习的一个关键。现有的方法通过随机采样或者根据一些启发式的重要性度量标准为每个节点选择对应的负样本。然而上述方法并不能准确地找到对模型关键的负样本。同时,由于需要为每一个节点选取其对应的负样本,导致高昂的时间开销。为了解决上述问题,该文提出通过对抗学习的方式,为所有节点学习一个全局共享的关键的负样本。在多个基准数据集上的实验结果证明了该方法的效率和有效性。

基于微调原型网络的小样本敏感信息识别方法

敏感信息识别主要是指识别互联网上涉及色情、毒品、邪教、暴力等类型的敏感信息,现有的敏感信息识别通常将其看作文本分类任务,但由于缺乏大规模的敏感信息标注数据,分类效果不佳。该文提出一种基于微调原型网络的小样本敏感信息识别方法,在小样本学习框架下,利用快速适应的微调原型网络来缓解元训练阶段通用新闻领域和元测试阶段敏感信息数据差异大的问题。首先,在元训练阶段,基于通用新闻领域的分类数据训练模型来学习通用知识,同时在训练过程中经过两阶段梯度更新,得到一组对新任务敏感的快速适应初始参数,然后在元测试阶段敏感文本数据集的新任务上,冻结模型部分参数并使用支持集进一步微调,使模型更好地泛化到敏感识别领域上。实验结果证明,相比当前最优的小样本分类模型,该文提出的快速适应微调策略的原型网络显著提升了敏感信息识别效果。

采用特征图增强原型的小样本图像分类方法

在基于度量学习的小样本图像分类方法中,由于标注样本的稀缺,仅用支持集样本得到的类原型往往难以代表整个类别的真实分布;同时,同类样本间也可能在多个方面存在较大差异,较大的类内差异可能使样本特征偏离类别中心。针对上述可能严重影响图像分类性能的问题,提出一种采用特征图增强原型的小样本图像分类方法(FMEP)。首先,用余弦相似度从查询集样本特征图中选择部分相似特征加入类原型中,得到更具代表性的特征图增强原型;其次,对相似的查询集样本特征进行聚合,缓解类内差异大导致的问题,使同类样本的特征分布更接近;最后,用在特征空间中与真实类别分布都更接近的特征图增强原型和聚合查询特征进行相似度比较得到更优的分类结果。所提方法在MiniImageNet、TieredImageNet、CUB-200和CIFAR-FS等常用的小样本图像分类数据集上进行了实验,结果表明所提方法获得了比基线模型更优的分类性能,同时也优于同类型的小样本图像分类方法。

《涉及人的生命科学和医学研究伦理审查办法》对生物样本的要求及对伦理审查的挑战

关于生物样本,相较于《涉及人的生物医学研究伦理审查办法》,新发布的《涉及人的生命科学和医学研究伦理审查办法》更新了定义,明确了范畴,界定了主体责任,强调了管理体系、伦理审查和知情同意。通过对比分析国内外生物样本的管理现状,发现中国对生物样本的管理和伦理审查仍存在诸多问题,生物样本的管理体系较混乱,管理的责任主体不明确,缺少行业内广泛认可的生物样本管理规范,伦理委员会缺位,伦理审查不规范,知情同意不充分或无法落实,研究结果难反馈等。因此,建议建立规范化的生物样本管理体系,进行规范有效的伦理审查和充分必要的知情同意等,以达到《涉及人的生命科学和医学研究伦理审查办法》对生物样本的要求,提升中国生物样本的管理质量。

基于模型微调的空中无人机小样本目标识别方法

空中无人机目标识别是现代军事、航空领域的迫切需求,由于目前无人机的功能和种类繁多,对于新机型很难采集大量的无人机样本用于训练目标识别模型;针对该问题,提出了一种基于模型微调的空中无人机小样本目标识别方法;方法以Faster R-CNN为基础架构,首先采用具有大量标记样本的常见机型数据预训练Faster R-CNN模型;然后将基础架构最后的分类层替换为余弦度量,构建联合新机型与常见机型的小样本平衡数据集以较小的学习率微调分类层;实验结果表明,在标记样本数量为5、10和50的情况下,基于模型微调的小样本目标识别模型的mAP分别为88.6%,89.2%和90.8%,能够满足空中无人机小样本目标识别任务需求,且优于其它小样本目标识别方法。

追踪调查中的样本更新问题研究——部分国际追踪调查的实践经验总结及思考

社会科学研究中,经常需要对样本成员进行长期甚至终身追访,以揭示现象的变化和发展规律、有效识别现象间的因果关系,同时估计截面总体特征也是关注的重点。追踪调查数据在研究变量变化规律、识别变量间因果关系等方面具有显著优势,在社会科学研究中得到广泛应用。然而,随着追访轮次的增加,受无回答和样本成员死亡的影响,追踪样本会出现样本损耗、低年龄组代表性不足等问题。此外,由于移民和新生总体的加入,截面总体不断变化。因此,利用追踪样本估计截面总体会面临潜在的偏差,包括无回答偏差和涵盖偏差。为了减少这些偏差,国际上多数追踪调查项目均定期或不定期从总体或子总体中抽取更新样本,并将其和追踪样本整合起来,以估计截面总体特征,即对追踪样本进行样本更新。尽管我国追踪调查项目取得一定发展,但国内却鲜有文献对此问题进行讨论。本文通过梳理部分国际知名追踪调查的抽样设计方案和技术文档,对样本更新的总体范围、更新频率、更新样本的抽取方法、追踪样本和更新样本整合方法的实践经验进行归纳和总结,并指出潜在的问题及需要加强研究的方向,为我国追踪调查实践提供经验和理论上的支撑。