小样本学习技术在新型电力系统中的应用与挑战

数据驱动已成为新型电力系统建设及其数字化转型的核心范式,相关算法在负荷预测、状态检修、多主体调控等多项业务中展现出优越的工程效果与应用潜力。然而,实际工程数据往往面临着样本不足、样本不平衡等问题,制约了数据驱动算法的最终效果。因此,需要借助小样本学习来应对这一挑战。文中从数据、特征、模型3个层面探究了小样本学习技术,综述并分析了相关技术在场景生成、故障诊断、电力系统暂态稳定评估等业务的应用现状,并进一步指出小样本学习技术在新型电力系统中所面临的不足与挑战。

基于拉格朗日对偶的小样本学习隐私保护和公平性约束方法

小样本学习旨在利用少量数据训练并大幅提升模型效用,为解决敏感数据在神经网络模型中的隐私与公平问题提供了重要方法。在小样本学习中,由于小样本数据集中往往包含某些敏感数据,并且这些敏感数据可能有歧视性,导致数据在神经网络模型的训练中存在隐私泄露的风险和公平性问题。此外,在许多领域中,由于隐私或安全等,数据很难或无法获取。同时在差分隐私模型中,噪声的引入不仅会导致模型效用的降低,也会引起模型公平性的失衡。针对这些挑战,提出了一种基于Rényi差分隐私过滤器的样本级自适应隐私过滤算法,利用Rényi差分隐私以实现对隐私损失的更精确计算。进一步,提出了一种基于拉格朗日对偶的隐私性和公平性约束算法,该算法通过引入拉格朗日方法,将差分隐私约束和公平性约束加到目标函数中,并引入拉格朗日乘子来平衡这些约束。利用拉格朗日乘子法将目标函数转化为对偶问题,从而实现同时优化隐私性和公平性,通过拉格朗日函数实现隐私性和公平性的平衡。实验结果证明,该方法既提升了模型性能,又保证了模型的隐私性和公平性。

小样本学习驱动的无线频谱状态感知

无线频谱状态感知是实现无线频谱资源高效利用及各种用频系统和谐共存的先决条件之一。针对复杂无线传播环境下获取的频谱观测往往存在数据稀疏性、数据类别分布不稳定、标记数据严重不足的情况,该文提出基于插值和小样本学习(FSL)分类的无线频谱状态感知方法。首先,对捕获的稀疏频谱观测数据插值,构建频谱状态地图,作为频谱状态分类器的输入数据。其次,针对频谱数据类别分布不稳定、数据量严重不足的问题,基于小样本学习方法,利用嵌入模块和度量模块协同工作,以实现快速精确的频谱状态分类。具体地,利用嵌入模块将频谱数据映射到嵌入空间,提取频谱数据中的隐含特征;在度量模块的设计中,分别提出基于原型和基于样例的两种类别表示方式,通过计算待分类样本与类别之间的相似度判断待分类样本类别。最后,为了确保分类模型克服测试样本数量少导致过拟合问题,设置A-way B-shot任务训练模型。仿真结果表明,与传统机器学习方法相比,本文模型可以在低信噪比条件下进行精准分类;同时,在测试集样本数很少的情况下,或者在测试集中出现在训练集从未见到的新类时,所训练的模型也可以精准快速判别无线频谱的场景类别。

基于图神经网络的小样本学习方法研究进展

小样本学习(few-shot learning,FSL)旨在利用少量样本学习得到解决问题的模型,为解决应用场景中样本量少或标注样本少的问题.图神经网络(graph neural network,GNN)由于其在许多应用中的卓越性能引起了极大的关注,许多学者开始尝试利用图神经网络进行小样本学习,基于图神经网络的方法在小样本领域取得了卓越的成绩.目前与基于图神经网络的小样本学习方法相关的综述性研究较少,缺乏该类方法的划分体系与介绍性工作,因此系统地梳理了当前基于图神经网络的小样本学习的相关工作:概括了小样本学习的图神经网络方法的概念,根据模型的基本思想将其划分为基于节点特征、基于边特征、基于节点对特征和基于类级特征的4类方法,介绍了这4类方法的研究进展;总结了目前常用的小样本数据集和代表性模型在这些数据集上的实验结果,归纳各类方法主要的研究内容和优劣势;最后概述了基于图神经网络的小样本学习方法的应用和面临的挑战,并展望其未发展方向.

基于特征变换和度量网络的小样本学习算法

在小样本分类任务中,每个类别可供训练的样本数量非常有限.因此在特征空间中同类样本分布稀疏,异类样本间边界模糊.提出一种新的基于特征变换和度量网络(Feature transformation and metric networks,FTMN)的小样本学习算法用于小样本分类任务.算法通过嵌入函数将样本映射到特征空间,并计算输入该样本与所属类别中心的特征残差.构造一个特征变换函数对该残差进行学习,使特征空间内的样本特征经过该函数后向同类样本中心靠拢.利用变换后的样本特征更新类别中心,使各类别中心间的距离增大.算法进一步构造了一种新的度量函数,对样本特征中每个局部特征点的度量距离进行联合表达,该函数能够同时对样本特征间的夹角和欧氏距离进行优化.算法在小样本分类任务常用数据集上的优秀表现证明了算法的有效性和泛化性.

基于跨域小样本学习的SAR图像目标识别方法

由于SAR图像获取难度大,可供研究的样本数量较少,解决有限样本条件下SAR图像目标识别问题成为业界公认的挑战。随着深度学习在计算机视觉领域的发展,衍生出了多种小样本图像分类方法,因此考虑采用跨域小样本学习范式解决小样本SAR图像目标识别问题。具体地,先在多个源域中训练得到不同域的特征提取器,而后通过知识蒸馏的方法获取一个通用的特征提取器,这里采用中心核对齐的方法,将提取的特征映射到一个更高维的空间,从而更好地区分原特征之间的非线性相似性;通过上一阶段获得的通用特征提取器提取目标域图像特征,最后采用原型网络的方法预测样本的类别。实验证明,该方法在缩减模型参数的同时,获得了88.61%的准确率,为解决小样本SAR图像目标识别问题提供了新的思路。

基于小样本学习的滚动轴承故障检测

轴承故障类型复杂,并且在不同工况下每种故障类型都很难获得足够的训练样本。因此,本文提出一种基于深度神经网络的小样本学习分类算法,引入第1层具有宽卷积核网络(Convolutional neural network with training interference,TICNN)作为孪生网络的子网络用于提取特征,减少工业环境噪声影响。孪生网络是一种常用于小样本学习的结构,通过输入相同或不同类别的样本对进行训练,学习不同属性样本与特征之间的映射关系,并采用相似度进行度量。测试样本通过寻找最近邻的类别来实现分类。在标准凯斯西储大学轴承故障诊断基准数据集上的实验结果表明,在数据有限的情况下,本文模型在故障诊断中表现出更好的效果。当使用最少的训练数据在不同的噪声环境中进行测试时,本文小样本学习模型的性能超过了具有合理噪声水平的基线模型,故障诊断准确率达到了94.41%。当在具有新故障类型或新工作条件的测试集上进行评估时,本文模型仍然有效。

面向小样本学习的轻量化知识蒸馏

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力,对解决样本匮乏情境下的深度学习任务具有重要意义.但是,在诸多计算资源有限的现实任务中,模型规模仍可能限制小样本学习的广泛应用.这对面向小样本学习的轻量化任务提出了现实的需求.知识蒸馏作为深度学习领域广泛使用的辅助策略,通过额外的监督信息实现模型间知识迁移,在提升模型精度和压缩模型规模方面都有实际应用.首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性.并结合小样本学习任务的特点,针对性地设计两种新的小样本蒸馏方法:(1)基于图像局部特征的蒸馏方法;(2)基于辅助分类器的蒸馏方法.在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.

基于对称卷积块网络和原型校准的小样本学习方法

针对基于原型网络的小样本学习模型泛化能力不足以及由少量样本得到的类原型不准确等问题,提出一种新的小样本学习方法。首先采用一个由双向卷积块注意力模块和残差块构成的对称网络SCB-Net对图像不同深度的特征进行自适应学习,从而提取到更具代表性的类别特征表示,以有效提高模型的泛化能力;其次提出了一种反欧氏标签传播原型校准算法IELP-PC,利用伪标签策略扩充支持集样本;最后在支持集样本上采用反欧氏距离加权对类原型进行校准,进而提高模型的分类精度。在两个常用数据集mini-ImageNet和tiered-ImageNet上进行了实验,结果验证了所提方法的有效性,与基线模型相比,其在5-way 1-shot上分别提高了6.44%和7.83%,在5-way 5-shot上分别提高了2.68%和2.02%。

基于小样本学习的口语理解方法综述

小样本口语理解是目前对话式人工智能亟待解决的问题之一。结合国内外最新研究现状,系统地梳理了口语理解任务的相关文献。简要介绍了在非小样本场景中口语理解任务建模的经典方法,包括无关联建模、隐式关联建模、显式关联建模以及基于预训练范式的建模方法;重点阐述了在小样本口语理解任务中为解决训练样本受限问题而提出的基于模型微调、基于数据增强和基于度量学习3类方法,介绍了如ULMFiT、原型网络和归纳网络等代表性模型。在此基础上对不同模型的语义理解能力、可解释性、泛化能力等性能进行分析对比。最后对口语理解任务面临的挑战和未来发展方向进行讨论,指出零样本口语理解、中文口语理解、开放域口语理解以及跨语言口语理解等研究内容是该领域的研究难点。

基于张量计算的智慧交通多维数据计算与小样本学习

针对智慧交通场景中样本较少且难以获取的问题,提出一种张量计算与小样本学习相结合的综合模型,从而应对目标域样本不足导致训练效果差的情况。构建基于张量计算的多维计算模型,处理智慧交通场景中的多维异构数据,基于数据的时空相关性获得融合数据张量,将融合数据作为输入数据,经由小样本学习模型进行训练,最终根据消融实验结果比较分析基于不同张量计算方案和小样本学习方法的张量小样本学习模型性能。仿真结果表明,相较于2种基于度量的小样本学习模型:原型网络和匹配网络,基于元学习的小样本学习模型和张量计算模型相结合后的可信度更高,并且基于不同的张量融合方案,元学习模型的准确率和F1值得到了不同程度的提升,其中基于逆分解张量融合方案的模型准确率可达0.95,性能优于平行因子分解(CPD)融合方案。

基于小样本学习的炸点目标检测

针对武器测试中炸点目标检测存在的误检、错检问题,提出一种融合自注意力机制、底层信息和解冻权重的两阶段微调的小样本学习方法来进行改进。首先将TFA网络中的FPN替换成带有自注意力机制的AC-FPN网络,并且在金字塔结构部分将底层输出送入顶层,构建一个全新的主干提取网络。然后在对整个网络解冻网络权重,使得新的数据集在整个网络上进行训练。为了验证所提算法,在自制炸点数据集上进行训练和测试,最终该方法的AP为55.2%,比原方法明显提高34.2%,对炸点形状的识别有更好的结果,能更好地满足实际要求。并在Pascal VOC数据集上进行了实验,结果表明该算法的有效性。

基于改进坐标注意力与原型修正的小样本学习

在小样本场景下,利用少量标记数据完成新类识别任务极具挑战性。由于数据的局限性,基于传统原型网络的小样本学习方法获得的类原型存在较大偏差。目前,大多数研究使用卷积神经网络作为特征提取器,但仅能捕获局部关系,无法全面提取样本信息。针对以上问题,基于改进坐标注意力机制,提出了融合嵌入传播与原型修正的小样本学习方法。模型通过改进坐标注意力机制建立图像在水平和垂直方向上的空间与通道信息的联系,获取样本更加准确的图像特征。通过嵌入传播算法对嵌入特征平滑处理后,利用标签传播预测查询集标签,选取查询集特征基于欧氏距离加权修正支持集原型,获得更具有代表性的类原型。在miniImageNet、tieredImageNet和CUB数据集上对所提方法进行了实验,同时与其他方法进行了对比。结果表明,所提方法取得了良好的效果,为解决小样本学习问题提供了一种前景可期的解决途径。

小样本学习在纺织品缺陷检测中的新发展

由于基于深度学习的检测方法是由数据驱动的,因此实现良好的检测效果关键在于拥有充足的训练数据。然而,获取织物缺陷图像通常受到数据不足和样本不平衡等问题的困扰,这直接影响了检测算法的最终效果。因此,需要利用小样本学习技术来应对这一挑战。简要介绍织物疵点图像的主要特点,以便更好地理解小样本学习应用于织物疵点检测领域所面临的挑战。从数据增强、度量学习、元学习、微调4个关键方面探讨小样本学习技术,分析相关技术在工业缺陷检测领域的应用现状,进一步指出小样本学习技术在织物缺陷检测领域中所面临的机遇和挑战,为小样本学习在织物缺陷检测领域的研究提供有价值的参考。

基于协方差度量矩阵的多尺度融合的小样本学习

对于少量训练样本下的图像分类问题,现有的深度模型算法存在着很多问题。比如传统的基于度量学习的算法只是依据定义的距离关系来推断样本类别,易导致模型在类别过多时难以捕获类间差异。同时它们只聚焦于一阶统计量的关系计算和高层语义信息的利用,忽视了低级丰富的原始视觉特征的表达。针对这些问题,论文提出了基于协方差度量矩阵的多尺度融合算法。该算法利用不同尺度信息下的二阶统计量来更新模型参数。实验结果表明该算法能有效地提高小样本图像分类的准确率,具有一定的实用价值。

基于图编码与小样本学习的精神分裂症分析方法

在基于图神经网络的脑功能性疾病研究中,构建脑网络之后不再变化,且一般需要大量的数据进行建模训练。为了解决这两个问题,文章提出一种基于图编码与小样本学习的分析诊断模型。该模型采用皮尔逊相关系数和自注意力机制构建自适应脑网络,并将时域特征、频域特征和脑网络特征作为图卷积神经网络的输入,进行动态学习自适应脑网络和图编码特征。将图编码特征作为图原型网络的输入,进行小样本学习并实现分类。将该模型应用于精神分裂症的分类诊断,实验结果表明,精神分裂症的识别准确率达到83.4%,为脑网络研究提供一种全新的思路和方法,为小样本学习在精神分裂症研究中的应用开辟了新的方向。

基于小样本学习的源码漏洞检测

源码漏洞检测是发现及定位关键系统威胁的重要手段.目前,将深度学习技术应用于源码漏洞检测已经成为研究热点.然而,由于源码漏洞样本缺失,有限的数据条件资源导致现有的源码漏洞检测方法在小样本场景下效果不佳.提出了一种基于小样本学习的源码漏洞检测方法,其目标在于为有限样本量的源码漏洞检测场景提供解决方案.该方法由4个关键部分组成:源码切片和编码、基于元学习的数据集处理、基于动态路由算法的漏洞类向量生成和基于神经张量网络的漏洞类向量匹配.该方法和卷积神经网络、原型网络、关系网络进行了对比,实验结果表明,该方法在准确率方面优于其他的方法,可以有效应对源码漏洞样本稀疏问题.在2-way 5-shot和2-way 10-shot的情况下,该方法分别达到93.92%和95.08%的准确率.

融合类增强与多尺度自适应的小样本学习方法

为了解决小样本学习存在特征信息提取不足、难以准确地捕获局部明显特征信息的问题,提出了一种融合类增强与多尺度自适应的小样本学习方法。首先在特征的层面上对图像进行类增强,通过将特征图的每次激活与其邻域相关联来编码丰富的语义结构,使提取后的类内特征明显,更利于当前的分类任务。其次通过多尺度特征生成来提取不同尺度上图像特征的低层表示。最后对每个尺度上的语义相关矩阵进行权重分配与相似元素最大化计算查询图像与各支持集类别图像之间的语义相似度,多尺度信息进行融合后,对目标图像进行分类。在5-way 1-shot和5-way 5-shot设置中,该方法在miniImageNet数据集上的均值平均精度(mean Average precision,mAP)分别为56.83%和75.76%,在常用细粒度图像数据集Stanford Cars和CUB-200-2011分类基准上分别达到了79.33%和93.92%、66.33%和85.78%,均优于现有方法的最好结果。

基于转导推理的小样本学习方法改进

针对目前小样本图像分类推断置信度有待提高的问题,提出一个新的结合元置信转导推理、数据混淆方法和按特征线性调制方法的模型.首先,利用转导推理在训练过程中能学习到推断数据的性质,可以有针对性地学习;其次,在网络结构中结合数据混淆方法,加强对关键特征的提取,提升模型的特征发现能力;最后,在转导推理框架中加入按特征线性调制变换以改进模型的小样本查询能力.在标准数据集Mini-ImageNet和Tiered-ImageNet上进行实验的结果表明,该模型在这两个数据集上执行5-way 1-shot任务时准确率分别提升了3.21,3.36个百分点,在5-way 5-shot任务上准确率分别提升了2.89,1.89个百分点.实验结果验证了该方法的有效性.

基于小样本学习和多尺度残差网络的特纳综合征预测研究

为了提高特纳综合征(Turner Syndrome, TS)的诊断效率,提出一种基于小样本学习和多尺度残差网络的TS预测模型。对TS人脸图像进行预处理获取人脸主要区域,提出具有多级注意力机制的多尺度残差模块,其中,多尺度残差模块以集成多尺寸卷积核的残差结构实现,多级注意力机制用来学习特征通道关系和不同卷积核的重要性,利用该模块构建多尺度残差网络。使用小样本学习进行模型训练。实验结果表明,该模型能够提升TS的诊断准确率。