Bootstrap样本大数据模型和分布式集成学习方法

传统Bootstrap抽样和Bagging集成学习通常以串行方式实现,计算效率低,且存在样本不可重用、扩展性差等问题,不适合高效的大规模Bagging集成学习。从大数据分布式计算的思维入手,提出新的Bootstrap样本划分(BSP)大数据模型和分布式集成学习方法。BSP数据模型通过分布式生成算法将训练数据表达成分布式Bootstrap样本集的集合,存储成HDFS分布式数据文件,为后续的分布式集成学习提供数据支持。分布式集成学习方法从BSP数据模型中随机选取多个BSP数据块,读入集群各个节点的虚拟机,用串行算法对选取的数据块并行计算统计量或训练建模,再将所有的计算子结果回传至主节点中,生成最终的集成学习结果,此过程中可加入对子结果的质量选择以进一步提高预测效果。BSP数据模型的生成和分布式集成学习采用非Map-Reduce计算范式进行,每个数据块的计算独立完成,减少了计算节点间的数据通信开销。提出的算法在Spark开源系统中以新的算子方式实现,供Spark应用程序调用。实验表明,新方法可以高效地生成训练数据的BSP数据模型,提高数据样本的可重用性,在基于有监督机器学习算法构建的大规模Bagging集成学习实验中,计算效率能提高50%以上,同时预测精度进一步提高约2%。

总体均数可信区间估计Bootstrap样本含量的设置

文章探讨了Bootstrap样本含量n*对Bootstrap法总体均数可信区间估计效果的影响。首先模拟从正态分布总体中随机抽样;然后用Bootstrap法进行总体均数可信区间估计,重复1000次,得到1000个可信区间,统计1000个可信区间包含总体均数的准确率。结果表明,Bootstrap样本含量n*对总体均数可信区间估计的准确率影响很大,Bootstrap样本含量n*越小,准确率越高;Bootstrap样本含量n*越大,准确率越低;Bootstrap样本含量n*不能任意设置,当Bootstrap样本含量n*=n-3时,效果最好。

基于改进U-net的少样本煤岩界面图像分割方法

煤岩图像语义分割技术是煤岩界面识别的重要研究方向,现有的语义分割模型通常依赖于大样本数据集进行训练,然而目前已标注的煤岩图像数据样本难以获取,并且缺乏公开数据集。针对以上问题,提出了一种基于改进U-net模型的样本煤岩界面图像分割模型。将裁剪后具有更强特征提取能力且结构上更为简单的VGG16替换U-net的原始骨干特征提取网络,提升对图像信息的特征提取能力并获得更快的训练速度,在U-net网络的跳跃连接和解码器上采样部分引入注意力机制模块,对提取的特征层进行处理,提升模型对煤岩界面图像关键特征的提取能力,提高分割精度。使用迁移学习方法对改进的模型进行预训练,提高模型泛化能力同时避免过拟合,使模型更适用于小样本数据集训练。通过使用自制的煤岩界面数据集对所改进的网络模型性能进行验证,并将该模型与经典Unet、DeepLabv3+、PspNet、HrNet网络模型进行了对比。试验结果表明:在同样使用由125幅煤岩界面图片构建的小样本数据集进行训练的情况下,所提改进模型相较于经典U-net模型在分割精确度和检测效率方面都有显著提升,模型精确度提高了1.84%,平均交并比提高了5.34%,类别平均像素准确率提高了0.48%,检测速度增幅为5.3%。同时,与其他网络模型相比,所提改进模型在小样本煤岩界面图像的语义分割中优势显著,表明所提改进思路的有效性。

小样本学习技术在新型电力系统中的应用与挑战

数据驱动已成为新型电力系统建设及其数字化转型的核心范式,相关算法在负荷预测、状态检修、多主体调控等多项业务中展现出优越的工程效果与应用潜力。然而,实际工程数据往往面临着样本不足、样本不平衡等问题,制约了数据驱动算法的最终效果。因此,需要借助小样本学习来应对这一挑战。文中从数据、特征、模型3个层面探究了小样本学习技术,综述并分析了相关技术在场景生成、故障诊断、电力系统暂态稳定评估等业务的应用现状,并进一步指出小样本学习技术在新型电力系统中所面临的不足与挑战。

基于微调原型网络的小样本敏感信息识别方法

敏感信息识别主要是指识别互联网上涉及色情、毒品、邪教、暴力等类型的敏感信息,现有的敏感信息识别通常将其看作文本分类任务,但由于缺乏大规模的敏感信息标注数据,分类效果不佳。该文提出一种基于微调原型网络的小样本敏感信息识别方法,在小样本学习框架下,利用快速适应的微调原型网络来缓解元训练阶段通用新闻领域和元测试阶段敏感信息数据差异大的问题。首先,在元训练阶段,基于通用新闻领域的分类数据训练模型来学习通用知识,同时在训练过程中经过两阶段梯度更新,得到一组对新任务敏感的快速适应初始参数,然后在元测试阶段敏感文本数据集的新任务上,冻结模型部分参数并使用支持集进一步微调,使模型更好地泛化到敏感识别领域上。实验结果证明,相比当前最优的小样本分类模型,该文提出的快速适应微调策略的原型网络显著提升了敏感信息识别效果。

基于决策边界敏感性和小波变换的电磁信号调制智能识别对抗样本检测方法

深度学习在图像分类和分割、物体检测和追踪、医疗、翻译和语音识别等与人类相关的任务中取得了巨大的成功。它能够处理大量复杂的数据,并自动提取特征进行预测,因此可以更准确地预测结果。随着深度学习模型的不断发展,以及可获得的数据和计算能力的提高,这些应用的准确性不断提升。最近,深度学习也在电磁信号领域得到了广泛应用,例如利用神经网络根据信号的频域和时域特征对其进行分类。但神经网络容易受到对抗样本的干扰,这些对抗样本可以轻易欺骗神经网络,导致分类错误。因此,对抗样本的生成、检测和防护的研究变得尤为重要,这将促进深度学习在电磁信号领域和其他领域的发展。针对现阶段单一的检测方法的有效性不高的问题,提出了基于决策边界敏感性和小波变换重构的对抗样本检测方法。利用了对抗样本与正常样本对模型决策边界的敏感性差异来进行检测,接着针对第一检测阶段中未检测出的对抗样本,本文利用小波变换对样本进行重构,利用样本去噪前后在模型中的预测值差异来进行检测。本文在两种调制信号数据集上进行了实验分析,并与基线检测方法进行对比,此方法更优。这一研究的创新点在于综合考虑了模型决策边界的敏感性和小波变换的重构能力,通过巧妙的组合,提出了一种更为全面、精准的对抗样本检测方法。这为深度学习在电磁信号领域的稳健应用提供了新的思路和方法。

基于多样真实任务生成的鲁棒小样本分类方法

随着大数据、计算机与互联网等技术的不断进步,以机器学习和深度学习为代表的人工智能技术取得了巨大成功,尤其是最近不断涌现的各种大模型,极大地加速了人工智能技术在各个领域的应用.但这些技术的成功离不开海量训练数据和充足的计算资源,大大限制了这些方法在一些数据或计算资源匮乏领域的应用.因此,如何利用少量样本进行学习,也就是小样本学习成为以人工智能技术引领新一轮产业变革中一个十分重要的研究问题.小样本学习中最常用的方法是基于元学习的方法,这类方法通过在一系列相似的训练任务上学习解决这类任务的元知识,在新的测试任务上利用元知识可以进行快速学习.虽然这类方法在小样本分类任务上取得了不错的效果,但是这类方法的一个潜在假设是训练任务和测试任务来自同一分布.这意味着训练任务需要足够多才能使模型学到的元知识泛化到不断变化的测试任务中.但是在一些真正数据匮乏的应用场景,训练任务的数量也是难以保证的.为此,提出一种基于多样真实任务生成的鲁棒小样本分类方法(DATG).该方法通过对已有少量任务进行Mixup,可以生成更多的训练任务帮助模型进行学习.通过约束生成任务的多样性和真实性,该方法可以有效提高小样本分类方法的泛化性.具体来说,先对训练集中的基类进行聚类得到不同的簇,然后从不同的簇中选取任务进行Mixup以增加生成任务的多样性.此外,簇间任务Mixup策略可以减轻学习到与类别高度相关的伪判别特征.同时,为了避免生成的任务与真实分布太偏离,误导模型学习,通过最小化生成任务与真实任务之间的最大均值差异(MMD)来保证生成任务的真实性.最后,从理论上分析了为什么基于簇间任务Mixup的策略可以提高模型的泛化性能.多个数据集上的实验结果进一步证明了所提出的基于多样性和真实性任务扩充方法的有效性.

“z值评价-风险评估-技术核验”统计评价模型用于低样本量能力验证——以水质监测为例

为解决低样本量下的能力验证z比分数评价结果可能偏离参加者真实能力水平的问题,建立了“z值评价-风险评估-技术核验”统计评价模型,以“一带一路”共建国家“水中铁和氟化物的检测”国际能力验证项目为例进行了验证。结果显示:样本量为14家(低样本量)、指定值与样本真值相对误差的绝对值大于4%时,铁检测项目获得“满意”评价结果的14家参加者中,5家存在数据“不准确”中/高风险;氟化物检测项目获得“满意”评价结果的11家参加者中,7家存在数据“不准确”中/高风险。技术核验反映出的突出问题是参加者未按照检测方法的要求实施质量控制措施,标准曲线绘制、试剂配制、关键仪器参数设置记录缺失,原始记录可追溯性较差。由此证实了数据风险点的存在,同时也印证了该统计评价模型的可靠性和必要性。

结合特征融合与增强注意力的少样本目标检测

为了更充分地利用支持特征和查询特征中的关键信息,提出一种基于特征融合和增强注意力的少样本目标检测方法FFA-FSOD(Feature Fusion and enhanced Attention Few-Shot Object Detection)。首先引入迭代注意力特征融合(iAFF)模块,以有效融合支持图像和查询图像的关键特征;其次在iAFF模块后添加特征增强操作,充分利用支持特征信息对查询图像中的目标特征进行增强。为避免上述两次处理可能导致的查询图像特征部分细节信息的丢失,对iAFF模块中的多尺度通道注意力模块(MS-CAM)进行改进,以捕获更多的上下文信息。在MS COCO数据集上的实验结果表明,在2-way 10-shot条件下,与小样本目标检测(FSOD)方法相比,加入iAFF模块、特征增强操作并改进MS-CAM后,FFA-FSOD的平均精度均值(mAP)提升了8.0%。实验结果验证了所提特征融合增强方法充分关注到了特征中的细节信息,从而实现了更好的少样本目标检测效果。

基于局部特征深度信息的绝缘子小样本缺陷检测

基于深度学习的目标检测技术已广泛应用于绝缘子缺陷检测中,然而现有目标检测算法主要基于大量缺陷样本训练网络模型,无法对少样本缺陷进行准确识别。针对绝缘子缺陷检测过程中缺陷样本量不足的问题,该文提出了一种基于局部特征深度信息的绝缘子小样本缺陷检测方法。首先采用旋转目标检测网络改进Faster R-CNN(faster region-based convolutional neural network)模型提取绝缘子串区域,然后对绝缘子串特征进行划分,提取绝缘子串局部特征并基于深度推土距离(deep earth mover’s distance,Deep EMD)网络实现小样本缺陷检测。实验结果表明,在玻璃绝缘子自爆缺陷检测中,所提出方法采用2张训练样本可取得与现有目标检测方法 200张训练样本相同的效果,采用10张训练样本的绝缘子自爆检测在与真值框的交并比阈值为0.5至0.95之间的平均精度(mean average precision,mAP)达到0.65,该方法为小样本电力设备缺陷智能化检测提供了新的方法和思路。

优化合成样本分布的加权过采样方法

针对不均衡数据分类问题中原有过采样方法在生成样本分布上存在的不足,文章提出改进合成样本分布的加权过采样方法——WKSMOTE(Weighted SMOTE for WKMeans preprocess)。首先,应用聚类算法中的WKMeans算法对原数据集进行预处理,进而划分少数类样本,使每个样本生成不同数量的新样本;然后,应用SMOTE算法合成新样本,增强决策边界;最后,将过采样后的均衡数据集在随机森林分类器中进行训练。实验结果表明,WKSMOTE方法对不均衡数据集的整体分类性能有一定的提升,验证了方法的有效性。

融合选择注意力的小样本知识图谱补全模型

在面对实体对关系复杂或目标邻域稀疏等情况时,现有的小样本知识图谱补全模型普遍存在关系表示学习能力不足以及忽略实体对相对位置和交互作用的问题。基于此,提出一种基于选择注意力机制和交互感知的小样本知识图谱补全模型(SAIA)。首先,通过在聚合邻域信息过程中引入选择注意机制,帮助邻域编码器聚焦更重要的邻居以减少噪声邻居的不良影响;其次,在关系表示学习阶段,利用背景知识图谱中与任务关系相关的信息学习更加准确的关系表示;最后,为了挖掘知识图谱实体之间的交互信息和位置信息,设计了一个实体对公共交互率指标(CIR)来衡量实体对三阶路径内的关联程度,然后结合实体语义信息共同预测新的事实。实验结果表明该方法优于目前最先进的小样本知识图谱补全模型。与基准模型最优的结果相比,SAIA在NELL-one和Wiki-one数据集上的5-shot链接预测中,平均倒数排名(MRR)、Hits@10、Hits@5以及Hits@1等性能评价指标分别提高了0.038、0.011、0.028和0.052以及0.034、0.037、0.029和0.027,验证了所提模型的有效性和可行性。

基于虚拟样本生成的致密砂岩储层参数预测

由于孔渗统计回归和测井解释方法在致密砂岩储层参数预测中表现不佳,人工智能方法被广泛应用于致密砂岩储层参数预测中。然而,可用的岩心数据很难满足人工智能大量学习样本的要求。因此,提出了基于高斯混合模型的虚拟样本生成方法,以解决缺乏训练样本的问题。该算法的通过拟合原始样本的分布来生成虚拟样本,填充了小样本数据之间的信息缺失。通过标准函数测试,该方法能有效生成训练数据,实际工区孔隙度和渗透率预测对比试验表明,经过虚拟样本扩充数据集后,模型的预测准确率分别提高了9.7%和18.6%,表明所提出的方法可以有效地提高小样本条件下的模型预测精度。

基于自适应上下文匹配网络的小样本知识图谱补全

知识图谱在构建过程中需要面对繁杂的现实世界信息,无法建模所有知识,因此需要补全。真实的知识图谱中很多类型的关系通常只有少量的训练实体样本对。因此,如何进行小样本知识图谱补全是一个十分有价值的问题。目前基于嵌入的方法一般通过注意力机制等方法聚合实体上下文信息,通过学习关系嵌入的方式来补全知识图谱,仅考虑关系层面的匹配程度,虽然能够预测未知关系,但往往准确度不高。针对小样本知识图谱补全问题,提出了一个自适应上下文匹配网络(Adaptive Context Matching Network,ACMN)。首先提出一个共性邻居感知编码器,聚合参考集实体上下文,即一跳邻居实体,获得共性邻居感知编码;接着提出一个任务相关实体编码器,挖掘任务实体上下文与共性上下文的相似度信息,区分一跳邻居对当前任务的贡献,增强实体表征;然后提出一个上下文关系编码器获得动态关系表征;最后通过加权求和综合考虑实体上下文和关系的匹配程度,完成补全。ACMN从实体上下文相似度和关系匹配程度两个方面综合评价查询三元组是否成立,能够在小样本的背景下有效提高预测准确性。在两个公共数据集上和其他8个广泛使用的算法进行比较,ACMN在不同规模的小样本情况下,取得了目前最好的补全结果。

基于强化样本的伪孪生网络图像篡改定位模型

随着互联网不断发展,网络上的篡改图像越来越多,掩盖篡改痕迹的手段越来越丰富。而现在大多数检测模型没有考虑到图像后处理操作对篡改检测算法的影响,限制了其在实际生活中的应用。为了解决上述问题,提出了一种通用的基于强化样本的伪孪生网络图像篡改定位模型。所提模型利用伪孪生网络,一方面学习真实图像中的篡改特征;另一方面通过约束卷积,抑制图像内容,从而能够更加关注篡改残留的痕迹信息。网络的两分支结构可以达到充分利用图像特征信息的目的。模型利用强化样本,可以自适应地生成当前最需要学习的篡改类型图片,实现对模型有针对性地训练,使得模型在各个方向上学习收敛,最终得到全局最优模型。利用数据增强思路,自动生成丰富的篡改图像以及其对应的掩膜,这很好地解决了篡改数据集有限的问题。在4个数据集上的大量实验证明了所提模型在像素级操作检测方面的可行性和有效性。尤其是在Columbia数据集上,算法的F1值提高了33.5%,Matthews correlation coefficirnt(MCC)得分提高了23.3%,说明所提模型利用深度学习模型的优点,显著提高了篡改定位的检测效果。

基于损失平滑的对抗样本攻击方法

深度神经网络(DNNs)容易受到对抗样本的攻击,现有基于动量的对抗样本生成方法虽然可以达到接近100%的白盒攻击成功率,但是在攻击其他模型时效果仍不理想,黑盒攻击成功率较低。针对此,提出一种基于损失平滑的对抗样本攻击方法来提高对抗样本的可迁移性。在每一步计算梯度的迭代过程中,不直接使用当前梯度,而是使用局部平均梯度来累积动量,以此来抑制损失函数曲面存在的局部振荡现象,从而稳定更新方向,逃离局部极值点。在ImageNet数据集上的大量实验结果表明:所提方法与现有基于动量的方法相比,在单个模型攻击实验中的平均黑盒攻击成功率分别提升了38.07%和27.77%,在集成模型攻击实验中的平均黑盒攻击成功率分别提升了32.50%和28.63%。

基于掩模提取的SAR图像对抗样本生成方法

合成孔径雷达(synthetic aperture radar,SAR)图像的对抗样本生成在当前已经有很多方法,但仍存在对抗样本扰动量较大、训练不稳定以及对抗样本的质量无法保证等问题。针对上述问题,提出了一种SAR图像对抗样本生成模型,该模型基于AdvGAN模型架构,首先根据SAR图像的特点设计了一种由增强Lee滤波器和最大类间方差法(OTSU)自适应阈值分割等模块组成的掩模提取模块,这种方法产生的扰动量更小,与原始样本的结构相似性(structural similarity,SSIM)值达到0.997以上。其次将改进的相对均值生成对抗网络(relativistic average generative adversarial network,RaGAN)损失引入AdvGAN中,使用相对均值判别器,让判别器在训练中同时依赖于真实数据和生成的数据,提高了训练的稳定性与攻击效果。在MSTAR数据集上与相关方法进行了实验对比,实验表明,此方法生成的SAR图像对抗样本在攻击防御模型时的攻击成功率较传统方法提高了10%~15%。

《涉及人的生命科学和医学研究伦理审查办法》对生物样本的要求及对伦理审查的挑战

关于生物样本,相较于《涉及人的生物医学研究伦理审查办法》,新发布的《涉及人的生命科学和医学研究伦理审查办法》更新了定义,明确了范畴,界定了主体责任,强调了管理体系、伦理审查和知情同意。通过对比分析国内外生物样本的管理现状,发现中国对生物样本的管理和伦理审查仍存在诸多问题,生物样本的管理体系较混乱,管理的责任主体不明确,缺少行业内广泛认可的生物样本管理规范,伦理委员会缺位,伦理审查不规范,知情同意不充分或无法落实,研究结果难反馈等。因此,建议建立规范化的生物样本管理体系,进行规范有效的伦理审查和充分必要的知情同意等,以达到《涉及人的生命科学和医学研究伦理审查办法》对生物样本的要求,提升中国生物样本的管理质量。

基于分层特征交叉注意力的小样本马铃薯病害叶片识别

为了及时、准确地识别马铃薯叶片病害,有效预防马铃薯早期病变并提高马铃薯的产量和质量,针对传统马铃薯病害叶片识别方法过度依赖标注样本和特征利用不充分的问题,提出一种基于分层特征交叉注意力的小样本马铃薯病害叶片识别方法。首先,利用VGG-16网络的不同编码块,将支持分支和查询分支的马铃薯叶片映射到深度特征空间,并按照不同块的输出构造分层特征集;其次,设计一种交叉注意力网络,实现双分支网络分层特征之间的信息交互,强化特征的表达;最后,利用掩码平均池化获得交互特征的全局信息,并借助无参数的度量学习指导未知马铃薯病害叶片类型的识别。通过在AI Challenger 2018开源数据集、自建小样本马铃薯数据集上进行测试,所提出模型分别可以实现0.973、0.951的识别精度,优于当前主流的马铃薯病害叶片识别模型,具有较好的实际应用价值。

基于环境因子优化TSES法选择负样本及其在滑坡易发性评价中的应用

滑坡易发性评价是滑坡灾害防治的重要手段之一,而不合理的滑坡负样本会影响滑坡易发性评价,从而影响到滑坡灾害的防治,因此提供一种合理的负样本选取方法变得尤为关键。以西藏米林市的古滑坡为例,选择高程、坡度、坡向、坡位、距道路距离、距断层距离、距水系距离、地形起伏度、地层岩性、土地利用类型10类环境因子,使用Relief算法计算环境因子的贡献值并依据贡献值优化选择环境因子;基于环境因子优化的目标空间外向化采样法(target space exteriorization sampling,简称TSES)选择负样本,作为性能优异的随机森林模型的输入变量;之后结合优化的环境因子和正或负样本预测米林市的滑坡易发性,并用混淆矩阵和ROC曲线评价构建模型的性能。为检验环境因子优化的TSES法的有效性和先进性,采用耦合信息量法和TSES法选择滑坡负样本并构建随机森林模型,与环境因子优化的TSES法构建的随机森林模型进行对比研究。结果表明,环境因子优化的TSES法构建的随机森林模型的评价效果较好,其ACC为93.7%、AUC为0.987,均高于耦合信息量、TSES法构成的模型。环境因子优化的TSES法能够提高模型的精度,解决多因子作为约束条件取样中因子选取的问题,为滑坡易发性评价采集负样本提供了新的思路。