避免近期偏好的自学习掩码分区增量学习

遗忘是人工神经网络在增量学习中的最大问题,被称为“灾难性遗忘”.而人类可以持续地获取新知识,并能保存大部分经常用到的旧知识.人类的这种能持续“增量学习”而很少遗忘是与人脑具有分区学习结构和记忆回放能力相关的.为模拟人脑的这种结构和能力,提出一种“避免近期偏好的自学习掩码分区增量学习方法”简称ASPIL.它包含“区域隔离”和“区域集成”两阶段,二者交替迭代实现持续的增量学习.首先,提出“BN稀疏区域隔离”方法,将新的学习过程与现有知识隔离,避免干扰现有知识;对于“区域集成”,提出自学习掩码(SLM)和双分支融合(GBF)方法.其中SLM准确提取新知识,并提高网络对新知识的适应性,而GBF将新旧知识融合,以达到建立统一的、高精度的认知的目的;训练时,为确保进一步兼顾旧知识,避免对新知识的偏好,提出间隔损失正则项来避免“近期偏好”问题.为评估以上所提出方法的效用,在增量学习标准数据集CIFAR-100和miniImageNet上系统地进行消融实验,并与最新的一系列知名方法进行比较.实验结果表明,所提方法提高了人工神经网络的记忆能力,与最新知名方法相比识别率平均提升5.27%以上.

基于掩码自监督学习的滚动轴承冲击特征提取方法

现有的机械故障智能诊断方法普遍需要大量的可靠样本作为模型的训练支撑,然而,实际应用场景通常缺少标签数据。针对这一难题,提出一种基于掩码自监督学习的滚动轴承局部故障冲击特征提取方法。利用随机掩码对原始轴承故障信号进行布尔运算,得到用于特征提取训练的自监督样本;将掩码处理后的信号输入所搭建的掩码自监督学习网络中,建立包含网络输出与输入峭度差信息的损失函数,对网络进行基于随机掩码自监督学习的多轮训练,使网络获得从原始故障信号中提取故障冲击特征的能力。仿真信号分析表明,所提方法在掩码遮盖比例为95%、训练轮次为250时,能够以96.68%的重构精度重建原始信号中的冲击序列。滚动轴承故障实验进一步表明,所提方法在无需额外训练数据的前提下能有效地从含噪信号中提取故障冲击序列,在效果均优于对比方法最优结果的前提下,所提方法计算耗时低于20 s,远优于MCKD类方法,具有较好的应用价值。

掩码语言增强表示的对比学习微调和应用

在基于Transformer的语言模型中自注意力网络扮演了重要的角色,其中的全连接结构能够以并行方式捕捉序列中非连续的依赖关系。但是,全连接的自注意力网络很容易过拟合到虚假关联信息上,比如词与词、词与预测目标之间的虚假关联。这种过拟合问题限制了语言模型对领域外或分布外数据的泛化能力。为了提高Transformer语言模型对虚假关联的鲁棒性以及泛化能力,提出掩码语言增强表示的对比学习微调框架(fine-tuning framework via mask language model enhanced representations based contrastive learning,MCL-FT)。具体而言,文本序列和其随机掩码后的序列送入到一个孪生网络,结合对比学习目标和下游任务目标对模型进行参数学习。其中,每一个孪生网络由预训练语言模型和任务分类器组成。所以,该微调框架更加符合掩码语言模型预训练学习方式,能够在下游任务中保持预训练知识的泛化能力。在MNLI、FEVER和QQP数据集以及它们的挑战数据集上与最新的基线模型进行了对比,包括大语言模型ChatGPT、GPT4、LLaMA,实验结果验证了提出模型在保证分布内性能的同时有效提高了分布外的性能。在ATIS和Snips数据集上的实验结果证明,该模型在常见自然语言处理任务中也有显著的效果。

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

基于动态动作覆盖的深度强化学习新闻推荐

新闻推荐系统对新媒体新闻传播有着重要作用。提出了一种以深度强化学习为基础的推荐系统,旨在结合神经网络的表征能力和强化学习的策略选择能力来提升新闻推荐效果。使用动态动作掩码加强对用户短期兴趣的判断能力,使用优化缓存机制提升经验缓存的使用效率,通过区域遮蔽性质的奖励设计加快模型训练,从而提高推荐系统在新闻推荐领域的表现。实验表明,所提模型在新闻数据集上的推荐准确率与主流的神经网络推荐方法相当,且在排序性能上优于当前先进的推荐算法。

基于无监督显著性掩码引导的红外与可见光图像融合网络

在具有挑战性的拍摄环境中,使用单张红外或可见光图像很难捕获清晰详细的纹理信息以及热辐射信息。然而,红外和可见光图像融合允许保存来自红外图像的热辐射信息和来自可见光图像的纹理细节。现有的许多方法在融合过程中直接生成融合图像,忽略了对源图像像素级权重贡献的估计,强调了不同源图像之间的学习。为此,提出了基于无监督显著性掩码引导的红外与可见光图像融合网络,利用密集结构在源图像中进行全面的特征提取。它产生一个权重估计概率来评估每个源图像对融合图像的贡献。此外,由于红外与可见光图像缺乏真实标签,难以使用有监督学习,UMGN还引入了显著性掩码,便于网络集中学习红外图像的热辐射信息和可见光纹理信息。在训练过程中还引入了加权保真度项和梯度损失,以防止梯度退化。与大量其他最先进的方法进行对比实验,结果证明了所提出的UMGN方法的优越性和有效性。

改进的掩码图自编码器模型

图自编码器(GAE)作为深度学习领域的重要模型之一,近年来受到了广泛关注。但GAE倾向于以牺牲图的结构信息为代价过度强调邻近信息,使其不适用于链接预测之外的下游任务。针对传统GAE存在的问题,研究者们在图自编码器模型中引入掩码策略,形成掩码图自编码器模型处理图数据。基于此,提出改进的掩码图自编码器(MaskGAE)模型,MaskGAE采用掩码图模型(MGM)作为代理任务,掩蔽一部分边,并尝试用部分可见的、未掩蔽的图结构来重建丢失的部分。在Cora数据集上通过调参将MaskGAE模型节点分类准确率提升了0.5%。

基于掩码自编码的农作物病虫害分类方法

作物病虫害使农业生产遭受损失,但仅依靠人工调查难以满足田间需求。基于机器视觉可实现病虫害自动分类,为农业精准高效生产提供保障。然而现有利用深度学习的方法易受刚性卷积感受野影响,数据增强手段低效且样本量匮乏。针对这些问题,文中提出一种基于掩码自编码学习范式的农业经济作物病虫害分类方法,来弥补现有技术在识别准确率方面的不足。通过对作物图像随机掩蔽、特征提取和依高维映射的全局重建,所提算法能充分挖掘输入的高阶语义隐式表征,建模同一图像内远距离上下文关系,从而训练鲁棒性更强的模型。通过相对总变分变换消除了高频噪声对预训练特征提取过程的干扰。所提方法与当前基于主流卷积网络的方法的对比结果表明,所提方法可显著提升现有方法的性能,准确率由基于ResNet50基准网络的90.48%提升至95.24%。

多级特征融合的掩码自编码声纹识别方法

基于AudioMAE的自监督声纹识别具有良好的泛化性且不需要大量标注数据,但在重构原始梅尔频谱图时,AudioMAE仅使用编码器最后一层的输出,而忽略了编码器浅层包含的特征信息。为了解决这个问题,本文提出一种多级特征融合策略,首先将浅层的特征经过投影层与最后一层特征进行对齐,然后使用动态权重策略融合不同层级的特征,最后将融合后的特征送到解码器进行重构。实验的结果显示,本文方法在top1分类准确率上达到了95.95%,在top5分类准确率上达到了98.44%,较原始的AudioMAE分别提升了0.68%和0.24%。

基于强化学习的人员轮休调度方法

针对传统调度方法求解效果差、效率低、轮休约束表达不准确的问题,首次提出一种基于强化学习的人员轮休调度方法。该方法将轮休调度过程构建为Markov决策过程,利用动作掩码方法实现轮休约束,通过深度Q网络(DQN)方法对轮休调度的策略进行学习。最后,采用学习得到的调度策略对人员进行快速安排。实验表明,在遵守轮休约束的前提下,该方法能够快速给出匹配每日人力需求的人员安排。对比传统的基于遗传的方法,该方法在人力需求拟合上的安排偏差更小,求解效率更高。

移动边缘计算中基于Actor-Critic深度强化学习的任务调度方法

移动边缘计算(MEC)通过将计算与存储资源部署至网络边缘,有效降低了任务响应时间并提高了资源利用率。由于MEC系统状态的动态性和用户需求的多变性,如何进行有效的任务调度面临着巨大的挑战,不合理的任务调度策略将严重影响系统的整体性能。现有工作通常对任务采用平均分配资源或基于规则的策略,不能有效地处理动态的MEC环境,这可能造成过多的资源消耗,进而导致服务质量(QoS)下降。针对上述重要问题,提出了一种MEC中基于Actor-Critic深度强化学习的任务调度方法(TSAC)。首先,提出了一种面向边缘环境的任务调度模型并将任务等待时间和任务完成率作为优化目标;其次,基于所提系统模型与深度强化学习框架,将联合优化问题形式化为马尔可夫决策过程;最后,基于近端策略优化方法,设计了一种新型的掩码机制,在避免智能体做出违反系统约束的动作和策略突变的同时提高了TSAC的收敛性能。基于谷歌集群真实运行数据集进行仿真实验,与深度Q网络方法相比,至少降低6%的任务等待时间,同时提高4%的任务完成率,验证了的可行性和有效性。

基于频域信息掩码的老电影修复算法研究

胶片老电影在长期保存和频繁播放的过程中,难免会出现画质失真。现有的老电影修复方法通常依赖光流对齐干净和失真的视频帧,但光流容易受到划痕和污渍等画质严重失真的影响,导致基于光流的方法修复出的老电影效果不佳。针对上述问题并结合对老电影失真原因以及位置分布进行的分析,本文提出基于频域信息掩码(FreMask)的老电影修复算法,该算法通过前后帧的频域信息差异能够得到准确失真位置。实验结果表明,本文所提出的FreMask显著提升了老电影修复后的效果,通过将FreMask与多种视频超分辨率骨干网络方法结合,视频修复效果均有所提升,证明了FreMask的有效性。

基于提示学习增强BERT的理解能力

提示学习旨在利用提示模板减小语言模型的预训练任务和下游任务间的差距。其难点在于提示模板的设计,为此,文中在构造提示模板的过程中,提出一个通过自动搜索离散提示对连续提示优化的新方法。其中,自动搜索提示基于双向Transformer编码器(Bidirectional Encoder Representation from Transformers, BERT)的预训练任务掩码语言模型训练,连续提示优化是训练自动搜索输出的离散提示在连续空间内的映射张量,根据损失函数对提示模板进行训练。实验表明,在公共基准SuperGLUE中,基于提示学习的BERT相比于原始的BERT模型在准确率和F1值上均有显著的提升。

基于掩码自编码器的小样本深度学习道岔故障诊断模型

以车站现场采集到的ZYJ7型交流道岔转辙机所产生真实道岔动作电流曲线数据为依托,提出基于掩码自编码器的小样本深度学习模型,无须进行特征提取,可实现端到端的自监督学习。首先进行数据预处理,将道岔动作电流曲线数据统一为相同的维数;然后通过随机掩码,将具有人工标签的少量故障数据增强为数量足够大的自监督样本集合,并使用自编码器作为正则化约束;最后通过故障诊断网络,诊断出曲线的故障类型和故障位置。在实验室和车站现场对该模型进行验证,结果表明:该模型在小样本数据集上对故障分类的准确性预测可达到98%以上,同时也能快速定位曲线故障发生的位置。

基于带约束深度强化学习的在线三维装箱方法

针对三维装箱问题中货物信息有限、放置发生碰撞和物理性稳定受限等,提出基于带约束深度强化学习的在线三维装箱方法。利用改进后的启发式搜索算法来预测放置动作的可行性掩码,并使用该掩码调整策略网络在训练期间输出的动作概率。试验结果表明,算法提高了无序混合货物的装箱效率,单个货物的平均放置时间仅为3.9 ms,空间利用率达到68%。研究为强化学习在组合优化领域的应用提供参考。

基于多掩码与提示句向量融合分类的立场检测

立场检测是指分析文本对于某一目标话题表达的立场,立场通常分为支持、反对和其他。近期的工作大多采用BERT等方法提取文本和话题的句语义特征,通常采用BERT首符号隐藏状态或者句子中每个词隐藏状态取平均作为句向量。该文对句向量的获取进行了改进,采用提示学习模板获取提示句向量,提高句向量的特征提取效果。设计了一种基于多掩码与提示句向量融合分类的立场检测模型(PBMSV),将提示句向量分类与多掩码的模板-答案器结构提示学习分类结合,向句向量引入文本、话题和立场词信息,融合句向量和答案器分类结果,对模型进行联合优化。在NLPCC中文立场检测数据集上的实验表明,在五个话题单独训练模型的实验中,该文方法与此前最优方法相比在三个目标上取得领先或持平,取得了79.3的总F1值,与最优方法接近,并在句向量对比实验中,验证了提示句向量的优势。

基于自监督图掩码神经网络的社交推荐模型

现有自监督社交推荐模型大多通过人工启发式图增强和单一关系视图间对比的策略构建自监督信号,性能受到增强自监督信号质量的影响,难以自适应地抑制噪声.由此,文中提出基于自监督图掩码神经网络的社交推荐模型.首先,分别构建用户社交和物品分类的单一关系视图及高阶连通异构图,采用图掩码学习范式指导用户社交图进行自适应和可学习的数据增强.然后,设计异构图编码器,学习视图中的潜在语义,跨视图对用户、物品嵌入进行对比学习,完成自监督任务,分别对用户、物品嵌入进行加权融合,完成推荐任务.最后,利用多任务训练策略联合优化自监督学习任务、推荐任务和图掩码任务.在3个真实数据集上的实验表明文中模型性能具有一定提升.

基于改进掩码-区域卷积神经网络的混凝土病害实例分割

为对混凝土病害图像进行更精确的实例分割,提出改进掩码-区域卷积神经网络(Mask Region Convolution Neural Network,Mask-RCNN)。该网络采用轻量级的可移动网络(MobileNetV2)代替原始Mask-RCNN中卷积层过大的主干网络——残差网络(ResNet101),加入路径聚合网络(PANet),以提高Mask-RCNN提取浅层特征信息的能力。为验证改进Mask-RCNN的识别精度及其在实际工程中的可行性,首先构建多类混凝土病害图像数据集,利用K-means聚类算法确定最适合该数据集的先验边界框的长宽比,然后对比改进Mask-RCNN与原始Mask-RCNN、其它主流深度学习网络对混凝土五类病害(裂缝、露筋、剥落、白皙和空洞)的识别结果;最后利用无人机采集到的钢筋混凝土桥梁病害图像作为测试集进行测试。结果表明:改进Mask-RCNN在提高计算速度的同时能更准确地定位病害,减少了误检和漏检,识别精度高于原始Mask-RCNN及其它深度学习网络;改进Mask-RCNN可以识别无人机拍摄的未经训练的新的混凝土病害图像,识别精度满足实际工程需求。

基于人工智能算法的地质分层技术及应用效果

地质分层是地质研究的基础,实际工作中地质人员进行大量井的地层划分,工作量大,且不同地质研究人员分层差异较大,分层结果不稳定。根据地质分层任务的特征,对比卷积神经网络、关注分层边界的卷积神经网络、掩码自编码器这3种大数据分析算法,优选掩码自编码器算法进行地质建模。根据地质分层任务的特殊性,结合地质构造,加入条件随机场进行层位顺序约束,对掩码自编码器算法进一步优化。以XX油田A、B区块作为研究示范区,建立地层划分样本,构建地质分层模型,实现二级地层全井段划分以及三级小层精细划分,均取得较好的预测效果,并实现了利用探评井预测开发井。该技术能有效解决分层结果稳定性的问题,并且可以实现批量井快速预测。

基于ERes-ECAM的动物声纹识别

声纹识别技术不仅在人类身份验证领域广泛应用,在动物种类识别方面也取得一定进展。现有模型存在特征表达能力不足的问题,同时,在保证性能的前提下,模型的时间复杂度和推理速度有待优化。提出用于发声动物嵌入学习的改进的残差块连接改进的上下文感知掩蔽(Enhanced Res2block connected Enhanced Context Aware Masking, ERes-ECAM)新型架构,采用了稠密连接的时延神经网络(Densely-connected Time Delay Neural Network, D-TDNN)作为骨干,为了解决模糊不相关噪声问题的同时能够提取更多有效的关键信息,在D-TDNN层中采用多粒度池化方法的改进的上下文感知掩蔽(Enhanced Context Aware Masking, ECAM)模块,前端连接残差模块,通过局部特征融合(Local Feature Fusion, LFF)的方式,将残差块内提取的特征进行融合来提取局部信息,提升了声纹验证系统的准确性和鲁棒性。在Anim-Celeb和Pig-Celeb两个测试集中分别实验,实验结果表明,所提架构的等错误率(Equal Error Rate, EER)分别达到6.88%和7.24%,同时,对动物种类和猪只种类识别准确率达到了93.12%和92.76%。