基于掩码的差分能量分析攻击防范对策

介绍了目前比较有效的抗差分能量分析(DifferentialPowerAnalysis,DPA)攻击的防范对策———掩码(Masking),并将改进后的简单固定值掩码方法推广到固定值掩码方法以抵抗二阶差分能量分析(SODPA)攻击。

避免近期偏好的自学习掩码分区增量学习

遗忘是人工神经网络在增量学习中的最大问题,被称为“灾难性遗忘”.而人类可以持续地获取新知识,并能保存大部分经常用到的旧知识.人类的这种能持续“增量学习”而很少遗忘是与人脑具有分区学习结构和记忆回放能力相关的.为模拟人脑的这种结构和能力,提出一种“避免近期偏好的自学习掩码分区增量学习方法”简称ASPIL.它包含“区域隔离”和“区域集成”两阶段,二者交替迭代实现持续的增量学习.首先,提出“BN稀疏区域隔离”方法,将新的学习过程与现有知识隔离,避免干扰现有知识;对于“区域集成”,提出自学习掩码(SLM)和双分支融合(GBF)方法.其中SLM准确提取新知识,并提高网络对新知识的适应性,而GBF将新旧知识融合,以达到建立统一的、高精度的认知的目的;训练时,为确保进一步兼顾旧知识,避免对新知识的偏好,提出间隔损失正则项来避免“近期偏好”问题.为评估以上所提出方法的效用,在增量学习标准数据集CIFAR-100和miniImageNet上系统地进行消融实验,并与最新的一系列知名方法进行比较.实验结果表明,所提方法提高了人工神经网络的记忆能力,与最新知名方法相比识别率平均提升5.27%以上.

基于信息增强和掩码损失的红外与可见光图像融合方法

针对低光场景下红外与可见光融合图像中存在的细节弱化和边缘模糊等问题,提出一种基于信息增强和掩码损失的图像融合方法。首先,采用引导滤波增强可见光图像的纹理细节和红外图像的边缘梯度;其次,构建双分支特征提取网络提取不同模态图像的特征信息,并设计交互增强模块以渐进交互的方式集成不同特征分支的互补信息,增强特征的细节表示;然后,在融合阶段设计注意力引导模块从空间和通道维度上关注特征信息,提升网络对关键特征的感知能力;最后,提出一种掩码损失以指导融合网络有针对性地保留源图像信息,提升融合质量。为验证所提方法的融合性能,在MSRS、TNO和LLVIP公开数据集上与9种主流的融合算法进行实验对比。结果表明,所提方法在定性和定量评估上均优于其它对比算法,生成的融合图像具有丰富的纹理细节、清晰的显著性目标和良好的视觉感知。

基于区域掩码对比蒸馏的遥感图像目标检测

为解决遥感图像中存在背景干扰以及目标密集分布的问题,采用了一种以区域掩码对比蒸馏为基础的目标检测方法,旨在提高遥感图像目标检测性能.首先,通过对目标特征区域进行掩码操作,以区分前景和背景并捕捉目标的细节纹理,生成细致的特征掩码.其次,结合对比蒸馏算法,通过对教师网络和学生网络的区域掩码进行对比学习,使学生网络更加充分地吸收教师网络在目标特征纹理检测方面的知识.同时,在检测阶段引入了一种旋转定位损失算法,该算法通过量化真实边界框和预测边界框之间的格点向量差来进行损失估计,从而减小了预测边界框与真实边界框之间的旋转损失.结果表明,改进算法的均值平均精度在DOTA和HRSC2016数据集上分别较传统算法提高了3.57%和5.22%.

基于双掩码技术的抗功耗攻击CMOS电路设计

为增强现有差分传输管预充电逻辑(differential pass-transistor pre-charge logic,DP^(2)L)电路结构的抗功耗攻击性能,设计并开发了一种改进型DP^(2)L电路。与改进前电路相比,改进型DP^(2)L电路在不同输入信号下晶体管的导通数目保持相同,从而表现出更好的功耗恒定性能。在此基础上,进一步设计了双轨双掩码差分传输管预充电逻辑(double masked differential pass-transistor pre-charge logic,DMDP^(2)L)电路。该电路不仅改善了原有电路的功耗恒定特性,而且引入的双掩码具有随机性,加大了攻击者获取电路运算结果的难度。模拟结果表明,设计的双轨DMDP^(2)L电路较其他3种同类型逻辑电路的标准化能量偏差(normalized energy deviation,NED)分别减小了11.33%,5.19%和3.06%,表明其具有更好的功耗恒定特性和抗功耗攻击能力。

基于词频掩码的对抗样本防御方法

深度神经网络(Deep Neural Networks,DNNs)在自然语言处理各项任务中均表现出良好性能,但它们易受到对抗性样本的干扰,导致DNNs模型的性能降低。而现有的对抗防御侧重于在训练阶段提升模型的鲁棒性,忽略了在推理过程中抵御对抗性攻击。针对此问题,该文提出了词频检测-掩码恢复(Word Frequency detection Mask Recover,WFMR)的防御方法,该方法主要分两个步骤,通过词频异常检测WF和MR掩码恢复相结合来提升模型的鲁棒性。WF对句子中的单词进行词频检测,将低频的词视为异常单词,而MR通过掩码异常单词来使模型恢复到原始句子的周围。该文分别在三个数据集上利用四种攻击方法进行了综合实验,实验取得了良好的防御效果,验证了该方法的有效性。

一种自监督掩码图像建模的遮挡目标检测方法

为提升目标检测网络在更多遮挡场景下的适应性和检测效果,提出了一种自监督掩码图像建模方法,该方法将训练分为2个阶段:预训练阶段和微调阶段。在预训练阶段,采用局部掩码和重建的代理任务对无标签图像进行训练。在微调阶段,针对被遮挡目标尺度变化和不同大小目标的检测问题,提出了基于视觉Transformer(vision transformer,ViT)的金字塔结构。通过在CrowdHuman和CityPersons数据集上进行对比分析,自监督掩码图像建模方法在检测被遮挡目标方面优于其他方法。

基于掩码语言模型的中文BERT攻击方法

对抗文本是一种能够使深度学习分类器作出错误判断的恶意样本,敌手通过向原始文本中加入人类难以察觉的微小扰动制作出能欺骗目标模型的对抗文本.研究对抗文本生成方法,能对深度神经网络的鲁棒性进行评价,并助力于模型后续的鲁棒性提升工作.当前针对中文文本设计的对抗文本生成方法中,很少有方法将鲁棒性较强的中文BERT模型作为目标模型进行攻击.面向中文文本分类任务,提出一种针对中文BERT的攻击方法Chinese BERT Tricker.该方法使用一种汉字级词语重要性打分方法——重要汉字定位法;同时基于掩码语言模型设计一种包含两类策略的适用于中文的词语级扰动方法实现对重要词语的替换.实验表明,针对文本分类任务,所提方法在两个真实数据集上均能使中文BERT模型的分类准确率大幅下降至40%以下,且其多种攻击性能明显强于其他基线方法.

改进掩码自编码器的滚动轴承半监督故障诊断

针对滚动轴承在不同转速条件下数据分布不同以及实际工程应用中标签样本不足导致故障诊断精度低的问题,将领域适配模块融入掩码自编码器(MAE)中,提出了改进掩码自编码器(IMAE)的滚动轴承半监督故障诊断方法。首先,对滚动轴承振动信号进行连续小波变换(CWT)得到反应信号时频特征的二维时频图,然后对时频图随机掩码,利用无标签样本进行掩码自编码器预训练,获得数据中复杂的内在特征,减少对有标签样本的依赖;其次将领域适配模块引入到预训练后的编码器中,使用少量有标签源域数据对IMAE进行微调,在希尔伯特空间中利用最小化最大均值差异减小因转速不同造成的源域与目标域间数据分布差异;最后在Softmax分类层下实现滚动轴承半监督故障诊断。通过滚动轴承数据集实验验证,所提方法检测精度均达到94%以上,证明了该方法的可行性与有效性。

基于有限域的通用掩码防御方案设计与实现

加密算法被广泛用来保护秘密信息,侧信道攻击通过捕获侧信道数据对加密算法进行攻击。相关功耗分析(Correlation Power Analysis,CPA)攻击具有易于捕获功耗数据、算法实现简单、攻击效率高等特点,是加密算法的重要威胁之一。掩码技术是一种常用于防御功耗分析攻击的技术,这种技术在不修改算法本身功耗特点的情况下,引入随机数。掩码使算法中间值随机化,降低算法中间值与功耗数据的相关性,能够防御相关功耗分析攻击等。对有限域(Galois Field,GF)实现的高级加密标准(Advanced Encryption Standard,AES)算法、SM4算法使用掩码技术进行防护,重点在于优化有限域求逆算法。针对AES算法、SM4算法分别提出一种有限域掩码算法,使用全掩码技术,其中包含一种通用的有限域求逆算法。该GF(28)上求逆算法共使用6个GF(24)乘法模块,2个GF(24)平方模块,2个GF(24)平方后乘常数模块和1个GF(24)求逆模块,求逆结果输出基本同步。实验结果表明,掩码算法有效提升了算法硬件实现的抗功耗攻击能力。

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

秘密共享:高阶掩码S盒和有限域安全乘法设计

在信息时代,信息安全是最不能忽视的重要问题,对密码设备的攻击和防护是该领域的研究热点。近年来,多种对密码设备的攻击已为人所知,其目的都是为了获取设备中的密钥,在众多攻击中,功耗侧信道攻击是最受关注的攻击技术之一。掩码技术是对抗功耗侧信道攻击的有效方法,然而随着攻击手段的不断进步,1阶掩码的防护已经不足以应对2阶及以上的功耗分析攻击,因此对高阶掩码的研究具有重要的意义。为了提升加密电路抗攻击能力,该文基于秘密共享的思想,对分组密码算法的S盒变换实施了高阶掩码防护——共享型掩码,并基于Ishai等人在Crypto 2003上发表的安全方案(ISW框架)提出了有限域安全乘法的通用设计方法。通过实验表明,该文提出的共享型掩码方案不影响加密算法的功能,同时能抵御1阶和2阶相关功耗分析攻击。

改进的掩码图自编码器模型

图自编码器(GAE)作为深度学习领域的重要模型之一,近年来受到了广泛关注。但GAE倾向于以牺牲图的结构信息为代价过度强调邻近信息,使其不适用于链接预测之外的下游任务。针对传统GAE存在的问题,研究者们在图自编码器模型中引入掩码策略,形成掩码图自编码器模型处理图数据。基于此,提出改进的掩码图自编码器(MaskGAE)模型,MaskGAE采用掩码图模型(MGM)作为代理任务,掩蔽一部分边,并尝试用部分可见的、未掩蔽的图结构来重建丢失的部分。在Cora数据集上通过调参将MaskGAE模型节点分类准确率提升了0.5%。

基于稀疏增强重加权与掩码块张量的红外弱小目标检测

高度异构的复杂背景破坏了场景的低秩性,现有算法难以利用低秩稀疏恢复方法从背景中分离出小目标。为了解决上述问题,本文将小目标检测问题转化为张量模型的凸优化函数求解问题,提出基于稀疏增强重加权与掩码块张量的检测模型。首先,将掩码块图像以堆叠方式扩展至张量空间,并构建掩码块张量模型以筛选候选目标。在此基础上,利用结构张量构建稀疏增强重加权模型以抑制背景杂波,克服凸优化函数求解过程中设定加权参数的缺陷。实验表明本文检测算法在背景抑制因子及信杂比增益两方面都优于新近代表性算法,证明该算法的有效性。

融合动态掩码注意力与多教师多特征知识蒸馏的文本分类

知识蒸馏技术可以将大规模模型中的知识压缩到轻量化的模型中,在文本分类任务中实现更高效的推断。现有的知识蒸馏方法较少同时考虑多种教师与多个特征层之间的信息融合。此外,蒸馏过程采用全局填充,未能动态关注数据中的有效信息。为此,该文提出一种融合动态掩码注意力机制与多教师多特征知识蒸馏的文本分类模型,不仅引入多种教师模型(RoBERTa、Electra)的知识源,还兼顾不同教师模型在多个特征层的语义信息,并通过设置动态掩码模型注意力机制使得蒸馏过程动态关注不等长数据,减少无用填充信息的干扰。在4种公开数据集上的实验结果表明,经过蒸馏后的学生模型(TinyBRET)在预测性能上均优于其他基准蒸馏策略,并在采用教师模型1/10的参数量、约1/2的平均运行时间的条件下,取得与两种教师模型相当的分类结果,平均准确率仅下降4.18%和3.33%,平均F 1值仅下降2.30%和2.38%。其注意力热度图也表明动态掩码注意力机制切实加强关注了数据尾部与上下文信息。

基于掩码自监督学习的滚动轴承冲击特征提取方法

现有的机械故障智能诊断方法普遍需要大量的可靠样本作为模型的训练支撑,然而,实际应用场景通常缺少标签数据。针对这一难题,提出一种基于掩码自监督学习的滚动轴承局部故障冲击特征提取方法。利用随机掩码对原始轴承故障信号进行布尔运算,得到用于特征提取训练的自监督样本;将掩码处理后的信号输入所搭建的掩码自监督学习网络中,建立包含网络输出与输入峭度差信息的损失函数,对网络进行基于随机掩码自监督学习的多轮训练,使网络获得从原始故障信号中提取故障冲击特征的能力。仿真信号分析表明,所提方法在掩码遮盖比例为95%、训练轮次为250时,能够以96.68%的重构精度重建原始信号中的冲击序列。滚动轴承故障实验进一步表明,所提方法在无需额外训练数据的前提下能有效地从含噪信号中提取故障冲击序列,在效果均优于对比方法最优结果的前提下,所提方法计算耗时低于20 s,远优于MCKD类方法,具有较好的应用价值。

基于掩码自监督学习的点云动作识别方法

点云动作识别方法可以提供精准的三维动作监测与识别服务,在智能交互、智能安防和医疗健康等领域具有广阔应用前景。现有方法通常利用大量标注的点云数据训练模型,但点云视频包含大量的三维坐标,精准标注点云非常昂贵,同时点云视频高度冗余,点云信息在视频中分布不均,这些问题都增大了标注的难度。为解决上述问题并获得更好的点云动作识别性能,提出一种无需人工标注即可捕获点云视频时空结构的掩码自监督动作识别方法MSTD-Transformer。将点云视频划分为点管并根据重要性进行自适应视频级掩码,通过点云重构和运动预测双流自监督学习点云视频的外观和运动特征。为了更好地捕获运动信息,MSTDTransformer从点云关键点的位移中提取动态注意力并嵌入Transformer,使用双分支结构进行差异化学习,分别捕获运动信息和全局结构。在标准数据集MSRAction-3D上的实验结果表明,提出的方法对24帧点云视频动作识别准确率为96.17%,较现有最好方法提高2.09个百分点,证实了掩码策略和动态注意力的有效性。

基于混合动态掩码与多策略融合的医疗知识图谱问答

医疗知识图谱问答结合医学知识和自然语言处理技术,为医疗从业者和患者提供准确、快速的问答服务。随着数据激增,现有的中文医疗知识图谱不够全面,并且医学问题复杂多义,准确识别实体信息、生成通俗易懂的回答仍有挑战。提出了一种基于混合动态掩码与多策略融合的医疗知识图谱问答框架。通过整合公开数据集与医药平台的疾病知识,构建了一个包含34167个实体和297463条关系的医疗知识图谱,涵盖疾病、药品、食物等多个类别。提出BERT-MaskAttention-BiLSTM-CRF混合动态掩码模型来精确识别输入的医疗实体信息,更有效地关注重要内容,去除冗余信息干扰。采用实体对齐策略将医疗实体进行统一和标准化,通过意图识别策略深入理解用户的查询意图,结合大型语言模型对知识图谱的输出进行润色,保证回答内容更加容易理解。实验结果表明,在实体识别对比实验中模型的宏观平均F1值达到0.9602,在问答测试实验中,平均准确率达到0.9656,且生成的内容更加通俗易懂,可解释性强。

基于掩码一致性机制的弱监督图像语义分割研究

语义分割是一项广泛应用于无人驾驶、缺陷检测等场景的计算机视觉技术,但像素级的细粒度标注需要极大的标注成本,所以如何利用易获取的图像级标签进行弱监督语义分割是长期以来的研究重点。相较于仅依靠类激活映射图(class activation maps,CAM)实现像素级分割,提出掩码一致性机制(masked consistency mechanism,MCM)来提供额外的监督信号,以此来缩小全监督和弱监督之间的差距。在全监督语义分割中,网络对图像每一块的掩码预测都具有一致的像素级分割监督,因此在ViT(vision transformer)中屏蔽掉一部分图像块,并要求仅依靠保留的图像块生成的类激活映射图与依靠完整图像生成的类激活映射图一致,以此为网络训练提供额外的自监督信号。在PASCAL VOC 2012和MS COCO上进行的实验表明,本文方法在使用相同监督水平的情况下优于最先进的方法。

基于无监督显著性掩码引导的红外与可见光图像融合网络

在具有挑战性的拍摄环境中,使用单张红外或可见光图像很难捕获清晰详细的纹理信息以及热辐射信息。然而,红外和可见光图像融合允许保存来自红外图像的热辐射信息和来自可见光图像的纹理细节。现有的许多方法在融合过程中直接生成融合图像,忽略了对源图像像素级权重贡献的估计,强调了不同源图像之间的学习。为此,提出了基于无监督显著性掩码引导的红外与可见光图像融合网络,利用密集结构在源图像中进行全面的特征提取。它产生一个权重估计概率来评估每个源图像对融合图像的贡献。此外,由于红外与可见光图像缺乏真实标签,难以使用有监督学习,UMGN还引入了显著性掩码,便于网络集中学习红外图像的热辐射信息和可见光纹理信息。在训练过程中还引入了加权保真度项和梯度损失,以防止梯度退化。与大量其他最先进的方法进行对比实验,结果证明了所提出的UMGN方法的优越性和有效性。