结合对抗训练和特征混合的孪生网络防御模型

神经网络模型容易受到对抗样本攻击。针对当前防御方法侧重改进模型结构或模型仅使用对抗训练方法导致防御类型单一且损害模型分类能力、效率低下的问题,提出结合对抗训练和特征混合训练孪生神经网络模型(SS-ResNet18)的方法。该方法通过线性插值混合训练集样本数据,使用残差注意力模块搭建孪生网络模型,将PGD对抗样本和正常样本输入不同分支网络进行训练。在特征空间互换相邻样本部分输入特征以增强网络抗干扰能力,结合对抗损失和分类损失作为网络整体损失函数并对其进行标签平滑。在CIFAR-10和SVHN数据集上进行实验,该方法在白盒攻击下表现出优异的防御性能,黑盒攻击下模型对PGD、JSMA等对抗样本的防御成功率均在80%以上;同时,SS-ResNet18模型时间花销仅为子空间对抗训练方法的二分之一。实验结果表明,SS-ResNet18模型能防御多种对抗样本攻击,与现有防御方法相比,其鲁棒性强且训练耗时较短。

基于对抗训练的事件要素识别方法

针对目前大多数事件要素识别模型未考虑词级别的语义信息,及模型鲁棒性不高的问题,提出一种融合词信息和对抗训练的事件要素识别方法。将Bert(bidirectional encode representations from transformers)预训练语言模型生成的字向量与分词信息进行融合,在得到的融合向量中添加扰动因子产生对抗样本,将对抗样本与融合向量表示作为编码层的输入;采用BiGRU(bidirectional gating recurrent unit)网络对输入的文本进行编码,丰富文本的上下文语义信息;采用CRF(conditional random field)函数计算完成事件要素的识别任务。在CEC(Chinese emergency corpus)中文突发事件语料库上的实验结果表明,该方法能够取得较好的效果。

谛听:面向鲁棒分布外样本检测的半监督对抗训练方法

检测训练集分布之外的分布外(out-of-distribution,OOD)样本对于深度神经网络(deep neural network,DNN)分类器在开放环境的部署至关重要.检测OOD样本可以视为一种二分类问题,即把输入样本分类为“分布内(in-distribution,ID)”类或“分布外”类.进一步地,检测器自身还可能遭受到恶意的对抗攻击而被再次绕过.这些带有恶意扰动的OOD样本称为对抗OOD样本.构建鲁棒的OOD检测器以检测对抗OOD样本是一项更具挑战性的任务.为习得可分离且对恶意扰动鲁棒的表示,现有方法往往利用辅助的干净OOD样本邻域内的对抗OOD样本来训练DNN.然而,由于辅助的OOD训练集与原ID训练集的分布差异,训练对抗OOD样本无法足够有效地使分布内决策边界对对抗扰动真正鲁棒.从ID样本的邻域内生成的对抗ID样本拥有与原ID样本近乎一样的语义信息,是一种离分布内区域更近的OOD样本,对提升分布内边界对对抗扰动的鲁棒性很有效.基于此,提出一种半监督的对抗训练方法——谛听,来构建鲁棒的OOD检测器,用以同时检测干净OOD样本和对抗OOD样本.谛听将对抗ID样本视为一种辅助的“近OOD”样本,并将其与其他辅助的干净OOD样本和对抗OOD样本联合训练DNN,以提升OOD检测的鲁棒性.实验结果表明,谛听在检测由强攻击生成的对抗OOD样本上具有显著的优势,同时在原分类主任务及检测干净OOD样本上保持先进的性能.

基于MacBERT与对抗训练的机器阅读理解模型

机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。

基于离散余弦变换的快速对抗训练方法

为了提升深度神经网络的鲁棒性,从频域的角度提出基于离散余弦变换(DCT)的快速对抗训练方法.引入对抗初始化生成模块,根据系统的鲁棒性自适应地生成初始化信息,可以更精准地捕捉到图像特征,有效避免灾难性过拟合.对样本进行随机谱变换,将样本从空间域变换至频谱域,通过控制频谱显著性提高模型的迁移与泛化能力.在CIFAR-10与CIFAR-100数据集上验证提出方法的有效性.实验结果表明,在以ResNet18为目标网络,面对PGD-10攻击时,本文方法在CIFAR-10上的鲁棒精度较现有方法提升了2%~9%,在CIFAR-100上提升了1%~9%.在面对PGD-20、PGD-50、C&W等其他攻击以及架构更复杂的模型时,均取得了类似的效果.提出方法在避免灾难性过拟合现象的同时,有效提高了系统的鲁棒性.

基于Patch域对抗训练的语音增强

在基于深度学习的语音增强方法中,往往会遇到训练数据和测试数据分布不匹配的问题,这种不匹配包括两个数据中说话人、说话内容、噪声类型及信噪比的不匹配。严重的数据不匹配问题会导致语音增强的性能大幅下降,针对这种情况提出了一种基于Patch域对抗训练的语音增强方法。该方法在先前域对抗训练的语音增强方法基础上,通过域判别器的隐式建模,能使整段语音被划分为多个独立Patch再进行判别,实现了对训练数据的适应性学习,从而减小训练数据和测试数据之间的分布差异,提高了模型在测试数据上的增强能力。实验结果表明,该方法在不同程度的数据不匹配问题下较先前方法都表现出优异的性能,且作为对抗训练也保持了良好的稳定性。

基于BERT和改进对抗训练的痛风病历分类方法

为解决痛风电子病历文本稀疏性高、数据集小导致的分类任务准确率低问题,提出一种基于BERT预训练模型和改进对抗训练的痛风病历文本分类算法。使用中文生物医学语言预训练模型MC-BERT初始化病历文本,下接Text-CNN网络捕捉文本中不同长度的关键词信息,在模型训练过程中采用改进的对抗训练策略,在词嵌入中添加对抗性扰动提高模型的泛化性。实验结果表明,该算法可以提高中文痛风病历文本分类任务的精度,增强模型的鲁棒性。

基于STM32的对抗训练智能考核系统研究

基于对抗的训练需求出发进行智能信息化对抗训练硬件和软件的设计,并进行实物验证.综合分析了对抗训练的过程,设计了数据收集解析方法,利用STM32嵌入式电路端口将多种功能模块融合,根据训练考核评估要求显示力量、对抗位置、胜负结果并进行语音播报,同时裁判可远程判断违规,实现终端的人机交互.

基于对抗训练与Transformer的风力发电机故障分类方法

风力发电机故障分类的复杂性和多样性严重影响风能发电效率,传统的人工方法效率低下,准确率较低,已有的深度学习模型在真实环境中易受数据噪声干扰而表现不佳。为提升风力发电机故障分类模型在真实环境下的分类性能与鲁棒性,提出一种基于对抗训练与Transformer的故障分类方法。首先通过引入一维卷积与门控线性单元(GLU)增强注意力机制对局部特征的学习,保留易被忽略的局部信息,提升模型对于局部特征的敏感度。其次结合限制因子约束对抗样本,提高对抗样本产生的准确性。最后在消除错误样本的同时反馈生成过程,使其具备更好的抗干扰能力。实验结果表明,与5种常用的分类模型相比,所提模型分类性能平均提升7.76%,与真实结果之间的误差最小。局部增强的注意力机制和所提的对抗训练方法分别使模型的分类性能平均提升4.51%、4.95%。所提模型在10%~20%噪声环境中仍保持较好性能,增强了其在真实环境中的稳定性。该方法在提高分类准确率的同时使模型具备更强的泛化能力,对于提升风力发电机故障分类性能与鲁棒性具有重要意义。

基于可学习攻击步长的联合对抗训练方法

对抗训练(AT)是抵御对抗攻击的有力手段。然而,现有方法在训练效率和对抗鲁棒性之间往往难以平衡。部分方法提高训练效率但降低对抗鲁棒性,而其他方法则相反。为了找到最佳平衡点,提出了一种基于可学习攻击步长的联合对抗训练方法(FGSM-LASS)。该方法包括预测模型和目标模型,其中,预测模型为每个样本预测攻击步长,替代FGSM算法的固定大小攻击步长。接着,将目标模型参数和原始样本输入改进的FGSM算法,生成对抗样本。最后,采用联合训练策略,共同训练预测和目标模型。在与最新五种方法比较时,FGSM-LASS在速度上比鲁棒性最优的LAS-AT快6倍,而鲁棒性仅下降1%;与速度相近的ATAS相比,鲁棒性提升3%。实验结果证明,FGSM-LASS在训练速度和对抗鲁棒性之间的权衡表现优于现有方法。

基于随机噪声和自适应步长的快速对抗训练方法

当前对抗训练(AT)及其变体被证明是防御对抗攻击的最有效方法,但生成对抗样本的过程需要庞大的计算资源,导致模型训练效率低、可行性不强;快速AT(Fast-AT)使用单步对抗攻击代替多步对抗攻击加速训练过程,但模型鲁棒性远低于多步AT方法且容易发生灾难性过拟合(CO)。针对这些问题,提出一种基于随机噪声和自适应步长的Fast-AT方法。首先,在生成对抗样本的每次迭代中,通过对原始输入图像添加随机噪声增强数据;其次,累积训练过程中每个对抗样本的梯度,并根据梯度信息自适应地调整对抗样本的扰动步长;最后,根据步长和梯度进行对抗攻击,生成对抗样本用于模型训练。在CIFAR-10、CIFAR-100数据集上进行多种对抗攻击,相较于N-FGSM(Noise Fast Gradient Sign Method),所提方法在鲁棒准确率上取得了至少0.35个百分点的提升。实验结果表明,所提方法能避免Fast-AT中的CO问题,提高深度学习模型的鲁棒性。

基于多头自注意力机制和对抗训练的实体关系联合抽取

实体关系联合抽取是构建知识图谱的重要阶段,旨在抽取文本中存在语义关系的实体对。针对已有的实体关系联合抽取方法在抽取过程中存在的冗余关系预测、实体关系重叠以及上下文潜在语义信息捕捉不足的问题,提出联合多头自注意力机制和对抗训练的方法进行实体关系的抽取。该方法利用多头自注意力机制捕获潜在语义特征,以提升模型对上下文语义信息的感知能力;将对抗训练引入模型的训练阶段,以增强模型的泛化能力和鲁棒性。实验结果表明:与现有主流模型对比,提出的模型在NYT和WebNLG两个公共数据集上都取得了更优的F 1值,在处理实体关系重叠问题以及不定数量三元组抽取上都能保持稳定的性能表现,验证了模型的有效性。

虚拟对抗训练的跨域块对比半监督细胞核分割

针对目前细胞核的半监督对比学习语义分割质量高度依赖于平滑、正确伪标签的预测等问题,提出了虚拟对抗训练的跨域块对比学习半监督细胞核语义分割方法。该方法将虚拟对抗训练(VAT)方法融入到跨域块对比学习半监督细胞核语义分割模型中用以提升网络预测伪标签的平滑度与准确度,并使用像素自加权的一致性正则化损失替换原有的人工设置高置信度阈值的一致性正则化损失,对图像中各像素的损失自加权,正确地对网络预测的伪标签进行有效利用。实验结果表明,在有标签图片比例为1/32,1/16和1/8下,该方法在MoNuSeg数据集上的医学图像分割评估指标Dice系数和Jaccard系数分别较CDCL模型提升了0.96百分点和1.11百分点,0.74百分点和0.85百分点,1.40百分点和2.00百分点,在DSB数据集上的Dice系数和Jaccard系数分别较CDCL模型提升了1.69百分点和2.27百分点,1.47百分点和2.19百分点,1.24百分点和1.77百分点。

基于对抗训练和片段级别的双向情感三元组抽取模型

方面级情感三元组抽取(Aspect Sentiment Triplet Extraction,ASTE)旨在识别句子中的方面词、观点词及其对应的情感极性。针对现有模型语义理解能力和泛化性不佳的问题,提出了基于对抗训练和片段级别的双向情感三元组抽取模型,预测情感极性时考虑了片段之间的相互作用,使用双仿射分类分析它们之间的情感依赖关系。为了保证上下游任务的一致性,通过SpanBERT(Improving Pre-training by Representing and Predicting Spans)模型得到词向量表征,使用BiGRU(Bidirectional Gated Recurrent Unit)网络进行特征提取,提出使用FGM(Fast Gradient Method)对抗训练算法提高模型的鲁棒性和泛化能力。相较于基线模型,基于对抗训练和片段级别的双向情感三元组抽取模型在4个数据集上的F1分数分别提升了0.85百分点、1.42百分点、2.27百分点和2.85百分点,表明了本文所提方法的可行性。

融合对抗训练与ERNIE的短文本情感分析模型

使用深度学习技术进行文本情感分类是近年来自然语言处理领域的研究热点,好的文本表示是提升深度学习模型分类性能的关键因素。由于短文本蕴含情感信息较少、训练时易受噪声干扰,因此提出一种融合对抗训练的文本情感分析模型PERNIE RCNN。该模型使用ERNIE预训练模型对输入文本进行向量化,初步提取文本的情感特征。随后在ERNIE预训练模型的输出向量上添加噪声扰动,对原始样本进行对抗攻击生成对抗样本,并将生成的对抗样本送入分类模型进行对抗训练,提高模型面临噪声攻击时的鲁棒性。实验结果表明,PERNIE RCNN模型的文本分类性能更好,泛化能力更优。

基于MacBERT与对抗训练的在线课程评论的方面词抽取

针对目前在线教育数据集规模相对较小,方面词抽取任务的标注数据相对稀缺的现象,提出利用在线课程评论制定相应的数据集。为验证基于深度学习的方面词抽取方法的有效性,提出基于MacBERT与对抗训练的方面词抽取模型。该模型利用MacBERT层提取文本语义信息并转换为词向量;在原始词向量上加入一定扰动生成对抗样本,提高模型鲁棒性;再通过BiLSTM层进一步获取上下文信息;最后使用CRF进一步优化模型结果,得到最佳预测序列。实验结果表明,在构建的在线课程评论数据集和人民日报公共数据集中,该模型识别结果优于其他基于主流神经网络的方面词抽取模型,较BERT-BiLSTM-CRF模型F1值分别提升了7.45%、7.06%,证明了该方法的可行性。

基于双注意力机制和改进对抗训练的漏洞分类方法

漏洞报告在网络安全中发挥着重要作用,大量且不断增加的漏洞对漏洞分类的效率和准确性提出了巨大挑战。为了缓解漏洞分类深度学习模型无法关注重要特征和容易陷入过拟合的问题,提出了一种新颖的基于双注意力机制和改进对抗训练的漏洞分类方法。首先,提出TextCNN-DA(text convolutional neural network with double attention)模型,将空间注意力和通道注意力机制与TextCNN结合,以更好地关注到重要特征。然后,提出SWV-FGM (single word vector-fast gradient method)算法,对模型进行对抗训练,进而提高模型的鲁棒性和泛化性。在漏洞数据集上与其他基线算法进行了对比,并且对不同漏洞类型数据的表现进行了具体分析,该方法在accuracy、macro-F_1等多项指标上都有更良好的表现,能够更好地完成漏洞分类任务。

基于自适应攻击强度的对抗训练方法

深度神经网络(DNN)易受对抗样本攻击的特性引发了人们对人工智能系统安全性和可靠性的重大关切,其中对抗训练是增强对抗鲁棒性的一种有效方式。针对现有方法使用固定的对抗样本生成策略但存在忽视对抗样本生成阶段对对抗训练重要性的问题,提出一种基于自适应攻击强度的对抗训练方法。首先,将干净样本和对抗样本输入模型得到输出;然后,计算干净样本和对抗样本模型输出的差异;最后,衡量该差异与上一时刻差异的变化情况,并自动调整对抗样本强度。对三个基准数据集的全面实验结果表明,相较于基准方法投影梯度下降的对抗训练(PGD-AT),该方法在三个基准数据集的AA(AutoAttack)攻击下鲁棒精度分别提升1.92、1.50和3.35个百分点,且所提出方法在鲁棒性和自然准确率方面优于最先进的防御方法可学习攻击策略的对抗训练(LAS-AT)。此外,从数据增强角度看,该方法可以有效解决对抗训练这种特殊数据增强方式中增广效果随训练进展会不断下降的问题。

融合迁移学习的对抗训练模型鲁棒性优化方法

在图像分类网络中使用对抗训练方法会提高模型鲁棒性,但也会导致分类精度下降。为此,提出一种融合迁移学习的对抗训练鲁棒性优化方法。首先采用迁移学习中的模型迁移法提高网络对非鲁棒性特征的学习能力,并构造对抗样本;在损失函数中添加L2正则化项,约束参数空间,加快对抗训练收敛速度;最后训练得到鲁棒的分类网络模型。在CIFAR-10和蚂蚁蜜蜂数据集上进行实验,实现了在三种对抗样本攻击下准确率分别提升8.3%、36.7%、13.9%。实验结果表明,上述方法在提高模型鲁棒性的同时,分类精度也有所提高。

融合对抗训练及全局指针的实体关系联合抽取

实体关系联合抽取旨在从文本中抽取出实体关系三元组,是构建知识图谱十分重要的步骤之一.针对实体关系抽取中存在的信息表达能力不强、泛化能力较差、实体重叠和关系冗余等问题,提出了一种实体关系联合抽取模型RGPNRE.使用RoBERTa预训练模型作为编码器,提高了模型的表达信息能力.在训练过程中引入了对抗训练,提升了模型的泛化能力.使用全局指针,解决了实体重叠的问题.使用关系预测,排除不可能的关系,减少了冗余的关系.在基于schema的中文医学信息抽取数据集CMeIE上进行的实体关系抽取实验表明,模型的F1值比基准模型提升了约2个百分点,在实体对重叠的情况下,模型的F1值提升了近10个百分点,在单一实体重叠情况下,模型的F1值提升了大约1个百分点,说明该模型能够更准确地提取实体关系三元组,从而有效提升知识图谱构建的准确度.在含有1–5个三元组的对比实验中,在拥有4个三元组的句子中,模型的F1值提升了约2个百分点,而在拥有5个及以上三元组的复杂句子中,F1值提升了约1个百分点,说明该模型能够较好地处理复杂句子场景.