利用GAN和特征金字塔的模型鲁棒性优化方法

人工智能对抗环境下,深度神经网络对于对抗样本有明显的脆弱性,为提高对抗环境下的模型鲁棒性提出一种深度神经网络模型鲁棒性优化方法AdvRob。首先将目标模型改造为特征金字塔结构,然后利用潜在特征先验知识生成攻击力更强的对抗样本进行对抗训练。在MNIST和CIFAR-10数据集上进行的实验表明,利用潜在特征生成的对抗样本相较于AdvGAN方法攻击成功率高,更具多样性且可迁移性强;在高扰动下,MNIST数据集上AdvRob模型相比原模型对FGSM和JSMA攻击的防御能力提升了至少4倍,对PGD、BIM、C&W攻击的防御能力提升了至少10倍;CIFAR-10数据集上AdvRob模型对FGSM、PGD、C&W、BIM和JSMA攻击的防御能力相较于原模型提升了至少5倍,防御效果明显。在SVHN数据集上,与FGSM对抗训练、PGD对抗训练、防御性蒸馏和增加外部模块的模型鲁棒性优化方法相比,AdvRob方法对白盒攻击的防御效果最显著。为对抗环境下DNN模型提供了一个高效的鲁棒性优化方法。

人工智能对抗环境下的模型鲁棒性研究综述

近年来人工智能研究与应用发展迅速,机器学习模型大量应用在现实的场景中,人工智能模型的安全鲁棒性分析与评估问题已经开始引起人们的关注。最近的研究发现,对于没有经过防御设计的模型,攻击者通过给样本添加微小的人眼不可察觉的扰动,可以轻易的使模型产生误判,从而导致严重的安全性问题,这就是人工智能模型的对抗样本。对抗样本已经成为人工智能安全研究的一个热门领域,各种新的攻击方法,防御方法和模型鲁棒性研究层出不穷,然而至今尚未有一个完备统一的模型鲁棒性的度量评价标准,所以本文总结了现阶段在人工智能对抗环境下的模型鲁棒性研究,论述了当前主流的模型鲁棒性的研究方法,从一个比较全面的视角探讨了对抗环境下的模型鲁棒性这一研究方向的进展,并且提出了一些未来的研究方向。

计及模型鲁棒性的有源配电网动态等值建模方法研究

在分析有源配电网与大电网相互作用时,准确的有源配电网模型至关重要。由于有源配电网内部可再生能源具有随机性和时变性,基于有源配电网某些特定运行点处系统动态特征所建立的传统等值模型,存在鲁棒能力差的问题。针对这个问题,文章提出了一种计及模型鲁棒性的有源配电网动态等值建模方法。首先建立能够表征有源配电网不同运行状态的系统特征数据库,并采用two-step聚类法和Fisher判别方法对有源配电网运行状态进行分类;然后,基于关键参数辨识方法消除参数辨识过程中的多解问题;最后,通过Elman神经网络,获得能够适应于系统不同运行状态的等值模型鲁棒性参数解。通过仿真算例验证了该方法的有效性。

一种增强机器阅读理解鲁棒性的上下文感知多任务学习框架

机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,当文本中存在干扰句时,它们的表现便显著下降.本文从人类做阅读理解任务的角度来解决这个问题,提出了一种端到端的多任务学习框架ASMI(Answer-Span Context Prediction and Mutual Information Estimation and Maximization)来提高MRC模型的鲁棒性.ASMI在预训练语言模型下游微调,包含两种辅助任务:(i)答案上下文预测;(ii)答案与上下文之间的互信息估计.本文设计了一种上下文注意力机制来预测答案上下文软标签,从而强化上下文对于问答任务的指导作用,并降低干扰句对模型的影响.本文还提出了一种新的负样本生成策略,并结合基于JS散度的互信息估计器来估计互信息,从而有效辨析答案上下文和干扰句之间的语义差异,使得模型学习到更加鲁棒的表示.在3个阅读理解基准数据集上的实验结果表明,本文提出的ASMI模型在EM和F1指标上均优于对比模型.

多艾真体的鲁棒性归约模型

基于问题归约方法,对理想分布式离散型多艾真体系统鲁棒性问题进行分解和变换,消解为单艾真体的鲁棒性问题和各艾真体之间离散控制过程的鲁棒性问题,从而降低研究对象难度级别和问题元数。利用较简单鲁棒性问题的求解,就可推导出整个多艾真体系统鲁棒性判据,并总结为多艾真体鲁棒性归约模型和定理。对于实际多艾真体系统,提出多艾真体的鲁棒相关性模型,用以表示离散型多艾真体中各个艾真体之间的鲁棒相关性。然后分析多艾真体的鲁棒性归约模型与鲁棒相关性模型之间的转化关系。最后。

考虑客流波动条件下高速铁路票额分配鲁棒性模型研究

高速铁路票额预分方案与客流量的良好匹配性对于高速铁路运输效益的发挥至关重要。针对铁路客运服务的实际客流量相比于编制开行方案时所依据基础客流量而产生的波动现象,分析票额分配中缓冲票额存在的重要性,研究构建考虑客流波动条件下的高速铁路票额分配鲁棒性模型并设计求解算法。研究结果表明,考虑客流波动条件下高速铁路票额分配鲁棒性模型所得到的票额分配方案不仅与基础客流量具有较高匹配性,而且在实际运营过程中面对客流波动时也具有较高的鲁棒性,可以使票额分配方案尽可能受波动客流的影响最小,以满足客流需求并保障铁路运输企业的经营效益。

抗拜占庭攻击的隐私保护联邦学习

联邦学习是一种隐私保护的分布式机器学习框架,可以让各方参与者在不披露本地数据的前提下共建模型.然而,联邦学习仍然面临拜占庭攻击和用户隐私泄漏等威胁.现有研究结合鲁棒聚合规则和安全计算技术以同时应对上述安全威胁,但是这些方案难以兼顾模型鲁棒性与计算高效性。针对此问题,本文提出一种抗拜占庭攻击的隐私保护联邦学习框架SecFedDMC,在保护用户数据隐私的条件下实现高效的拜占庭攻击检测与防御.基础方案FedDMC采用“先降维后聚类”的策略,设计了高效精准的恶意客户端检测方法.此外,该方法利用的随机主成分分析降维技术和K-均值聚类技术主要由线性运算构成,从而优化了算法在安全计算环境中的适用性。针对基础方案存在的用户数据隐私泄露问题,提出了基于安全多方计算技术的隐私增强方案SecFedDMC.基于轻量级加法秘密分享技术,设计安全的正交三角分解协议和安全的特征分解协议,从而构建双服务器模型下隐私保护的拜占庭鲁棒联邦学习方案,以保护模型训练和拜占庭节点识别过程中的用户隐私.经实验验证,SecFedDMC在保护用户隐私的前提下,可以高效准确地识别拜占庭攻击节点,具有较好的鲁棒性.其中,本方案与最先进的鲁棒联邦学习算法相比,在CIFAR10数据集上,拜占庭攻击节点检测准确率提升12%~24%,全局模型精度提升4.45%~18.48%,计算效率提升33.21%~47.31%.

机械手在作业坐标空间上的鲁棒性模型跟踪控制

本文研究了机械手在作业坐标空间上描述的目标轨迹的鲁棒性模型(Robust Model)跟踪控制系统的构成方法。作为机械手在作业坐标空间上的轨迹跟踪控制系统的最基本、最重要的方法,就是Luh等的加速度分解控制(非线性补偿)方式。然而,用这样的方法,在作为对象的机械手的动态特性发生变化时,很难获得满意的控制性能。大家知道,可以适应动态特性变化的控制方式有利用人工位势法的方法,利用滑动模式控制的方法等。可是,前者是适于“点位控制”的方法,而不是适于轨迹跟踪控制的方法。而后者由于产生的输入为不连续的,所以存在可能引起机械振动或对奇异点考虑不充分等问题。因此,本文考虑将笔者以前提出的连续输入的鲁棒性模型跟踪控制系统的构成方法,应用于机械手在作业坐标空间上的轨迹控制上。如果利用本方法,就可以任意减小在作业坐标空间上定义的规范性模型与机械手前端部之间的状态误差。

一种基于知识蒸馏的神经网络鲁棒性迁移方法

近几年来,深度神经网络在多个领域展现了非常强大的应用能力,但是研究者们发现,通过在输入上添加难以察觉的扰动,可以改变神经网络的输出决策,这类样本被称为对抗样本。目前防御对抗样本,最常见的方法是对抗训练,但是对抗训练有着非常高的训练代价。我们提出了一种知识蒸馏的鲁棒性迁移方案(Robust-KD),结合特征图与雅克比矩阵约束,通过从鲁棒的网络中迁移鲁棒性特征,以比较低的训练代价,取得较强的白盒对抗防御能力。提出的算法在Cifar10、Cifar100与ImageNet数据集上进行了大量的实验,实验表明了我们方案的有效性,即使在非常强大的白盒对抗攻击下,我们的模型依然拥有不错的分类准确率。

一种能耗鲁棒性权衡的3D-WSN拓扑控制算法

该文针对3维无线传感器网络(3D-WSN)需兼顾能耗与鲁棒性的问题,建立了能耗鲁棒性权衡模型,利用Lyapunov稳定性理论证明了稳定平衡解的存在。进而提出了一种基于该模型的拓扑控制算法(TCA-TM),获得了3维无线传感器网络的优化拓扑。实验结果表明,该拓扑结构不仅能够满足网络鲁棒性要求,还能有效地均衡网络能耗,延长网络生命期。

基于权重智能优化的供应链鲁棒性建模与仿真

供应链系统因为本身的复杂性与所处环境的开放性在运行过程中存在各种不确定性,这些不确定性为供应链的正常运转带来了风险,提出一种基于权重智能优化的供应链鲁棒性建模与仿真方法,分析影响供应链鲁棒性的相关因素后,根据客户满意度将因素划分为网络鲁棒性、完成时间比、完成数量比三类,根据供应链的不确定性,使用粒子群优化的方法结合历史数据构造鲁棒性评价模型,对供应链的鲁棒性因素形成动态数字化度量,基于Matlab数学仿真软件分别从点边故障对该模型进行仿真,通过供应链的历史数据对模型进行验证,这种仿真模型的准确率高达92.3%,有效指导了供应链系统的风险评估与优化。

快递企业配送网络的鲁棒性及其提升对策研究

为运用定量的方法提升快递企业配送网络的鲁棒性,以某快递企业的订单号为数据来源,通过网络爬虫、数据清洗等大数据处理手段,获得其在全国范围内的配送网点与路径数据,描绘了其配送网络的拓扑结构;构建重要度评价矩阵确定了配送网络中重要节点,并以其作为测试指标对该配送网络进行鲁棒性分析,结果表明该配送网络对随机性破坏表现出鲁棒性,对蓄意性破坏表现出脆弱性;以投入成本为约束,构造了鲁棒性优化模型,运用Python求解,验证了模型的可行性和有效性,并以求解结果为依据,对该配送网络提出鲁棒性提升对策。

基于单线程的无锚点目标检测模型

为避免锚点对目标检测模型的鲁棒性造成负面影响,并保证在无锚点情况下模型具有较高的准确度,提出一种单线程无锚点全卷积网络模型。通过取消预设锚点参数以及像素级别预测,使得模型在无锚点情况下检测目标时具有更高的鲁棒性。使用沙漏骨干网络取代特征金字塔模块,从而降低锚点与特征金字塔模块的冗余以及计算量,使整体模型结构更加精简。实验结果表明,与经典锚点Retinanet模型相比,该模型利用正例区域原则与中心偏离支路显著提高了预测能力,并且具有更高的正负标签比例和更快的推理速度。

面向深度强化学习的对抗攻防综述

深度强化学习技术以一种端到端学习的通用形式融合了深度学习的感知能力与强化学习的决策能力,在多个领域得到了广泛应用,形成了人工智能领域的研究热点.然而,由于对抗样本等攻击技术的出现,深度强化学习暴露出巨大的安全隐患.例如,通过在真实世界中打印出对抗贴纸便可以轻松地使基于深度强化学习的智能系统做出错误的决策,造成严重的损失.基于此,本文对深度强化学习领域对抗攻防技术的前沿研究进行了全面的综述,旨在把握整个领域的研究进展与方向,进一步推动深度强化学习对抗攻防技术的长足发展,助力其应用安全可靠.结合马尔科夫决策过程中可被扰动的空间,本文首先从基于状态、基于奖励以及基于动作角度的详细阐述了深度强化学习对抗攻击的进展;其次,通过与经典对抗防御算法体系进行对齐,本文从对抗训练、对抗检测、可证明鲁棒性和鲁棒学习的角度归纳总结了深度强化学习领域的对抗防御技术;最后,本文从基于对抗攻击的深度强化学习机理理解与模型增强的角度分析了对抗样本在强化学习领域的应用并讨论了领域内的挑战和未解决问题.

基于自适应冗余矩阵分类器的滚动轴承故障诊断方法

采用传统矩阵分类器(即支持矩阵机SMM)进行滚动轴承故障诊断时存在一定的局限性,即在进行冗余特征分类时难以提取有效特征进行建模,为此,提出了一种基于自适应冗余矩阵分类器(ARMC)的滚动轴承故障诊断方法。首先,在构造ARMC模型的过程中,通过核函数创建了高维分布空间,解决了样本数据线性不可分的问题;然后,采用约束L 1范数的思想,使得样本到所有聚类凸包边界的距离最短,进而将其转化为求解线性规划的问题,降低了模型计算的复杂度;通过正则化约束来控制低秩项,进而弱化冗余特征和噪声成分对模型的影响,得到了更加准确的预测模型;最后,为了验证ARMC方法的有效性,采用美国凯斯西储大学(CWRU)的滚动轴承实验数据和自制滚动轴承故障模拟实验台数据,分别进行了实验;并且将采用该方法所获得的结果与其他方法获得的结果进行了对比。研究结果表明:ARMC利用L 1范数和核函数来构造和求解目标函数,不仅可以保护待诊断对象的结构化信息,而且可以弱化模型复杂度和增强模型的鲁棒性;与支持矩阵机(SMM)和鲁棒支持矩阵机等相比,ARMC能够充分考虑样本冗余信息弱化的问题,平均识别准确率提高3%~8%。

基于主动采样的深度鲁棒神经网络学习

随着深度模型在许多实际任务中的广泛应用,提高模型的鲁棒性已经成为了机器学习的重要研究方向。最新的研究表明,通过对训练样本添加噪声扰动进行训练能有效地提升深度模型的鲁棒性。然而,该训练过程往往需要大量已标注样本。在许多实际应用中,准确地标注每一个样本的标记信息往往代价高昂且异常困难。主动学习是降低样本标注代价的主要方法,通过主动选择最有价值的样本进行标注,在提高模型性能的同时,能最大限度地降低查询标记的代价。提出一种基于主动采样的鲁棒神经网络学习框架,该框架能以较低的标注代价显著地提升深度模型的鲁棒性。在该框架中,基于不一致性的主动采样方法通过生成系列扰动样本并采用其预测差异来衡量每个未标注样本对提升模型鲁棒性的潜在效用,同时挑选不一致性值最大的样本用于深度模型的加噪训练。在基准图像分类任务数据集上进行的实验表明,基于不一致性的主动采样策略能以更低的样本标注代价有效地提升深度神经网络模型的鲁棒性。

视觉域泛化技术及研究进展

近年来,机器学习理论和深度学习算法在计算机视觉领域发展迅速,并且在目标检测、语义分割、动作识别等任务场景中得到广泛应用。然而,实际部署中模型效果往往依赖于训练域和测试域服从独立同分布这一假设,受域偏移(Domain shift)现象影响严重。域偏移(即目标域数据分布与训练域不一致)对模型的泛化性提出了巨大挑战,使得域泛化(Domain generalization)技术成为计算机视觉领域一个重要的研究方向。域泛化研究如何在单一或者多个源域上进行模型训练,使其能够在具有不同数据分布的未知目标域上保持良好的泛化性,为模型应用提供了重要的保障。文章对近年来计算机视觉领域中域泛化研究具有代表性的论文进行梳理和总结,概述视觉域泛化技术及其研究进展。首先对域泛化的任务定义、任务特点和研究思想进行详细阐述;其次,遵循域泛化研究思路,从增广数据空间、优化模型求解和减小域间差异3个大方向分类总结域泛化领域的最新研究成果;随后介绍了域泛化技术在计算机视觉任务中的应用以及已公开的大规模数据集;最后讨论了域泛化研究领域未来可能的研究方向。

双标签监督的几何约束对抗训练

近年来的研究表明,对抗训练是一种有效的防御对抗样本攻击的方法.然而,现有的对抗训练策略在提升模型鲁棒性的同时会造成模型的泛化能力下降.现阶段主流的对抗训练方法通常都是独立地处理每个训练样本,而忽略了样本之间的关系,这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型,以便更好地防御对抗攻击.因此,重点研究如何在对抗训练过程中保持样本间的几何结构稳定性,达到提升模型鲁棒性的目的.具体而言,在对抗训练中,设计了一种新的几何结构约束方法,其目的是保持自然样本与对抗样本的特征空间分布一致性.此外,提出了一种基于双标签的监督学习方法,该方法同时采用自然样本和对抗样本的标签对模型进行联合监督训练.最后,分析了双标签监督学习方法的特性,试图从理论上解释对抗样本的工作机理.多个基准数据集上的实验结果表明:相比于已有方法,该方法有效地提升了模型的鲁棒性且保持了较好的泛化精度.相关代码已经开源:https://github.com/SkyKuang/DGCAT.

一种面向脑疾病诊断的图卷积网络对抗攻击方法

近年来,利用静息态功能磁共振成像的脑功能网络分析已被广泛应用于各类脑疾病的计算机辅助诊断任务中。结合临床表型测量与脑功能网络构建的图卷积神经网络框架,提高了智能医学疾病诊断模型对现实世界的适用性。但是,基于脑功能网络的疾病诊断模型的可信度研究是一个重要但仍被广泛忽视的部分。对抗攻击技术在医疗机器学习中对模型的“欺骗”进一步引发了模型应用于临床实际中的安全与信任问题。基于此,在这项工作中,首次提出了一种面向脑疾病诊断的图卷积网络对抗攻击方法BFGCNattack,结合临床表型测量构建了疾病诊断模型,探索评估了智能诊断模型在面临对抗攻击时的鲁棒性。在自闭症脑成像数据集上的实验结果表明,使用图卷积网络构建的诊断模型在面临提出的对抗攻击时是脆弱的,即使只执行少量(10%)的扰动,模型的准确率和分类裕度均显著下降,同时愚弄率也显著提高。

基于多模态融合的人脸反欺骗技术

在先前的人脸反欺骗方法中大多使用手工提取的特征或者仅使用单一模态上的人脸特征,并且很少注意到多通道色度的差异,因此得到的人脸反欺骗模型的鲁棒性较差以至于无法有效地区分真假面孔。鉴于此,卷积神经网络(CNN)被用作特征提取器来代替手工特征的提取,并且一种有效的多输入CNN模型被提出,以融合多种模态上的人脸特征以实现更具有鲁棒性的人脸反欺骗。通过对人脸图像上的2个不同颜色特征(即HSV和YCbCr)以及时间特征进行联合建模,探索了人脸反欺骗的最佳鲁棒表示。在REPLAY_ATTACK和CASIA-FASD 2个基准数据集上进行的大量实验表明,该方法可实现最先进的性能。且在REPLAY_ATTACK上获得0.23%的错误率(ERR)与0.49%的半错误率(HTER)和在CASIA-FASD数据库上获得1.76%的错误率与3.05%的半错误率。