面向人工智能模型的安全攻击和防御策略综述

近年来,以深度学习为代表的人工智能技术发展迅速,在计算机视觉、自然语言处理等多个领域得到广泛应用.然而,最新研究表明这些先进的人工智能模型存在潜在的安全隐患,可能影响人工智能技术应用的可靠性.为此,深入调研了面向人工智能模型的安全攻击、攻击检测以及防御策略领域中前沿的研究成果.在模型安全攻击方面,聚焦于对抗性攻击、模型反演攻击、模型窃取攻击等方面的原理和技术现状;在模型攻击检测方面,聚焦于防御性蒸馏、正则化、异常值检测、鲁棒统计等检测方法;在模型防御策略方面,聚焦于对抗训练、模型结构防御、查询控制防御等技术手段.概括并扩展了人工智能模型安全相关的技术和方法,为模型的安全应用提供了理论支持.此外,还使研究人员能够更好地理解该领域的当前研究现状,并选择适当的未来研究方向.

口令攻击的集成学习模型构建方法

多年来,研究者们提出了多种不同的口令模型,提高了口令攻击的效率,其中包括基于概率上下文无关模型、马尔可夫模型等不同原理的方法,它们分别捕捉了口令中不同方面的特征,这使得通过这些不同特征结合到一起来提高攻击效率成为可能.另一方面,在机器学习领域被广泛使用的集成学习方法能够整合多种模型来学习数据集中的不同特征,因此本文提出将集成学习应用于口令生成领域.本文提出了可扩展的集成口令攻击方法,并重点描述它的两个实例,通过分析多个重要的影响因素,以及进行大量实验来研究它们对攻击性能的影响.本文提出的集成口令攻击方法可以显著提升攻击效率,实验结果表明它相对于经典口令模型有着更高的攻击成功率,尤其是在跨站攻击的场景中,有近20%的提升.

基于Stacking融合模型的Web攻击检测方法

随着计算机技术与互联网技术的飞速发展,Web应用在人们的生产与生活中扮演着越来越重要的角色。但是在人们的日常生活与工作中带来了更多便捷的同时,却也带来了严重的安全隐患。在开发Web应用的过程中,大量不规范的新技术应用引入了很多的网站漏洞。攻击者可以利用Web应用开发过程中的漏洞发起攻击,当Web应用受到攻击时会造成严重的数据泄露和财产损失等安全问题,因此Web安全问题一直受到学术界和工业界的关注。超文本传输协议(HTTP)是一种在Web应用中广泛使用的应用层协议。随着HTTP协议的大量使用,在HTTP请求数据中包含了大量的实际入侵,针对HTTP请求数据进行Web攻击检测的研究也开始逐渐被研究人员所重视。本文提出了一种基于Stacking融合模型的Web攻击检测方法,针对每一条文本格式的HTTP请求数据,首先进行格式化处理得到既定的格式,结合使用Word2Vec方法和TextCNN模型将其转换成向量化表示形式;然后利用Stacking模型融合方法,将不同的子模型(使用配置不同尺寸过滤器的Text-CNN模型搭配不同的检测算法)进行融合搭建出Web攻击检测模型,与融合之前单独的子模型相比在准确率、召回率、F1值上都有所提升。本文所提出的Web攻击检测模型在公开数据集和真实环境数据上都取得了更加稳定的检测性能。

基于掩码语言模型的中文BERT攻击方法

对抗文本是一种能够使深度学习分类器作出错误判断的恶意样本,敌手通过向原始文本中加入人类难以察觉的微小扰动制作出能欺骗目标模型的对抗文本.研究对抗文本生成方法,能对深度神经网络的鲁棒性进行评价,并助力于模型后续的鲁棒性提升工作.当前针对中文文本设计的对抗文本生成方法中,很少有方法将鲁棒性较强的中文BERT模型作为目标模型进行攻击.面向中文文本分类任务,提出一种针对中文BERT的攻击方法Chinese BERT Tricker.该方法使用一种汉字级词语重要性打分方法——重要汉字定位法;同时基于掩码语言模型设计一种包含两类策略的适用于中文的词语级扰动方法实现对重要词语的替换.实验表明,针对文本分类任务,所提方法在两个真实数据集上均能使中文BERT模型的分类准确率大幅下降至40%以下,且其多种攻击性能明显强于其他基线方法.

面向大语言模型的越狱攻击综述

近年来,大语言模型(large language model,LLM)在一系列下游任务中得到了广泛应用,并在多个领域表现出了卓越的文本理解、生成与推理能力.然而,越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制,削弱价值观对齐的影响,诱使经过对齐的大语言模型产生有害输出.越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.对近年的越狱攻击研究进行了系统梳理,并基于攻击原理将其分为基于人工设计的攻击、基于模型生成的攻击与基于对抗性优化的攻击3类.详细总结了相关研究的基本原理、实施方法与研究结论,全面回顾了大语言模型越狱攻击的发展历程,为后续的研究提供了有效参考.对现有的安全措施进行了简略回顾,从内部防御与外部防御2个角度介绍了能够缓解越狱攻击并提高大语言模型生成内容安全性的相关技术,并对不同方法的利弊进行了罗列与比较.在上述工作的基础上,对大语言模型越狱攻击领域的现存问题与前沿方向进行探讨,并结合多模态、模型编辑、多智能体等方向进行研究展望.

基于传染病和网络流模型分析APT攻击对列车控制系统的影响

高级可持续威胁(APT)是目前工业控制系统面临的主要威胁之一。APT攻击利用计算机设备漏洞入侵列车控制网络,感染并且扩散到网络中的其他设备,影响系统正常运行,因此评价APT攻击对列车控制系统的影响非常必要。提出一种基于传染病模型和网络流理论结合的APT攻击影响分析方法。首先,分析在APT攻击的不同阶段设备节点状态之间的转化规则,结合传染病理论建立APT攻击传播模型,研究攻击过程中的节点状态变化趋势;其次,把设备节点的状态变化融入网络流模型中,研究APT攻击过程中设备节点状态变化对列车控制网络中列车移动授权信息流的影响;最后,结合列车控制系统的信息物理耦合关系,分析APT攻击对列控系统整体性能的影响。仿真实验展现了APT攻击过程中节点状态变化的趋势,验证该方法在分析APT病毒软件在列车控制网络中的传播过程对列车控制系统整体性能影响的有效性,为管理者制定防御方案提供依据,提升列车控制系统信息安全水平。

基于模型水印的联邦学习后门攻击防御方法

联邦学习作为一种隐私保护的分布式机器学习方法,容易遭受参与方的投毒攻击,其中后门投毒攻击的高隐蔽性使得对其进行防御的难度更大.现有的多数针对后门投毒攻击的防御方案对服务器或者恶意参与方数量有着严格约束(服务器需拥有干净的根数据集,恶意参与方比例小于50%,投毒攻击不能在学习初期发起等).在约束条件无法满足时,这些方案的效果往往会大打折扣.针对这一问题,本文提出了一种基于模型水印的联邦学习后门攻击防御方法.在该方法中,服务器预先在初始全局模型中嵌入水印,在后续学习过程中,通过验证该水印是否在参与方生成的本地模型中被破坏来实现恶意参与方的检测.在模型聚合阶段,恶意参与方的本地模型将被丢弃,从而提高全局模型的鲁棒性.为了验证该方案的有效性,本文进行了一系列的仿真实验.实验结果表明该方案可以在恶意参与方比例不受限制、参与方数据分布不受限制、参与方发动攻击时间不受限制的联邦学习场景中有效检测恶意参与方发起的后门投毒攻击.同时,该方案的恶意参与方检测效率相比于现有的投毒攻击防御方法提高了45%以上.

面向图神经网络模型提取攻击的图数据生成方法

无数据模型提取攻击是基于攻击者在进行攻击时所需的训练数据信息未知的情况下提出的一类机器学习安全问题。针对无数据模型提取攻击在图神经网络(GNN)领域的研究缺乏,提出分别用GNN可解释性方法GNNExplainer和图数据增强方法GAUG-M优化图节点特征信息和边信息生成所需图数据,最终提取GNN模型的方法。首先,利用GNNExplainer方法对目标模型的响应结果进行可解释性分析得到重要的图节点特征信息;其次,通过对重要的图节点特征加权,对非重要图节点特征降权,实现图节点特征信息的整体优化;然后,使用图形自动编码器作为边信息预测模块,根据优化后的图节点特征得到节点与节点之间的连接概率;最后,根据概率增加或者删减相应边优化边信息。实验采用5个图数据集训练的3种GNN模型架构作为目标模型提取攻击,得到的替代模型达到了73%~87%的节点分类任务准确性和76%~89%的与目标模型性能的一致性,验证了所提方法的有效性。

异步联邦学习中隔代模型泄露攻击及防治方法

联邦学习已成为数据孤岛背景下知识共享的成功方案。随着梯度逆向推理等新式攻击手段的问世,联邦学习的安全性再度面临新挑战。针对联邦学习可能存在参与者恶意窃取其它客户端梯度信息的风险,提出一种异步联邦学习框架下的隔代模型泄露攻击方式:利用中心服务器“接收则聚合”的特点,多名恶意客户端可按照特定更新顺序,通过隔代版本的全局模型差异逆向计算其他客户端的模型更新数据,从而窃取对方的模型。针对此问题,提出基于α-滑动平均的随机聚合算法。首先,中心服务器每次收到客户端的模型更新后,将其与从最近α次聚合中随机选出的全局模型进行聚合,打乱客户端的更新顺序;其次,随着全局迭代次数增加,中心服务器对最近α次聚合的全局模型进行滑动平均,计算出最终全局模型。实验结果表明,与异步联邦学习方法相比,FedAlpha方法有效降低隔代模型泄露攻击的可能性。

精神分裂症患者攻击暴力行为风险预测模型的系统评价

目的系统评价精神分裂症患者攻击暴力行为风险预测模型。方法通过PubMed、Web of Science、EBSCO、Embase、The Cochrane Library、中国知网、维普数据库、万方数据库以及中国生物医学文献数据库等数据库,对精神分裂症攻击暴力行为有关风险预测模型的文献进行全面检索,时限为2000年1月~2024年4月。由2名研究者独立进行文献筛选、资料提取和质量评价。结果纳入17篇文献,共包括48个风险预测模型,17个代表模型受试者工作特征曲线下面积(AUC)介于0.630~0.955之间。纳入模型的总体偏倚风险较高,主要原因为数据多来自单中心且样本量较小、缺失数据处理不当、存在过度拟合问题以及将连续性变量转换为二分类变量等。结论精神分裂症患者攻击暴力行为风险预测模型存在一定偏倚风险、适用性水平和整体预测性能较好,部分预测模型已经深入探索了机器学习算法的应用,并显示出相较于传统风险预测模型更优的预测效能。

一种多模型的调度优化对抗攻击算法

对抗样本可通过单模型和集成模型这2种方式生成,其中集成模型生成的对抗样本往往具有更强的攻击成功率.目前集成模型的相关研究较少,现有的集成模型方式大多是在迭代中同时使用所有模型,没有合理考虑不同模型的差异问题,导致集成模型生成的对抗样本攻击成功率较低.为了进一步提高集成模型的攻击成功率,提出一种多模型的调度优化对抗攻击算法.首先通过计算各个模型的损失梯度差异进行模型的调度选择,在每轮迭代选择最优模型组合进行集成攻击得到最优梯度.其次使用前一阶段的动量项更新当前数据点,在更新后的数据点上使用当前阶段模型组合计算得到优化梯度.利用优化梯度结合变换梯度来调整得到最终梯度方向.在ImageNet数据集进行大量实验,结果表明:所提的集成算法以更少扰动得到更高的黑盒攻击成功率.与主流的全模型集成方法对比,黑盒攻击正常训练模型和经过对抗训练模型的平均成功率分别提高了3.4%和12%,且生成的对抗样本有更好的视觉效果.

针对人脸识别模型的自适应对抗攻击

深度神经网络容易受到对抗样本的攻击,这种攻击通过对输入数据(如图像数据)的微小修改而使得AI系统分类错误。目前的许多攻击方法容易导致图像出现噪声和伪影等问题,攻击方法的泛化性较差。本文提出了一种针对人脸识别模型的对抗攻击方法,利用身份解耦技术自适应提取对人脸识别模型的判别最重要且能很好保持原始视觉效果的人脸身份特征,并利用其引导优化在StyleGAN隐空间和像素空间上进行的对抗攻击。在典型人脸识别模型和商业人脸识别系统上的攻击实验证明,本文方法生成的对抗性人脸图像在攻击成功率上比现有最优方法平均提高11%,视觉质量提高约3%。

基于多模态大语言模型的攻击性模因解释生成方法

随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能.

父母正念养育、教养压力与青少年攻击行为的关系:基于主客体互倚模型

背景 父母正念养育水平关系青少年的身心健康,但目前关于正念养育的实证研究较少,尚未查见探讨父母正念养育通过教养压力对青少年攻击行为的影响及主客体效应的研究。目的 探讨父母正念养育通过教养压力对青少年攻击行为的影响及主客体效应,为改善家庭教育以及对青少年行为问题的干预提供参考。方法 于2023年9月8日—15日,在四川省绵阳市某学校的小学五年级和六年级以及初中三个年级中的各年级随机选择3个班级、共907名学生,以学生家庭(包括父母和孩子)作为研究对象。采用正念养育量表(MIPQ)评定父母的正念养育水平,采用养育压力量表简化版(PSI-SF)评定父母的教养压力水平,采用青少年自评量表(YSR)中的攻击行为维度评定青少年攻击行为。采用Pearson相关分析考查各量表评分的相关性,采用主客体互倚模型分析父母正念养育对自身及配偶教养压力的影响,以及通过教养压力对青少年攻击行为的影响。结果 共472个家庭完成有效问卷调查。在主体效应方面,父亲正念养育通过父亲教养压力影响青少年攻击行为的效应值为-0.018(P=0.002),母亲正念养育通过母亲教养压力影响青少年攻击行为的效应值为-0.026(P<0.01)。在客体效应方面,父亲正念养育通过母亲教养压力影响青少年攻击行为的效应值为-0.006(P=0.026),母亲正念养育通过父亲教养压力影响青少年攻击行为的效应值为-0.007(P=0.012)。结论 父母正念养育可以通过自身及配偶的教养压力水平间接影响青少年攻击行为,主客体效应均显著。

基于用户数据的电动汽车充电桩网络攻击模型

电动汽车(electrical vehicle,EV)的用户数据是优化EV充电成本的关键数据,对用户数据的操纵可能导致错误的充电成本,使充电桩运营商蒙受经济损失。针对EV充电桩,提出了一种基于用户数据的网络攻击模型,该模型通过篡改接入EV充电桩的用户数据生成虚假的充电计划,从而提高充电桩的充电成本。所提出的攻击模型为一种基于混合整数线性规划的两层优化模型,在上层生成注入EV充电桩的恶意用户数据,下层为EV充电计划优化算法,通过应用KKT条件使两层优化模型转化为单层优化攻击模型。仿真以一个虚拟充电站场景为例,相较于无攻击情况,该攻击模型通过提高EV的充电能量或移动EV的充电时段增加了充电站的总充电成本,验证了该攻击模型的可行性和危害性。

基于BERT的多模型融合的Web攻击检测方法

传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。

APT攻击下的无线通信网络最优主动防御决策模型

最优主动防御决策可以保障无线通信网络的安全稳定性,为了提高无线通信网络的防御效果,提出了APT攻击下的无线通信网络最优主动防御决策模型。关联无线通信网络日志,构建APT攻击对象集合,通过反馈相容系数计算APT攻击事件的绝对相容度,并预测APT攻击行为。基于APT攻击源对无线通信网络攻击的信道带宽,获取无线通信网络受到APT攻击的位置,利用无线通信网络节点的权值系数,提取无线通信网络的APT攻击特征。利用攻防图,计算得到APT攻击对无线通信网络的损害程度,通过定义无线通信网络的安全状态,构建了无线通信网络最优主动防御决策模型。实验结果表明,所提模型在防御无线通信网络的APT攻击时,可以将攻击数据包拒包率和吞吐量分别提高到90%以上和16000 bit/s以上,并且时延较低,具有更好的防御效果。

结合扩散模型图像编辑的图文检索后门攻击

深度神经网络在模型训练阶段易受到后门攻击,在训练图文检索模型时,如有攻击者恶意地将带有后门触发器的图文对注入训练数据集,训练后的模型将被嵌入后门。在模型推断阶段,输入良性样本将得到较为准确的检索结果,而输入带触发器的恶意样本会激活模型隐藏后门,将模型推断结果恶意更改为攻击者设定的结果。现有图文检索后门攻击研究都是基于在图像上直接叠加触发器的方法,存在攻击成功率不高和带毒样本图片带有明显的异常特征、视觉隐匿性低的缺点。提出了结合扩散模型的图文检索模型后门攻击方法(Diffusion-MUBA),根据样本图文对中文本关键词与感兴趣区域(ROI)的对应关系,设计触发器文本提示扩散模型,编辑样本图片中的ROI区域,生成视觉隐匿性高且图片平滑自然的带毒训练样本,并通过训练模型微调,在图文检索模型中建立错误的细粒度单词到区域对齐,把隐藏后门嵌入到检索模型中。设计了扩散模型图像编辑的攻击策略,建立了双向图文检索后门攻击模型,在图-文检索和文-图检索的后门攻击实验中均取得很好的效果,相比其他后门攻击方法提高了攻击成功率,而且避免了在带毒样本中引入特定特征的触发器图案、水印、扰动、局部扭曲形变等。在此基础上,提出了一种基于目标检测和文本匹配的后门攻击防御方法,希望对图文检索后门攻击的可行性、隐蔽性和实现的研究能够抛砖引玉,推动多模态后门攻防领域的发展。

面向大语言模型的越狱攻击与防御综述

大语言模型(LargeLanguageModels,LLMs)由于其出色的性能表现而在各个领域被广泛使用,但是它们在面对精心构建的越狱提示时,往往会输出不正确的内容,由此引发了人们对其伦理问题和道德安全的担忧。攻击者可以在没有了解模型内部结构及安全机制的情况下,通过设计特定的提示语句引发模型生成不恰当的内容。相关领域的专业研究者在分析LLMs的潜在脆弱性后,甚至可以产生人类难以发现,并且越狱成功率极高的自动化越狱攻击方法。为了阻止LLMs的恶意越狱攻击,研究者们提出覆盖LLMs训练到部署全生命周期的防御方法以加强模型的安全性。然而,目前对于大语言模型的综述工作主要集中在越狱攻击方法,并且没有对这些技术手段的特性及关系进行详细分析。此外,对评测基准总结的忽视也限制了该领域的蓬勃发展。因此,本文拟对现有的越狱攻击与防御方法进行全面的回顾。具体而言,我们首先介绍了大语言模型与越狱攻击的相关概念及原理,解释了越狱攻击在模型安全领域的重要性和它对大型语言模型的潜在威胁。接着,从攻击的生成策略回顾了现有的越狱攻击方法,并分析了他们的优缺点,如这些攻击策略如何利用模型的漏洞来实现攻击目标。然后,本文总结了围绕LLMs各个阶段的防御策略,并提供了一个全面的评测基准,详细介绍了如何评估这些防御策略的有效性。最后结合当前面临的挑战,我们对LLMs越狱攻防的未来研究方向进行了总结和展望,指出了未来研究中需要关注的关键问题和潜在的研究方向,以促进大模型的安全与可靠性发展。

面向IED攻击的多变电站防御-攻击-防御鲁棒优化模型

变电站的网络安全对提升系统抵御大停电的能力具有重要意义。首先,利用贝叶斯攻击图分析变电站网络入侵过程,量化规划者、攻击者、调度中心交互作用下系统遭受的网络风险,从而建立基于变电站入侵成功概率的防御-攻击-防御模型,模型上层以网络风险最小为目标制定变电站防御策略,中层以网络风险最大为目标制定变电站和线路攻击策略,下层以负荷损失最小为目标制定调度方案;然后,通过定制的列与约束生成算法求解所提模型;最后,仿真结果表明所提模型能够有效减小系统存在的网络风险。