CheatKD:基于毒性神经元同化的知识蒸馏后门攻击方法

深度学习模型性能不断提升,但参数规模也越来越大,阻碍了其在边缘端设备的部署应用。为了解决这一问题,研究者提出了知识蒸馏(Knowledge Distillation,KD)技术,通过转移大型教师模型的“暗知识”快速生成高性能的小型学生模型,从而实现边缘端设备的轻量部署。然而,在实际场景中,许多教师模型是从公共平台下载的,缺乏必要的安全性审查,对知识蒸馏任务造成威胁。为此,我们首次提出针对特征KD的后门攻击方法CheatKD,其嵌入在教师模型中的后门,可以在KD过程中保留并转移至学生模型中,进而间接地使学生模型中毒。具体地,在训练教师模型的过程中,CheatKD初始化一个随机的触发器,并对其进行迭代优化,以控制教师模型中特定蒸馏层的部分神经元(即毒性神经元)的激活值,使其激活值趋于定值,以此实现毒性神经元同化操作,最终使教师模型中毒并携带后门。同时,该后门可以抵御知识蒸馏的过滤被传递到学生模型中。在4个数据集和6个模型组合的实验上,CheatKD取得了85%以上的平均攻击成功率,且对于多种蒸馏方法都具有较好的攻击泛用性。

基于光学的物理域对抗攻防综述

对抗攻击是指通过在原始输入中植入人眼无法察觉的微小扰动,误导深度学习模型做出错误预测的攻击。与数字域对抗攻击相比,物理域对抗攻击可实现对抗性输入被采集设备捕获并转换为视觉系统内的二值图像之前,将扰动引入输入,对基于深度学习的计算机视觉系统构成了实际安全威胁。基于光学的物理域对抗攻击技术(如使用投影照射)作为一种典型的非侵入性攻击,由于其扰动与现实世界中自然环境产生的影响非常相似,更容易被忽略,从而疏于防护。鉴于它们具有高度的不可见性和可执行性,可对实际系统构成重大甚至致命的威胁。基于现有研究工作,重点介绍和讨论了计算机视觉系统中基于光学的物理域对抗攻击技术,并对现有技术在攻击场景、攻击手段、攻击目标、攻击效果等方面展开详细分析,最后探讨了基于光学的物理域对抗攻击未来潜在研究方向。

基于最大−最小策略的纵向联邦学习隐私保护方法

纵向联邦学习(Vertical federated learning,VFL)是一种新兴的分布式机器学习技术,在保障隐私性的前提下,利用分散在各个机构的数据实现机器学习模型的联合训练.纵向联邦学习被广泛应用于工业互联网、金融借贷和医疗诊断等诸多领域中,因此保证其隐私安全性具有重要意义.首先,针对纵向联邦学习协议中由于参与方交换的嵌入表示造成的隐私泄漏风险,研究由协作者发起的通用的属性推断攻击.攻击者利用辅助数据和嵌入表示训练一个攻击模型,然后利用训练完成的攻击模型窃取参与方的隐私属性.实验结果表明,纵向联邦学习在训练推理阶段产生的嵌入表示容易泄漏数据隐私.为了应对上述隐私泄漏风险,提出一种基于最大−最小策略的纵向联邦学习隐私保护方法(Privacy preservation method for vertical federated learning based on max-min strategy,PPVFL),其引入梯度正则组件保证训练过程主任务的预测性能,同时引入重构组件掩藏参与方嵌入表示中包含的隐私属性信息.最后,在钢板缺陷诊断工业场景的实验结果表明,相比于没有任何防御方法的VFL,隐私保护方法将攻击推断准确度从95%下降到55%以下,接近于随机猜测的水平,同时主任务预测准确率仅下降2%.

面向深度强化学习的鲁棒性增强方法

深度强化学习(Deep Reinforcement Learning, DRL)结合了深度学习的感知能力和强化学习的决策能力,被应用于许多领域.然而,一旦攻击者窃取了DRL数据,就能干扰状态、奖励及动作或环境,从而影响智能体的决策.且已有研究表明DRL模型极易受到恶意攻击,攻击者根据状态及动作空间信息,训练等价模型实现黑盒攻击.为了实现DRL数据隐私保护及模型鲁棒性增强,本文提出一种基于垂直联邦的DRL模型(Vertical Federated based DRL,VF-DRL).VF-DRL搭建多个客户端并保证数据特征不重叠.同时服务器端上传各个客户端输出的隐层特征以保证数据隐私.进一步,本文对比不同基线算法,通过大量实验评估了VF-DRL模型的性能.假设存在一个恶意客户端执行对抗攻击的情况下,使用多种对抗攻击方法验证了VF-DRL模型的鲁棒性.同时在高维及较低维环境中验证VF-DRL模型的鲁棒性,并进一步分析影响其鲁棒性的因素.

面向深度学习模型的可靠性测试综述

深度学习模型由于其出色的性能表现而在各个领域被广泛应用,但它们在面对不确定输入时,往往会出现意料之外的错误行为,在诸如自动驾驶系统等安全关键应用,可能会造成灾难性的后果。深度模型的可靠性问题引起了学术界和工业界的广泛关注。因此,在深度模型部署前迫切需要对模型进行系统性测试,通过生成测试样本,并由模型的输出得到测试报告,以评估模型的可靠性,提前发现潜在缺陷。一大批学者分别从不同测试目标出发,对模型进行测试,并且提出了一系列测试方法。目前对测试方法的综述工作只关注到模型的安全性,而忽略了其他测试目标,且缺少对最新出版的方法的介绍。因此,本文拟对模型任务性能、安全性、公平性和隐私性4个方面对现有测试技术展开全方位综述,对其进行全面梳理、分析和总结。具体而言,首先介绍了深度模型测试的相关概念;其次根据不同测试目标对79篇论文中的测试方法和指标进行分类介绍;然后总结了目前深度模型可靠性测试在自动驾驶、语音识别和自然语言处理三个工业场景的应用,并提供了可用于深度模型测试的24个数据集、7个在线模型库和常用工具包;最后结合面临的挑战和机遇,对深度模型可靠性测试的未来研究方向进行总结和展望,为构建系统、高效、可信的深度模型测试研究提供参考。值得一提的是,本文将涉及的数据集、模型、测试方法代码、评价指标等资料归纳整理在https://github.com/Allen-piexl/Testing-Zoo,方便研究人员下载使用。

针对网络流量测量的完整性干扰攻击与防御方法

近年来,网络测量在评估网络状态、提高网络自适应能力方面取得了较好的性能,被广泛运用于网络管理中。然而,目前的大规模网络中存在异常行为导致的网络流量数据污染问题。例如,自治系统中的恶意节点通过伪造恶意流量数据来故意操纵网络指标,影响网络测量,误导下游任务决策。基于此,首先提出完整性干扰攻击方法,通过修改流量矩阵的最小代价,利用多策略干扰生成器生成恶意扰动流量的攻击策略,实现干扰流量测量的目的。然后,通过一种混合对抗训练策略,设计在网络中抵御此类攻击的防御方法,实现流量测量模型的安全加固。实验中对攻击目标进行了相应的限定,验证了完整性干扰攻击在受限场景下的攻击有效性。并通过混合训练的方式进行对比实验,验证了常规模型的加固方法可以提升模型的鲁棒性。

基于相似度感知的深度卷积神经网络剪枝方法

随着卷积神经网络规模的不断扩大,由于其庞大的计算量和参数量,终端智能设备的部署及发展面临着巨大的挑战,因此如何保持模型精度的同时尽可能地压缩和加速模型至关重要.目前已有工作提出的压缩方法仍然存在压缩算法实现、压缩效果、压缩效率等方面的缺陷.为此,本文提出了一种基于通道相似性的卷积神经网络剪枝方法.具体而言,首先探究了卷积神经网络特征通道间的相似冗余,引入了一种高效的相似性指标来量化特征通道之间的相似性;其次,通过相似性排序算法移除整个网络中冗余的通道从而实现剪枝;再次,加载保留的通道参数通过微调减少由于剪枝操作造成对模型分类性能的影响.为了提高压缩效率,本文采用一次性剪枝策略,满足时间复杂度更低的要求.最后,在CIFAR-10、CIFAR-100数据集上对VGG-16、ResNet-56、ResNet-110、GoogLeNet模型的实验结果表明,与现有方法相比本文所提方法可以更高效地压缩模型且模型依然保持良好精度.

基于机器视觉的数码印花工厂自动报工系统

针对纺织行业中现有人工布匹生产订单报工管理困难的问题,设计并实现了一个基于机器视觉的数码印花工厂自动报工系统,将正在生产的布匹图像与订单库中的花型图案进行智能匹配,从而对生产订单进行快速准确的报工管理;首先系统客户端使用工业相机实时采集生产线上的印花布匹图像,并对图像进行滤波、归一化等预处理;然后将图像通过HTTP协议发送至系统服务端,利用基于Vision Transformer的神经网络模型进行特征提取和多层特征融合,再与订单库中的花型图案进行匹配,找出待报工订单;最后对匹配结果进行数据库管理,并将匹配结果返回客户端用于报工结果展示与确认操作;实验结果表明,该自动报工系统的订单匹配TOP-3命中率达到90.4%,满足工厂布匹生产需求。

基于在线学习行为分析的个性化学习推荐

随着在线课程和线上学习的普及,大量的在线学习行为数据被积累。如何利用数据挖掘技术分析积累的大数据,从而为教学决策和学习优化提供服务,已经成为新的研究重点。文中分析了在线学习的行为特征,挖掘学习者的性格特征与学习效率的关系,实现个性化学习方法推荐。首先,提取在线学习行为特征,并提出了一种基于BP神经网络的学习成绩预测方法,通过分析在线学习行为特征,预测其相应的线下学习成绩;其次,为了进一步分析学习者的在线学习行为与成绩的关系,提出了基于实际熵的在线学习行为规律性分析,通过分析学习者的在线学习行为,定义并计算相应的实际熵值来评估个体的学习行为规律性,从而分析规律性与最终成绩的关系;再次,基于Felder-Silverman性格分类法获得学习者的性格特征,对学习者实现基于K-means的聚类分析获得相似学习者的类别,将学习成绩较优的学习者的在线学习习惯推荐给同一类别的其他学习者,从而提高学习者的在线学习效率;最终,以某在线课程平台的实际数据为实验对象,分别实现在线学习行为特征提取、线下成绩预测、学习规律性分析和个性化学习推荐,从而验证了所提方法的有效性和应用价值。

AS-R移动机器人的动态避障与路径规划研究

针对移动机器人的动态避障和路径规划问题,以AS-R移动机器人为平台,设计了一种基于行为分析的动态避障策略。根据避障问题将移动机器人整个运行过程中的行为划分成趋向目标行为、避障行为、沿墙走行为及紧急避障4种行为,有效实现了机器人的动态避障,并解决了两种避障难题:左右摆动问题和凹型障碍物问题。利用多传感器结合检测方法,通过红外传感器减少盲区和镜面反射带来的误差,通过间隔采样或分组采样技术避免多路串扰问题;对均值滤波与中值滤波进行实验对比后,提出一种递推型中值滤波方法,从而提高了数据在空间和时间上的连续性,有效地减少了超声波随机串扰信号及其它干扰信号,进而提高了探测模块的准确度。最后设计了几种复杂环境下机器人的动态避障和路径规划,并验证了所提方法的有效性。

基于MB-RRT~*的无人机航迹规划算法研究

随着小型无人机的广泛应用,提高无人机的自动巡航能力变得至关重要。无人机航迹规划是指其在已知环境地图信息下展开航迹规划,实现无碰撞的、平滑的、从初始点到达目标点的路径。针对现有算法依然存在收敛速度慢、内存消耗大、航迹规划固定步长和航迹平滑度无法满足实际无人机飞行等问题,提出了MB-RRT~*(Modified BRRT~*)算法,通过懒惰采样方法加快算法收敛速度并减少内存占用;设计自适应步长来解决算法在障碍物附近生长树的局限性问题,从而提高了找到初始可行解的速度和质量;然后利用降采样和3次贝塞尔插值算法实现了曲线拟合的功能,使算法最终生成相对平滑的航迹,为无人机实际飞行提供可行的航迹规划方法。最后在多组不同环境复杂度的实验中,通过与其他算法相比较,验证了所提算法的有效性。

面向C++程序设计课程的翻转课堂教学改革

探讨C++程序设计课程教学现状和存在的问题,针对目前MOOC教学环境下翻转课堂的应用现状,提出引入翻转课堂为C++程序设计课程设计相应的教学方法、教学模式和综合评价机制以及一种线上线下混合式的学生能力和素质综合评价方法。

基于图过滤的快速密度聚类双层网络推荐算法

信息过载问题使得推荐系统迅速发展并广泛应用,同时也出现不法商家将虚假消费记录定量地输入到系统数据库从而改变推荐系统的推荐结果以获利.因此,本文围绕3个问题展开,即:为了提高推荐系统对虚假评论的鉴别能力,首先需要准确标注虚假评论的类标,如何能获取大量准确标定的虚假评论信息;如何有效过滤虚假评论从而提高推荐的可靠性;如何实现一种高效可靠的推荐系统.针对虚假评论信息难以准确标定,本文提出了一种基于文本生成式对抗网络的自动点评技术,依据历史评论文本自动生成虚假评论文本,并依据情感分析确定生成文本的对应评分;为了提高推荐系统对包含虚假信息数据的推荐效果,本文提出了一种基于图过滤的快速密度聚类双层网络推荐算法.该算法首先提出了一种能快速确定节点执行度阈值的基于图的过滤器,有效过滤数据内虚假信息,并设计了一种快速密度聚类双层网络推荐算法,提高推荐效果.将所提出的推荐算法应用到Yelp数据集上展开试验,验证本文提出的推荐方法的有效性.

面向语音识别系统的黑盒对抗攻击方法

随着深度学习方法在语音识别系统中的广泛应用,尤其是在自动驾驶、身份认证等安全等级较高的应用,语音识别系统的安全问题至关重要.深度学习给语音识别系统带来更便捷的训练步骤、更高的识别准确率的同时,也给系统的安全性带来了潜在风险.最近的研究表明深度神经网络容易受到对输入数据添加细微扰动的对抗攻击,导致模型输出错误的预测结果.当基于深度学习的语音识别系统被外加的细微扰动所攻击,自动驾驶汽车将会被恶意语音攻击执行危险操作,给自动驾驶系统带来了严重的安全隐患.针对语音识别系统的安全性,本文提出了一种面向语音识别系统的黑盒对抗攻击方法,采用布谷鸟搜索算法自动生成对抗语音样本,实现目标攻击.最后,利用生成的对抗语音样本攻击语音识别系统,挖掘当前性能优异的语音识别系统存在的安全漏洞,将本文提出的黑盒攻击方法在公共语音数据集、谷歌语音命令数据集、GTZAN数据集和LibriSpeech数据集上展开实验,验证了黑盒攻击方法的有效性.更进一步,利用对抗样本对其他语音识别系统进行攻击,验证其具有较强攻击迁移性,并对生成的对抗样本进行了主观评价试验,探究其隐蔽性.

深度学习人脸识别系统的对抗攻击算法研究

目前,基于深度学习的应用越来越广泛,但是深度学习易受到人为细微扰动的对抗攻击.针对精度和安全要求较高的人脸识别深度模型,通过研究其在对抗攻击下的脆弱性,有助于进一步提出相应防御策略来提高模型鲁棒性.本文针对基于深度学习的黑盒人脸识别系统,利用生物面部配件(如眼镜框)约束对抗扰动区域,通过粒子群优化(PSO)策略生成对抗配件,攻击人脸识别模型.本文实现了针对最新人脸识别框架Face Net的对抗攻击,取得了较好的攻击效果.最后利用对抗训练进行了防御测试,验证了该方法能提高模型鲁棒性.

程序设计课程群的创客式课堂教学模式探究

设计一种基于翻转课堂的创客式课堂教学模式,充分融合线上线下教学资源,集课堂教学项目式设计管理和在线创客平台专业审核、评估和风险投资为一体,并以程序设计课程群为教学案例,说明开展教学的具体方案和取得的效果,最终实现创客与高校课程对接,实现一套切实可行的创客式教学模式,为培养创新型人才提供可行方案。

一种面向混合属性数据流的基于密度的聚类算法研究

混合属性数据流聚类是数据流挖掘中的重要问题.针对现存聚类方法在处理混合属性数据流聚类时存在聚类精度低和实时性差的问题,提出一种基于密度的混合属性数据流聚类算法HDSDen(Heterogeneous Data Stream based on Density Clustering Algorithm),算法由在线聚类/离线优化两部分组成,在线聚类快速完成距离计算与聚类,离线优化实现二次聚类提高聚类精度.针对现存混合型属性计算距离方式精度低的问题,本文设计属性占优分析预先确定混合属性数据流中分类或数值属性占优的,随即选择对应的相似度计算公式,从而保证了混合属性的相似度计算满足属性重要性平衡,降低非占优属性数据对整体数据聚类的影响,在线聚类最终通过给定参数ε和μ确定当前窗口到达的数据点中的核心数据点.离线部分从核心数据点出发将所有密度可达的数据点聚成一个自然类,并将未被聚类的数据点存入暂存区,若暂存区内数据点达到一定数量,将暂存区的数据再聚类优化整体的聚类效果,从而实现了离群点的二次聚类,保证了聚类的精度.最后HDSDen算法对真实数据集进行聚类实验,验证HDSDen算法比现有几种典型数据流聚类方法具有更高的聚类质量,并能给出任意时间的聚类结果,能够有效地处理混合属性数据流聚类问题.

一种基于混合量子粒子群的快速运动目标跟踪算法研究

量子粒子群算法在优化过程中需要权衡局部探索性和全局开拓性,进化后期由于全局开拓能力的丧失使得种群多样性减少,设计了一种基于欧式距离的混合量子粒子群算法,通过计算粒子的种群多样性,当种群多样性低于阈值范围时加入基于欧式距离的种群划分策略划分子种群,从而保证获得全局最优解。利用标准测试函数验证提出的混合量子群算法有效性。提出了基于混合量子粒子群的Mean Shift算法(HQPSO Mean Shift)完成目标快速跟踪,克服传统Mean Shift算法的在跟踪快速移动目标时出现"跟丢"的问题。

C++程序设计课程群互联网教学改革探究

为适应"互联网+"教育推广需求,探求C++程序设计课程群目前存在的问题,设计一种C++程序设计课程群的互联网教学模式,提出实施课程群相关课程的全方位一体化教学,不仅有助于C++程序设计课程群建设及其他课程的互联网课堂教学模式探索,同时对培养既有扎实基础知识又具有实战应用能力的全面复合型人才有着重要的现实意义。

基于ROS的无人机仿真开放性实验教学设计与实现

该文基于机器人操作系统(ROS)仿真环境提出一种开放性的无人机仿真实验教学方案,通过ROS集成的可视化功能,利用Kinect等设备获取环境信息、搭建无人机动力学模型和三维可视化模型,设计三维环境航迹规划算法,并通过动态演示技术,实现ROS环境下的无人机航迹规划动态演示,使学生能够从开放性试验中实现无人机的运动控制、航迹规划和可视化编程等技术。基于ROS的无人机仿真实验是运动控制、规划算法、可视化编程等技术的一种典型的综合性应用,有助于学生深入学习无人机的原理和航迹规划方法。教学实践证明开放性教学方案在教学实践中取得较满意的效果。