联邦学习中的攻击手段与防御机制研究综述

联邦学习的攻防技术是联邦学习系统安全的核心问题。联邦学习的攻防技术能大幅降低联邦学习系统被攻击的风险,明显提升联邦学习系统的安全性。深入了解联邦学习的攻防技术,可以推进联邦学习领域的研究,实现联邦学习的广泛应用。因此,对联邦学习的攻防技术进行研究具有十分重要的意义。简要地介绍了联邦学习的概念、基本工作流程、类型及可能存在的安全问题;介绍联邦学习系统可能遭受到的攻击,梳理了相关研究;从联邦学习系统有无目标性的防御措施出发,将防御措施分为通用性防御措施及针对性防御措施两类,并对其进行了针对性的总结;对联邦学习安全性未来的研究方向进行了梳理与分析,为相关研究者在联邦学习安全性方面的研究工作提供了参考。

基于改进卷积注意力机制的触觉图像识别

为了改善传统轻量化网络对触觉图像全局特征提取能力差的问题,提出一种基于轻量化网络提高触觉图像感知分类的新算法,通过将卷积块注意力模块(CBAM)引入坐标注意力机制(CA)来增强特征信息表达能力.利用CA采取空间全局信息并嵌入通道注意中,使卷积网络能够在较全面的区域捕获注意力权重.结果表明:所提算法优于现有轻量化网络算法;该算法对GelSight数据集、多模态传感器数据集2种触觉图像进行分类识别测试,在分类表现中分辨正确率分别达到了88.2%和94.4%;相比于传统的CBAM注意力模型、自注意力模型(SENet)和仅有LeNet的神经网络,该算法对触觉图像的识别能力在GelSight数据集上分别提高了8.7%、8.7%和3.0%,在多模态传感器数据集上分别提高了13.3%、13.4%和4.8%.

多尺度融合与动态自适应图的公交客流预测模型

公交客流预测是公共交通规划和管理中的重要问题。虽然时空图卷积在地铁客流预测任务中获得了很好的预测效果,但是面对公交更复杂的线路、大规模的节点数据,现有的基于图卷积的空间建模方法将带来巨大的空间内存消耗。同时,公交客流量短时间范围内更可能受到瞬时交通状况的影响。为了解决这些挑战,提出了一种多尺度融合和动态自适应图的公交客流预测模型(MFDAG)。该模型融合客流、时刻和周信息以增加数据的特征维度,用动态自适应图的方法来学习不同站点之间的关系。进一步提出了一种多尺度融合传播的方法来表示复杂的空间依赖关系,同时设计了一种多尺度卷积传播的方法来学习不同尺度的时间依赖关系。在两个真实的客流数据集上进行了实验,并与其他交通预测方法进行了比较。实验结果表明,所提出的多尺度融合和动态自适应图的公交客流预测方法具有更高的预测准确度。

基于图像低维特征融合的航拍小目标检测模型

针对无人机航拍图像目标检测中视野变化大、时空信息复杂等问题,文中基于YOLOv5(You Only Look Once Version5)架构,提出基于图像低维特征融合的航拍小目标检测模型.引入CA(Coordinate Attention),改进MobileNetV3的反转残差块,增加图像空间维度信息的同时降低模型参数量.改进YOLOv5特征金字塔网络结构,融合浅层网络中的特征图,增加模型对图像低维有效信息的表达能力,进而提升小目标检测精度.同时为了降低航拍图像中复杂背景带来的干扰,引入无参平均注意力模块,同时关注图像的空间注意力与通道注意力;引入VariFocal Loss,降低负样本在训练过程中的权重占比.在VisDrone数据集上的实验验证文中模型的有效性,该模型在有效提升检测精度的同时明显降低复杂度.

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

神经网络压缩联合优化方法的研究综述

随着人工智能应用的实时性、隐私性和安全性需求增大,在边缘计算平台上部署高性能的神经网络成为研究热点。由于常见的边缘计算平台在存储、算力、功耗上均存在限制,因此深度神经网络的端侧部署仍然是一个巨大的挑战。目前,克服上述挑战的一个思路是对现有的神经网络压缩以适配设备部署条件。现阶段常用的模型压缩算法有剪枝、量化、知识蒸馏,多种方法优势互补同时联合压缩可实现更好的压缩加速效果,正成为研究的热点。本文首先对常用的模型压缩算法进行简要概述,然后总结了“知识蒸馏+剪枝”、“知识蒸馏+量化”和“剪枝+量化”3种常见的联合压缩算法,重点分析论述了联合压缩的基本思想和方法,最后提出了神经网络压缩联合优化方法未来的重点发展方向。

图卷积神经网络综述

图卷积神经网络是图论与深度学习的交叉,已成为机器学习领域的研究热点。基于此,介绍了图卷积神经网络的形成,梳理了两大类经典的图卷积神经网络:谱方法和空间方法,详细介绍了这两类图卷积神经网络模型,分析了图卷积操作的核心理论基础,介绍了图卷积神经网络在各领域的应用,总结了图卷积神经网络面临的主要挑战,展望了图卷积神经网络的发展趋势,并分析了图卷积神经网络在野外环境下蝴蝶识别任务中的潜在应用。

基于轻量化SSD的交通标志检测算法

实时精确的交通标志检测是自动驾驶和智能交通的关键技术。针对现有智能检测算法检测复杂真实道路场景下的交通标志速度慢、无法较好地适用于嵌入式终端设备的问题,提出了一种基于轻量化SSD的交通标识检测算法。该算法采用MobileNetV3_large网络替代VGG16网络,可减少模型参数,提高检测实时性;利用添加SE模块的逆残差结构B-neck替换对应的标准卷积增强低层特征层的语义信息;设计改进RFB网络提升小交通标志的检测能力,重新设置预设先验框的尺寸,提升模型对特定数据集的检测能力。实验结果表明,改进SSD算法在中国交通标志检测数据集上的mAP值可达89.04%,比MobileNet-SSD算法提高了5.26%;帧率可达60 frames/s,比SSD算法提高了23 frames/s。所提算法具有较高的实时性和检测精度,对复杂交通环境具有更好的鲁棒性。

优化合成样本分布的加权过采样方法

针对不均衡数据分类问题中原有过采样方法在生成样本分布上存在的不足,文章提出改进合成样本分布的加权过采样方法——WKSMOTE(Weighted SMOTE for WKMeans preprocess)。首先,应用聚类算法中的WKMeans算法对原数据集进行预处理,进而划分少数类样本,使每个样本生成不同数量的新样本;然后,应用SMOTE算法合成新样本,增强决策边界;最后,将过采样后的均衡数据集在随机森林分类器中进行训练。实验结果表明,WKSMOTE方法对不均衡数据集的整体分类性能有一定的提升,验证了方法的有效性。

基于伪孪生网络的高光谱图像分类

基于深度学习架构的高光谱图像分类近年来一直是遥感领域研究的热点之一.然而,如何提出新的分类框架,对具有少量标签样本的高光谱数据进行有效分类仍是一个挑战性的问题.设计了一种改进伪孪生网络的高光谱图像分类架构.该方法首先将一幅高维的高光谱图像划分为2幅低维的图像,分别利用卷积神经网络和图卷积网络进行特征提取.然后通过级联操作,将提取到的谱信息进行有效集成.最后输入全连接神经网络进行分类.所提出的方法改进了经典的伪孪生网络并应用于高光谱图像分类.在2个实际的高光谱数据集上的实验结果和比较结果验证了方法的有效性.

弱监督场景下的支持向量机算法综述

支持向量机(Support Vector Machine,SVM)是一种建立在结构风险最小化原则上的统计学习方法,以其在非线性、小样本以及高维问题中的独特优势被广泛应用于图像识别、故障诊断以及文本分类等领域.但SVM是一种监督学习算法,它旨在利用大量的、唯一且明确的真值标记样本来训练学习器,在不完全监督、不确切监督以及多义监督等弱监督场景下难以取得较好的效果.本文首先阐述了弱监督场景的概念和SVM的相关理论,然后从弱监督场景角度出发,系统地梳理了目前SVM算法的研究现状和发展,包括基于半监督学习、多示例学习以及多标记学习的方法;其中基于半监督学习的方法根据数据假设可细分为基于聚类假设和基于流形假设的方法,基于多标记学习的方法根据解决方案可细分为基于示例水平空间、基于包水平空间以及基于嵌入空间的方法,基于多标记学习的方法根据处理思路可细分为基于问题转换和基于算法自适应的方法;随后,本文总结了部分代表性算法在公开数据集上的实验结果;最后,探讨并展望了未来可能的研究方向.

基于BS-TabNet和LSSA的车架智能轻量化设计

为解决传统牵引车车架轻量化设计中设计周期长、设计难度较大和过分依赖工程师经验等问题,提出了一种智能轻量化设计方法.首先,通过试验设计(Design of Experiments,DOE)联合仿真获取车架性能表格数据.其次,基于TabNet算法、贝叶斯优化算法和沙普利增量解释理论(SHapley Additive exPlanation,SHAP)构建出BS-TabNet模型,用于学习车架性能表格数据,生成车架代理模型.最后,采用莱维飞行策略对麻雀搜索算法(Sparrow Search Algorithm,SSA)进行改进,得到莱维麻雀搜索算法(Levy Sparrow Search Algorithm,LSSA),用于求解车架轻量化任务,找到最优车架结构参数.相较于传统机器学习算法,BS-TabNet模型在准确性、稳定性和可解释性三个方面都有着更高的评价,其准确度达到了0.98左右,稳定性提高50%以上,而且具有更强的可解释能力,解决了深度学习在表格型数据上表现较差的问题.相较于传统群智能优化算法,LSSA算法能够寻找到更好的优化结果,在满足其他性能要求的同时,实现了车架质量减轻5.64%的轻量化效果.智能轻量化设计方法将人工智能与车架轻量化设计相结合,能够节省大量设计时间,提高设计效率.

基于引导扩散模型的自然对抗补丁生成方法

近年来,物理世界中的对抗补丁攻击因其对深度学习模型安全的影响而引起了广泛关注.现有的工作主要集中在生成在物理世界中攻击性能良好的对抗补丁,没有考虑到对抗补丁图案与自然图像的差别,因此生成的对抗补丁往往不自然且容易被观察者发现.为了解决这个问题,本文提出了一种基于引导的扩散模型的自然对抗补丁生成方法.具体而言,本文通过解析目标检测器的输出构建预测对抗补丁攻击成功率的预测器,利用该预测器的梯度作为条件引导预训练的扩散模型的逆扩散过程,从而生成自然度更高且保持高攻击成功率的对抗补丁.本文在数字世界和物理世界中进行了广泛的实验,评估了对抗补丁针对各种目标检测模型的攻击效果以及对抗补丁的自然度.实验结果表明,通过将所构建的攻击成功率预测器与扩散模型相结合,本文的方法能够生成比现有方案更自然的对抗补丁,同时保持攻击性能.

绿色低碳机器学习研究与应用专题前言

近年来,随着学术界与工业界在机器学习和人工智能领域投入越来越多的关注,相关技术获得飞速发展,机器学习已经被应用到社会生活的方方面面,并产生巨大社会价值.在“生成式人工智能”“元宇宙”等科技概念越来越受欢迎的今天,机器学习面临的数据量不断增长、模型规模逐步扩大,因而对计算能力的需求也在持续增长,导致了机器学习系统能耗的上涨.我国于2020年提出“双碳”目标,逐步引导绿色技术创新,实现经济增长和生态平衡的综合效益.面向“双碳”目标,如何高效使用数据和优化计算资源变得尤为关键.

前言

近年来,由于图结构的强大建模能力,用机器学习方法分析图数据的研究越来越受到重视.图机器学习是一类基于机器学习的图数据处理方法.特别是,将经典卷积神经网络模型拓展到具有非欧特性的图数据而产生的图神经网络具有强大的结构和特征融合学习能力,已成为国际研究热点,是人工智能发展的前沿技术.图机器学习不局限于处理图数据,广泛应用于计算机视觉、自然语言处理、网络安全和药物发现等领域.

基于Q学习的高超声速飞行器自抗扰控制研究

为实现高超声速飞行器姿态自抗扰控制的参数整定,提出一种模糊Q学习算法。首先,采用强化学习中的Q学习算法来实现姿态自抗扰控制参数的离线闭环快速自适应整定;然后,根据模糊控制的思路,将控制参数划分为不同区域,通过设定奖励,不断更新Q表;最后,将训练好的Q表用于飞行器的控制。仿真结果表明,相对于传统的线性自抗扰控制(linear active disturbance rejection control,LADRC)和滑模控制,基于Q学习的LADRC省去了人工调试参数的繁琐过程,且仍具有良好的跟踪效果。蒙特卡罗仿真测试结果验证了基于Q学习的LADRC的鲁棒性。

非独立同分布数据下联邦学习算法中优化器的对比分析

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

基于相对熵和余弦相似度的并行SVM算法

针对大数据环境下并行支持向量机(SVM)算法存在子集分布偏差大,并行效率低以及过滤非支持向量不准确等问题,提出了基于相对熵和余弦相似度的并行SVM算法(RC-PSVM)。该算法首先提出基于相对熵的数据划分策略(DPRE),平衡当前子集和原始数据集的相对熵,划分样本到适合的子集,降低子集分布偏差;然后提出基于余弦相似度的冗余层级检测策略(CS-RLDS),计算相邻层局部SVM之间法向量的余弦相似度,比较设定的阈值与相似度,识别并停止冗余层级,提高了并行效率;最后提出非支持向量过滤策略(NSVF),结合样本到多个局部支持向量模型决策边界的距离,计算支持向量相似度来识别非支持向量,解决了过滤非支持向量不准确的问题。实验表明,RC-PSVM算法的分类效果更佳,且在大数据下的运行效率更高。

基于改进蚁群算法的AGV路径规划研究

针对传统蚁群算法在自动导引车(automated guided vehicle,AGV)路径规划研究中存在收敛速度慢、搜索能力差以及容易陷入局部最优等问题,文章提出一种改进蚁群算法。引入自适应启发式函数,增加蚁群寻优方向性;改进信息素更新策略,避免陷入局部最优解;动态调整信息素挥发系数,使其随着迭代时期而减小,从而提高算法搜索效率、加快算法收敛速度。仿真实验结果表明,相较于其他算法,在相同环境下文章所提改进蚁群算法具有较好的收敛性和较高的寻优能力。

一种面向中文自动问答的注意力交互深度学习模型

随着互联网、大数据的飞速发展,以深度神经网络(DNN)为代表的人工智能技术迎来了黄金发展时期,自动问答作为人工智能领域的一个重要分支,也得到越来越多学者的关注。现有网络模型可以提取问题或答案的语义特征,但其一方面忽略了问题与答案之间的语义联系,另一方面也不能从整体上把握问题或答案内部所有字符之间的潜在联系。基于此,提出了两种不同形式的注意力交互模块,即互注意力交互模块和自注意力交互模块,并设计出一套基于所提注意力交互模块的深度学习模型,用于证明该注意力交互模块的有效性。首先将问题和答案中的每个字符映射成固定长度的向量,分别得到问题和答案对应的字嵌入矩阵;然后将字嵌入矩阵送入注意力交互模块,得到综合考虑问题与答案所有字符之后的字嵌入矩阵,并与之前的字嵌入矩阵相加,送入深度神经网络模块,用于提取问题与答案的语义特征;最后得到问题与答案的向量表示并计算两者之间的相似度。实验结果表明,所提模型的Top-1准确度较主流深度学习模型最高提升了3.55%,证明了所提注意力交互模块对于改善上述问题的有效性。