纵向联邦学习方法及其隐私和安全综述

联邦学习(FL,federated learning)是一种新兴的分布式机器学习技术,利用分散在各个机构的数据,通过传输中间结果(如模型参数、参数梯度、嵌入信息等)实现机器学习模型的联合构建。联邦学习中机构的训练数据不允许离开本地,因此降低了数据泄露的风险。根据机构之间数据分布的差异,FL通常分为横向联邦学习(HFL,horizontal FL)、纵向联邦学习(VFL,vertical FL),以及联邦迁移学习(TFL,transfer FL)。其中,VFL适用于机构具有相同样本空间但不同特征空间的场景,广泛应用于医疗诊断、金融评估和教育服务等领域。尽管VFL在现实应用中有出色的表现,但其本身仍然面临诸多隐私和安全问题,尚缺少对VFL方法与安全性展开全面综述的工作。为了构建高效且安全的VFL系统,从VFL方法及其隐私和安全两个方面展开,首先从边缘模型、通信机制、对齐机制以及标签处理机制4个角度对现有的VFL方法进行详细总结和归纳;其次介绍并分析了VFL面临的隐私和安全风险;进一步对其防御方法进行介绍和总结;此外,介绍了适用于VFL的常见数据集及平台框架。结合VFL面临的安全性挑战给出了VFL的未来研究方向,旨在为构建高效、鲁棒和安全的VFL的理论研究提供参考。

基于图网络融合的交通状态预测方法研究

文中考虑道路节点之间的时间相关性,利用皮尔逊相关性系数构建逻辑相关路网;通过图聚合算法聚合道路节点邻居信息,融合原始交通路网与逻辑相关路网提取的时空特征信息,以最小化损失函数为目标,返回最优模型参数,构建基于图网络融合的交通路网模型.采用西雅图高速路网速度数据集(seattle)和加州流量数据集(PEMS08)作试验验证,图网络融合模型提高了在交通状态预测精度.在短时交通状态预测中,Seattle的MAE指标为2.57、MAPE指标为6.48;PEMS08的MAE指标为14.23、MAPE指标为7.15;长时交通状态预测结果均优于LSTM、T-GCN等模型.

基于对比学习的图神经网络后门攻击防御方法

针对现有的后门攻击防御方法难以处理非规则的非结构化的离散的图数据的问题,为了缓解图神经网络后门攻击的威胁,提出了一种基于对比学习的图神经网络后门攻击防御方法(CLB-Defense)。具体来说,基于对比学习无监督训练的对比模型查找可疑后门样本,采取图重要性指标以及标签平滑策略去除训练数据集中的扰动,实现对图后门攻击的防御。最终,在4个真实数据集和5主流后门攻击方法上展开防御验证,结果显示CLB-Defense能够平均降低75.66%的攻击成功率(与对比算法相比,改善了54.01%)。

CheatKD:基于毒性神经元同化的知识蒸馏后门攻击方法

深度学习模型性能不断提升,但参数规模也越来越大,阻碍了其在边缘端设备的部署应用。为了解决这一问题,研究者提出了知识蒸馏(Knowledge Distillation,KD)技术,通过转移大型教师模型的“暗知识”快速生成高性能的小型学生模型,从而实现边缘端设备的轻量部署。然而,在实际场景中,许多教师模型是从公共平台下载的,缺乏必要的安全性审查,对知识蒸馏任务造成威胁。为此,我们首次提出针对特征KD的后门攻击方法CheatKD,其嵌入在教师模型中的后门,可以在KD过程中保留并转移至学生模型中,进而间接地使学生模型中毒。具体地,在训练教师模型的过程中,CheatKD初始化一个随机的触发器,并对其进行迭代优化,以控制教师模型中特定蒸馏层的部分神经元(即毒性神经元)的激活值,使其激活值趋于定值,以此实现毒性神经元同化操作,最终使教师模型中毒并携带后门。同时,该后门可以抵御知识蒸馏的过滤被传递到学生模型中。在4个数据集和6个模型组合的实验上,CheatKD取得了85%以上的平均攻击成功率,且对于多种蒸馏方法都具有较好的攻击泛用性。

基于超图嵌入和有限注意力的社会化推荐

近年来,社会化推荐作为推荐算法之一被广泛应用于各大平台.由于引入了用户的社交信息,社会化推荐可以较好地缓解数据稀疏问题.然而,大部分社会化推荐难以高效地从原始信息中提取用户的有效信息,导致引入社会信息的同时也会引入大量噪声.为了解决上述问题,本文提出了SRBHL(Social Recommendation Based on Hypergraph embedding and Limited attention)模型,通过超图嵌入模块提取用户的历史行为信息和社交信息,以缓解原始目标用户数据稀疏问题,并结合有限注意力模块来过滤原始信息的噪声,最后将得到的有效好友信息用于推荐.在Yelp-Urbana、Yelp-Phoenix和Epinions3个真实数据集上的实验结果表明SRBHL模型相比其他的推荐算法表现更出色.此外,本文还对SRBHL模型进行了鲁棒性分析,并给出了模型最优参数的取值范围.

图像对抗样本检测综述

深度神经网络是人工智能领域的一项重要技术,它被广泛应用于各种图像分类任务.但是,现有的研究表明深度神经网络存在安全漏洞,容易受到对抗样本的攻击,而目前并没有研究针对图像对抗样本检测进行体系化分析.为了提高深度神经网络的安全性,针对现有的研究工作,全面地介绍图像分类领域的对抗样本检测方法.首先根据检测器的构建方式将检测方法分为有监督检测与无监督检测,然后根据其检测原理进行子类划分.最后总结对抗样本检测领域存在的问题,在泛化性和轻量化等方面提出建议与展望,旨在为人工智能安全研究提供帮助.

机器视觉判别牛肉新鲜度的多模型定量分析

色泽是判断生鲜牛肉新鲜度的重要指标之一。随着人工智能的发展,机器视觉为生鲜肉新鲜度判别提供了可量化的解决方案。该研究通过智能手机获取牛肉图像,利用灰度化、二值化、图像分割与提取,获取不同新鲜度牛肉图像在Red-Green-Blue(RGB)、L^(*)a^(*)b^(*)和Hue-Saturation-Intensity(HSI)颜色空间的颜色参数,并与常规牛肉新鲜度评价指标挥发性盐基氮(total volatile base nitrogen,TVB-N)、硫代巴比妥酸(thiobarbituric acid,TBA)、菌落总数(total viable count,TVC)和感官评分(sensory index,SI)相关联,建立多元线性回归(multiple linear regression,MLR)、反向传播神经网络(back propagation neural network,BPNN)和支持向量回归(support vector regression,SVR)牛肉新鲜度定量预测模型。结果表明,MLR模型对TVB-N、TBA、TVC和SI值的预测模型决定系数(R^(2))分别为0.9406、0.9316、0.9582和0.9548。BPNN模型R^(2)为0.9627、0.9641、0.9920和0.9864,SVR模型的R^(2)为0.9712、0.9679、0.9928和0.9883。3种模型中SVR模型新鲜度预测性能最优,且预测相对误差均在±10%之内。在此基础上,建立了基于颜色参数的SVR牛肉货架期预测模型(R^(2)=0.9648),该模型的预测值与真实货架期平均绝对误差<0.5 d,优于传统货架期模型,提供了一种无损、快速确定牛肉新鲜度和货架期的新方法。

面向深度学习模型的可靠性测试综述

深度学习模型由于其出色的性能表现而在各个领域被广泛应用,但它们在面对不确定输入时,往往会出现意料之外的错误行为,在诸如自动驾驶系统等安全关键应用,可能会造成灾难性的后果。深度模型的可靠性问题引起了学术界和工业界的广泛关注。因此,在深度模型部署前迫切需要对模型进行系统性测试,通过生成测试样本,并由模型的输出得到测试报告,以评估模型的可靠性,提前发现潜在缺陷。一大批学者分别从不同测试目标出发,对模型进行测试,并且提出了一系列测试方法。目前对测试方法的综述工作只关注到模型的安全性,而忽略了其他测试目标,且缺少对最新出版的方法的介绍。因此,本文拟对模型任务性能、安全性、公平性和隐私性4个方面对现有测试技术展开全方位综述,对其进行全面梳理、分析和总结。具体而言,首先介绍了深度模型测试的相关概念;其次根据不同测试目标对79篇论文中的测试方法和指标进行分类介绍;然后总结了目前深度模型可靠性测试在自动驾驶、语音识别和自然语言处理三个工业场景的应用,并提供了可用于深度模型测试的24个数据集、7个在线模型库和常用工具包;最后结合面临的挑战和机遇,对深度模型可靠性测试的未来研究方向进行总结和展望,为构建系统、高效、可信的深度模型测试研究提供参考。值得一提的是,本文将涉及的数据集、模型、测试方法代码、评价指标等资料归纳整理在https://github.com/Allen-piexl/Testing-Zoo,方便研究人员下载使用。

面向深度学习的公平性研究综述

深度学习是机器学习研究中的一个重要领域,它具有强大的特征提取能力,且在许多应用中表现出先进的性能,因此在工业界中被广泛应用.然而,由于训练数据标注和模型设计存在偏见,现有的研究表明深度学习在某些应用中可能会强化人类的偏见和歧视,导致决策过程中的不公平现象产生,从而对个人和社会产生潜在的负面影响.为提高深度学习的应用可靠性、推动其在公平领域的发展,针对已有的研究工作,从数据和模型2方面出发,综述了深度学习应用中的偏见来源、针对不同类型偏见的去偏方法、评估去偏效果的公平性评价指标、以及目前主流的去偏平台,最后总结现有公平性研究领域存在的开放问题以及未来的发展趋势.

一种面向图神经网络的图重构防御方法

近年来,图神经网络在图表示学习领域中取得了较好表现广泛应用于日常生活中,例如电子商务、社交媒体和生物学等.但是研究表明,图神经网络容易受到精心设计的对抗攻击迷惑,使其无法正常工作.因此,提高图神经网络的鲁棒性至关重要.已有研究提出了一些提高图神经网络鲁棒性的防御方法,然而如何在确保模型主任务性能的前提下降低对抗攻击的攻击成功率仍存在挑战.通过观察不同攻击产生的对抗样本发现,对抗攻击生成的对抗连边所对应的节点对之间通常存在低结构相似性和低节点特征相似性的特点.基于上述发现,提出了一种面向图神经网络的图重构防御方法GRD-GNN,分别从图结构和节点特征考虑,采用共同邻居数和节点相似度2种相似度指标检测对抗连边并实现图重构,使得重构的图结构删除对抗连边,且添加了增强图结构关键特征的连边,从而实现有效防御.最后,论文在3个真实数据集上展开防御实验,验证了GRD-GNN相比其他防御方法均能取得最佳的防御性能,且不影响正常图数据的分类任务.此外,利用可视化方法对防御结果做解释,解析方法的有效性.

一种融合信息网络结构的数据增强行为预测算法

随着互联网上用户移动数据的日益繁荣,用户的移动行为预测也成为了预测研究的热点.近年来,循环神经网络(RNN)技术因其高效性和扩展性在移动预测中得到了广泛的应用.但是,目前大部分网上收集到的用户移动行为数据普遍具有稀疏和异质的特性,特别是当用户出于习惯或隐私考虑可能会拒绝向平台提交活动记录.因此在这些稀疏数据集上基于RNN的预测技术无法有效地学习到足够的用户行为特征,从而影响了模型的预测性能.为了解决该问题,本文提出了一种融合信息网络结构的数据增强行为预测算法.具体来说,首先我们将用户历史行为数据转为信息网络图;然后通过该信息网络的模块度来评估用户的信息传递效率;最后根据信息传递效率对用户的朋友数据进行采样,将具有高信息传递效率的朋友数据嵌入到用户数据中对用户数据进行增强.在真实数据集Yelp上的实验结果显示,我们的方法可以起到对现有算法模型增强的作用,所有模型的预测性能都得到了大幅提升.

面向图神经网络的对抗攻击与防御综述

面向已有的图神经网络的攻击与防御方法,较全面地综述了图神经网络对抗攻防技术与鲁棒性分析。首先,综述了图神经网络在不同任务下的对抗攻击与基于不同策略的防御方法,并全面介绍了鲁棒性分析技术;随后,介绍了常用的基准数据集与评价指标;最后,提出了未来可能的研究方向和发展趋势。

基于图自编码-生成对抗网络的路网数据修复

完整的交通路网数据是实现智能交通系统的前提,故本文提出一种基于图自编码-生成对抗网络的方法对路网中缺失数据进行修复。首先,通过降噪图变分自编码器提取路网缺失数据的时空特征,使其能最大程度捕获原始路网信息;其次,基于该时空特征利用生成对抗网络生成路网数据,加入重建损失并优化生成对抗网络的目标函数,实现对缺失数据的有效插补;最后,采用西雅图(Seattle)和加州(PEMS04)路网速度数据集,针对不同缺失类型和缺失率下的数据修复进行对比实验。当随机缺失率在10%~70%时,Seattle数据集的MAE指标在2.38~3.25之间,PEMS04数据集的MAE指标在1.46~2.38之间;当聚集缺失率在10%~70%时,Seattle数据集的MAE指标在2.51~2.82之间,PEMS04数据集的MAE指标在1.52~1.54之间。对比结果表明,本文提出的路网数据修复方法均优于BP、DSAE、BGCP等模型。

社交媒体机器人的研究现状、挑战与展望

随着大数据、云计算和深度学习技术的发展,信息传播又进入了“人机共生”的智能时代.近年来,大量国内外研究证明社交媒体机器人已经成为影响和干预网络信息传播的重要因素,并对社会稳定和国家安全产生深远影响.因此,对社交媒体机器人的研究逐步成为计算机和信息科学以及互联网产业的热点之一.据此,本文全面地综述了关于社交媒体机器人的相关研究,包括:社交媒体机器人的定义、影响机制、识别算法以及科技伦理困境等,并对社交媒体机器人未来的创新研究趋势进行了讨论和展望.

研究生实践能力培养模式探索实践

分析目前我国研究生实践能力培养所存在的问题,寻找研究生实践能力的影响因素。以提高研究生实践能力为目标,从课程、实践和竞赛等方面进行培养模式探索,并提出了综合培养模式。

基于无线传感网络的水质在线移动监测系统

针对静态离线水质监测方法存在采样误差大、监测频次低、监测数据分散以及无法实时反馈水质状况的连续动态变化等问题,研发了基于无线传感网络的水质在线移动监测系统.该系统由水下监测器、浮标节点和可视化软件组成.水下监测器模仿金枪鱼外观设计,内部装备水质传感器(温度、pH、浊度和电导率等)用于获取水质参数信息;浮标节点采用太阳能供电方式,负责接收、处理、中继及转发来自多个水下监测器的数据;多个水下监测器之间,水下监测器与浮标节点之间采用170 MHz无线射频模块或水声通信,浮标节点与岸边基站采用ZigBee通信;可视化软件包括上位机与移动终端.本系统的实施解决了传统人工取样监测的局限性,实现水域任意点的水质在线监测.

基于遗传算法的神经网络等价模型构建

神经网络模型结构作为深度学习的重要组成部分,在很大程度上决定着深度学习的性能表现。而目前基于深度学习的应用,大部分都由经典的网络模型修改而来。由于无法获得原神经网络模型结构,本文根据原模型的输入输出数据以及经典的神经网络模型结构,构建了原模型的预测模型。该方法主要通过对预测模型的结构参数进行编码,并利用遗传算法(GA)进行选择、交叉、变异操作,从而构建出原模型的等价模型。对于同一输入数据,等价模型和原模型的输出基本保持一致。本文提出的构建方法在图像分类、信号调制类型分类和网络链路预测领域均取得了较好的效果。

基于约束优化生成式对抗网络的数据去偏方法

深度学习技术在图像识别、自然语言处理、金融预测等领域具有广泛应用,其分析结果一旦存在偏见将给个人和群体带来负面影响,因此在保障深度学习模型的性能不受影响的前提下提高模型的公平性至关重要。针对数据的偏见信息不只是敏感属性,属性之间的关联性使非敏感属性也会带有偏见信息,因此只考虑敏感属性的去偏算法依然存在偏见问题。为了消除数据中关联属性的敏感信息对深度学习的分类结果带来偏见,提出一种基于生成式对抗网络的数据去偏方法,模型的损失函数结合公平性约束及准确性损失两种约束优化,利用对抗式编码消除偏见信息,生成去偏数据集;并通过生成器与判别器的交替博弈训练,减少数据集无偏信息的损失,在保证主任务分类准确率的同时消除数据中的偏见,从而提高后续分类任务的公平性。最终,在多个真实数据集上展开数据去偏实验,验证了该去偏算法的有效性。

新冠疫情下的国际科研合作研究

通过网络协同构建理论,将新冠期间的科研合作构建成国家层面的合作网络,旨在描述疫情期间科研合作的演化模式及疫情对科研合作所产生的影响。在合作网络视角下,通过计算网络特征以发现科研合作的演化模式,利用国家合作新鲜度以了解合作中心的动态演化,并运用断点回归方法检验了疫情对国际科研合作的影响。研究结果显示,新冠疫情的爆发促使各个国家加强科研合作以对抗疫情。其中,中国在疫情前期扮演了重要角色,虽然合作中心逐渐随着疫情的变化而转移,中国仍是一个重要的合作对象。最后,通过因果分析研究了国家在疫情期间的合作行为,发现疫情促进了人们合作对抗灾难的行动力。

基于通用逆扰动的对抗攻击防御方法

现有研究表明深度学习模型容易受到精心设计的对抗样本攻击,从而导致模型给出错误的推理结果,引发潜在的安全威胁.已有较多有效的防御方法,其中大多数针对特定攻击方法具有较好防御效果,但由于实际应用中无法预知攻击者可能采用的攻击策略,因此提出不依赖攻击方法的通用防御方法是一个挑战.为此,提出一种基于通用逆扰动(Universal inverse perturbation,UIP)的对抗样本防御方法,通过学习原始数据集中的类相关主要特征,生成通用逆扰动,且UIP对数据样本和攻击方法都具有通用性,即一个UIP可以实现对不同攻击方法作用于整个数据集得到的所有对抗样本进行防御.此外,UIP通过强化良性样本的类相关重要特征实现对良性样本精度的无影响,且生成UIP无需对抗样本的先验知识.通过大量实验验证,表明UIP在不同数据集、不同模型中对各类攻击方法都具备显著的防御效果,且提升了模型对正常样本的分类性能.