融合线性插值和对抗性学习的深度子空间聚类

聚类算法的研究受到广泛关注,但现有聚类算法通常无法对样本进行精准的聚类且不能有效分离个体聚簇,从而导致聚类模型泛化性能弱等问题。针对于此,提出了一种融合线性插值和对抗性学习的深度子空间聚类模型。该模型在编码器部分使用混合函数和来自均匀分布的α系数对两个样本的隐表示进行线性插值,得到新的混合输出;进而利用子空间聚类模型对混合输出和原样本隐变量进行聚类,有效提升模型对难分类样本的聚类精度。同时,将对抗性学习引入自编码器并在重构数据集上训练一个鉴别器,用于预测α系数,从而提升混合输出的数据质量。在3个公开数据集上进行实验,采用准确率(ACC)和归一化互信息(NMI)对所提算法进行评估。在Extended Yale B、ORL、COIL20数据集上准确率分别达到了0.9761、0.8743、0.9423,与现有的一些算法相比,所提算法的ACC和NMI均有较大的提升,验证了模型在处理难分类样本时,性能具有明显优于现有模型。

一种利用对抗性学习提高推荐鲁棒性的算法

随着电子商务网站的快速发展,针对不同用户进行适合其个性化推荐的需求也不断增加.其中,产品视觉外观是用户选择的关键因素之一,因此视觉特征在推荐模型中有重要的作用.同时,文献表明在个性化推荐算法中图像数据的一个较小扰动可能会较大降低推荐准确度和模型鲁棒性.针对这一问题,本文首先验证了在产品美学因子特征中加入对抗性扰动会对模型鲁棒性产生影响;其次提出了一种改进的ADCFA(Adversarial Dynamic Collaborative Filtering Model with Aesthetic Feature)推荐算法,通过在视觉混合特征参数上加入微小扰动使推荐性能下降,再使用对抗性学习方法进行模型训练,从而提高推荐系统鲁棒性;最后,还设计了一种改进的ADCFA-SGD算法用于求解模型所需的参数.通过亚马逊数据集上的实验结果表明,基于对抗性学习的个性化推荐算法性能得到明显改善,同时也提高了模型鲁棒性.

基于对抗性学习的协同过滤推荐算法

推荐系统能够根据用户的兴趣特点和购买行为,向用户推荐感兴趣的信息和商品。随着用户生成内容UGC逐渐成为当前Web应用的主流,基于UGC的推荐也得到了广泛关注。区别于传统推荐中用户与物品的二元交互,有的UGC推荐采用协同过滤方法,提出了消费者、物品和生产者的三元交互,进而提高了推荐准确度,但大多算法都集中在推荐的性能而忽略了对鲁棒性的研究。因此,通过结合对抗性学习和协同过滤的思想,提出了一种基于对抗性学习的协同过滤推荐算法。首先在三元关系模型参数上加入对抗性扰动,使模型的性能降至最差,与此同时使用对抗性学习的方法训练模型,以达到提高推荐模型鲁棒性的目的;其次设计了一种高效的算法用于求解模型所需的参数;最后在Reddit和Pinterest两个公共数据集上进行测试。实验结果表明:1)在相同参数设置下,与现有算法相比,所提方法的AUC,Precision和Recall指标均有明显的提高,验证了其可行性与有效性;2)该算法不仅增强了推荐性能,还提高了模型的鲁棒性。

基于对抗性机器学习的网络入侵检测方法研究

网络攻击数据中攻击类别多样、数量分布不均等问题,导致现有基于机器学习的网络入侵检测模型对部分攻击类型的泛化能力较弱,并且由于深度学习模型容易受到对抗样本的攻击,使得深度学习模型在网络入侵检测方面的应用存在诸多约束。对此,文章首先提出了基于随机子空间的入侵检测模型—BAVE-ELM(Bat Algorithm Voting Ensemble Extreme Learning Machines),该方法较好地平衡了模型的泛化能力和虚警率;然后,以BAVE-ELM作为一种基分类器,提出了一种基于自适应集成的网络入侵检测系统(Ensemble Adaptive Network Intrusion Detection System,EA-NIDS),通过集成多种类型的机器学习模型,显著提高了检测模型针对各种攻击类型的泛化能力;最后,文章提出了基于对抗性机器学习的网络入侵检测方法,通过在EA-NIDS中引入对抗训练,显著提升了模型在对抗样本攻击下的鲁棒性。实验结果表明,文章所提出的方法有效提高了网络入侵检测的检测性能以及泛化性,并且在不影响模型准确率的前提下,可显著提升基于机器学习的网络入侵检测模型在对抗性环境中的鲁棒性。

基于注意力机制的对抗性协同过滤推荐算法

针对协同过滤推荐算法中用户所交互的物品对其决策的不同贡献度问题,提出了一种基于相关注意力的协同过滤推荐算法。该算法结合深度学习中的注意力机制为不同物品分配不同的权值来捕获与目标物品最相关的物品,探索不同物品的权重对模型预测的影响并以此提升推荐的准确度;在此基础上,为了解决推荐算法鲁棒性低的问题,进一步提出了注意力协同对抗性训练的推荐算法,通过对抗性学习的方法并使用快速梯度符号算法(FGSM)构建对抗样本输入模型进行对抗训练,缓解模型受扰动的影响从而提升算法鲁棒性。在Pinterest和MovieLens-1M这2个数据集上的实验结果表明,所提算法不仅有效提升了推荐算法的准确度,同时也增强了推荐系统的鲁棒性。

一种多强度攻击下的对抗逃避攻击集成学习算法

在对抗性学习中,攻击者在非法目的的驱使下,通过探索分类器的漏洞并利用漏洞,使得恶意样本逃过分类器的检测。目前,对抗性学习已被广泛应用于计算机网络中的入侵检测、垃圾邮件过滤和生物识别等领域。现有研究者仅把现有的集成方法应用在对抗性分类中,并证明了多分类器比单分类器更鲁棒。然而,在对抗性学习中,攻击者的先验信息对分类器的鲁棒性有较大的影响。基于此,通过在学习过程中模拟不同强度的攻击,并增大错分样本的权重,提出的多强度攻击下的对抗逃避攻击集成学习算法可以在保持多分类器准确性的同时提高鲁棒性。将其与Bagging集成的多分类器进行比较,结果表明所提算法具有更强的鲁棒性。最后,分析了算法的收敛性以及参数对算法的影响。

基于中间桥层和相似矩阵的深度对抗迁移故障诊断方法

采用深度对抗迁移学习算法进行故障诊断时,受到领域中丰富的特征属性的影响,在领域自适应中无法充分学习可用于迁移的共有知识特征,且其在类别水平上忽略了不同类别的对齐程度的差异。针对这一问题,提出了一种基于中间桥层和相似矩阵(MB-SM)的对抗故障诊断模型,以实现对滚动轴承故障进行跨域诊断识别的目的。首先,利用改进的一维多尺度残差网络对数据的特征进行了提取;然后,引入了中间桥层和相似矩阵,完成了对共有知识特征的充分学习,降低了整体网络的数据传输难度,进一步加强了源域和目标域中同一类别内的聚类和类别之间的分离,提高了故障数据的领域适配能力;最后,采用实验室轴承数据集和美国凯斯西储大学(CWRU)数据集,对基于中间桥层和相似矩阵的模型方法进行了验证。研究结果表明:在自建实验室数据集中,采用基于中间桥层和相似矩阵的方法可以达到90.37%的平均准确率;在美国凯斯西储大学(CWRU)数据集中,也可以达到99.34%的平均准确率。相较于其他迁移学习对比模型,采用该模型方法可以获得更好的诊断性能。

适用于网络新闻数据的未配对跨模态哈希方法

针对当前大部分跨模态哈希方法只能在提供完全配对的实例时才能训练,而不适用于现实世界中存在的大量未配对数据这一情况,提出一种基于网络新闻数据的未配对跨模态哈希方法。首先,构建特征融合网络处理未配对的训练数据,补充和完善模态信息,并采用对抗性损失加强学习的公共表示。其次,使用亲和矩阵对样本的特征分布和生成的二进制码进行优化,使样本之间的语义关系更加明确。最后,添加类别预测损失以提高二进制码的判别能力。在真实的网络新闻数据集上分别进行了配对场景和非配对场景的实验,实验结果表明了本文提出的方法具有扩展到实际应用中的能力。

基于对抗性迁移学习的药品不良反应实体识别研究

【目的】为解决在线健康社区中实体表述不规范和边界不显著的问题,提出一种基于对抗性迁移学习的药品不良反应实体识别模型ATL-BCA。【方法】通过Word2Vec生成融合在线医疗健康领域外部语义特征向量;基于迁移学习思想采用共享和私有BiLSTM分别抽取实体识别和分词任务的共享边界信息及私有信息;利用多头注意力机制捕捉句子整体依赖性,并使用对抗训练过滤分词任务的私有信息以消除冗余特征对实体识别任务的影响;最后,借助条件随机场约束预测标签序列结果。【结果】在自构建药品不良反应数据集上进行实验,引入对抗性迁移学习的ATL-BCA模型实体识别F1值达到91.35%,较主流模型Word2VecBiLSTM-CRF和BERT-BiLSTM-CRF分别提升5.28和2.98个百分点。【局限】仅选用“三九健康药物网”作为实验数据源,且数据集规模较小。【结论】ATL-BCA模型不仅可以充分利用实体识别和分词任务共享边界信息,而且能够过滤分词任务私有特征,从而有效提升在线健康社区中药品不良反应实体识别效果。

基于边缘学习的低分辨率图像识别算法

由于受光照条件、拍摄角度、传输设备以及周围环境的影响,刑侦视频图像中的目标物体往往分辨率较低,难以识别。针对低分辨率图像识别问题,在经典LeNet-5识别网络的基础上,提出了一种基于边缘学习的低分辨率图像识别算法。首先由边缘生成对抗网络生成低分辨率图像的幻想边缘,该边缘与高分辨率图像边缘相近;再将该低分辨图像的生成边缘信息作为先验信息融合到识别网络中对低分辨率图像进行识别。在MNIST、EMNIST和Fashion-mnist三个数据集上分别进行实验,结果表明,将低分辨图像的幻想边缘信息融合到识别网络中可以提高低分辨率图像的识别率。

基于视觉Transformer的监控视频在线事件检测

随着监控摄像头广泛应用,记录海量视频数据对网络和存储资源带来巨大挑战。监控摄像头传输全部数据至云服务器十分困难,因此需在边缘设备筛选和传输相关事件,以减少网络负担和存储需求。传统方法依赖预训练模型检测事件,但无法预先列举所有相关事件。而在线事件检测(Onsite Event Detection,OED)能够在边缘设备上实时检测事件。首先利用对抗性学习训练Transformer自编码器,学习最近视频数据的时空特征,获得了区分事件的异常数据和常规数据的能力。同时,OED具有一种动态适应不断变化的环境的更新策略,能够持续地检测视频流中的事件。实验结果表明,OED能够高效地检测事件,并显著节省带宽。

基于GB-AEnet-FL网络的物联网设备异常检测

针对物联网场景下,传统异常检测方法在海量不均衡数据中检测准确率低、数据异构导致模型泛化能力差等问题,提出了基于联邦学习的对抗双编码异常检测网络(GB-AEnet-FL)的物联网设备异常检测算法。首先,提出了一种基于异常数据的主动特征分布学习算法,主动学习数据的潜在特征分布通过数据重构扩充异常数据,均衡正负样本比例。其次,在潜在特征层引入了对抗训练机制并添加一致性增强约束和收缩约束,提高特征提取的精度。最后,设计了一种基于动态模型选择的联邦学习算法,比较局部模型与全局模型的置信度评分,动态选择部分联邦体参与,加速模型的聚合,在一定程度上也保护了用户隐私。在四个不同数据集上进行验证,结果显示,所提算法在检测准确度优于传统算法且泛化能力得到相应提升。