基于残差网络的轻量级图卷积推荐方法

针对现有基于图卷积网络的推荐模型存在消息传播链路不完善、最终节点表示冗余的问题,提出了一种基于残差网络的轻量级图卷积推荐方法(ResLightGCN)。引入残差结构建立同一节点相邻层之间的消息传播网络,扩充了信息传播路径;从语义角度上优化最终节点的表示,即不考虑没有消息传播的图卷积层;在四个公开数据集上对ResLightGCN进行评价,实验结果表明提出的模型优于现有的几种基线模型,特别是在Yelp和Amazon_Books数据集上,ResLightGCN模型的NDCG@10评价指标比最佳基线模型分别提升了16.2%和15.8%。

基于残差网络的地基云图识别方法研究

地基云的精细化识别对气候预测和气象研究具有重要的意义。针对目前地基云识别准确率低、泛化性差、不利于边缘化部署的问题,提出了基于残差网络的地基云图识别模型,命名为GBcNet。设计的模型由1个卷积层、2个池化层、5个残差块以及1个全连接层构成,利用第1个卷积层和第1个池化层初步提取特征信息并降低特征图大小,通过残差块提取更多的特征信息,同时抑制网络的过拟合和梯度消失,最后利用另1个池化层降低特征图的大小,并通过全连接层输出识别结果。利用数据集对模型进行训练和测试,实验结果表明,GBcNet模型对数据集的综合平均准确率达到了96.02%,11种类别地基云的识别精确率均在93%~99%,且具有更好的泛化性,单个类别和整体识别性能均优于其他模型。进一步采用SWIMCAT数据集对模型进行实验,综合识别准确率达99.7%,证明模型对地基云图识别具有普适性。模型结构简单,相较于其他模型,更有利于边缘化部署。

基于BiGRU和残差图注意力网络的股票价格预测模型

高效、准确的股票价格预测能帮助投资者合理规划交易方式,提高投资收益。针对现有股票价格预测模型的准确率不高、投资收益率低等问题,提出一种结合双向门控循环单元(BiGRU)和残差图注意力网络(ResGAT)的股票价格预测模型(BiGRU-ResGAT)。首先,通过结合注意力机制的时间滑动窗口方法(TSWMCAM)动态计算不同股票之间的关联系数,构建表征股票之间关联关系的股票图结构;然后,使用BiGRU捕获股票在时序上的长距离依赖信息;最后,利用ResGAT对股票的时序特征与股票间的关联特征进行深度挖掘和融合,并对股票价格进行预测。在上海证券交易所主板市场498支股票上的价格预测结果显示,与支持向量机(SVM)、门控循环单元(GRU)、复合模型(CNN-LSTM)和关系股票排序模型(RSR)相比,BiGRU-ResGAT在股票测试集上平均绝对误差(MAE)分别降低79.53%、63.20%、48.17%、33.19%,均方根误差(RMSE)分别降低80.23%、66.22%、53.99%、29.99%,决定系数(R-Squared)分别提升23.34%、15.22%、9.54%、4.84%;在投资组合上的累计收益率分别提升10.77、7.89、6.81、5.03个百分点。实验结果表明,BiGRU-ResGAT能够有效地挖掘和融合股票数据的关键特征,对股票价格进行预测。

基于重构残差保持的深度矩阵分解的多视图聚类

多视图聚类是机器学习中的一个基本问题,近年来,基于矩阵分解用于学习多视图数据获得广泛的关注,并且取得了不错的效果。然而,我们发现现有的多视图聚类方法大多主要关注多视图数据所蕴含的重要属性,即一致性和互补性,而忽略了属于单个视图的特定统计属性。为此,本文提出一个矩阵深度矩阵分解的局部残差保持的多视图聚类算法(LRPDMF),我们通过图嵌入的方式,捕捉到每个视图的特定统计属性,保证每一层的数据重构,相似的数据点具有相似的重建残差。在融合阶段的,我们利用这些学习到的特征,由于不同的视图可能会有不同的权重,我们利用自适应的方式将他们逼近到一个相似低维空间。在不同的数据集上,我们的LRPDMF与现在最先进的方法比较,获得不错的实验效果。

结合门控融合网络和残差傅里叶变换重建太阳斑点图

使用现有深度学习算法重建云南天文台拍摄的高度模糊太阳斑点图像时,出现高频信息丢失、边缘模糊、重建难度大等问题。对此,提出一种结合门控融合网络与残差傅里叶变换的太阳斑点图重建算法,其中门控融合网络由一个生成器和两个鉴别器组成,生成器包含去模糊模块、高维特征提取模块、门控模块和重建模块。去模糊模块采用基于双注意力机制的U形网络框架,获取低分辨率图像去模糊后的特征;高维特征提取模块使用残差傅里叶变换的卷积块,提取包含图像空间细节的高维特征;门控模块将上述两个特征进行融合,得到权重图,与去模糊后的特征进行加权后,再与高维特征融合,得到融合特征;重建模块采用残差傅里叶变换的卷积块和像素混洗层,将门控模块得到的融合特征图进行重建,得到高分辨率图像。利用两个鉴别器分别鉴别去模糊模块产生的去模糊图像和重建模块产生的高分辨率图像的真实性。最后,设计包含像素内容损失、感知损失和对抗损失的组合训练损失函数,指导模型训练。实验结果显示,所提方法与现有深度学习重建方法相比,高频信息的恢复能力更强,边缘轮廓更清晰,结构相似性和峰值信噪比指标更高。

基于特征图像组合与改进ResNet-18的电能质量扰动识别方法

针对传统电能质量扰动(power quality disturbance,PQD)识别体系中单一图像特征信息受限与算法识别能力不足等问题,依据特征融合的思想,提出一种基于特征图像组合与改进ResNet-18的PQD识别方法。首先,对PQD信号进行变分模态分解(variational mode decomposition,VMD)得到一系列固有模态函数(intrinsic mode functions,IMFs)与残差分量;其次,将IMFs、残差分量、原始扰动信号与Subtract分量纵向拼接成分量矩阵,利用信号-图像转化方法生成特征分量彩色图;再次,对原始扰动信号进行连续小波变换(continuous wavelet transform,CWT)生成小波时-频图;最后,将特征分量彩色图与小波时-频图组合输入改进的六通道ResNet-18中训练学习并完成扰动识别。通过仿真对PQD识别方法进行分析并将其与目前常用识别体系进行比较。结果表明,所提方法具有较好的抗噪性能并且能够更好地提取PQD特征信息,达到更高的识别准确率。

基于端到端深度神经网络和图搜索的OCT图像视网膜层边界分割方法

视网膜层边界的形态变化是眼部视网膜疾病出现的重要标志,光学相干断层扫描(optical coherence tomography,OCT)图像可以捕捉其细微变化,基于OCT图像的视网膜层边界分割能够辅助相关疾病的临床判断.在OCT图像中,由于视网膜层边界的形态变化多样,其中与边界相关的关键信息如上下文信息和显著性边界信息等对层边界的判断和分割至关重要.然而已有分割方法缺乏对以上信息的考虑,导致边界不完整和不连续.针对以上问题,提出一种“由粗到细”的基于端到端深度神经网络和图搜索(graph search,GS)的OCT图像视网膜层边界分割方法,避免了非端到端方法中普遍存在的“断层”现象.在粗分割阶段,提出一种端到端的深度神经网络—注意力全局残差网络(attention global residual network,AGR-Net),以更充分和有效的方式提取上述关键信息.具体地,首先设计一个全局特征模块(global feature module,GFM),通过从图像的4个方向扫描以捕获OCT图像的全局上下文信息;其次,进一步将通道注意力模块(channel attention module,CAM)与全局特征模块串行组合并嵌入到主干网络中,以实现视网膜层及其边界的上下文信息的显著性建模,有效解决OCT图像中由于视网膜层形变和信息提取不充分所导致的误分割问题.在细分割阶段,采用图搜索算法去除AGR-Net粗分割结果中的孤立区域或和孔洞等,保持边界的固定拓扑结构和连续平滑,以实现整体分割结果的进一步优化,为医学临床的诊断提供更完整的参考.最后,在两个公开数据集上从不同的角度对所提出的方法进行性能评估,并与最新方法进行比较.对比实验结果也表明所提方法在分割精度和稳定性方面均优于现有方法.

图神经网络研究综述

随着人工智能的快速发展,深度学习已经在图像、文本和语音等可在欧氏空间表示的数据中取得了巨大成功,但却一直无法很好地应用于非欧氏空间。近年来,图神经网络在非欧几里得空间中展现出了强大的表示学习能力,并广泛应用于推荐系统、自然语言处理以及机器视觉等众多领域。图神经网络模型基于信息的传播机制,具体地,图中的目标节点通过聚合邻居节点的信息来更新自身的嵌入表示。利用图神经网络,可将众多现实问题(如社交网络、知识图谱和药物化学成分等)抽象成图网络,借助图中的连接边,对不同节点之间的依赖关系进行合理建模。鉴于此,对图神经网络进行了系统综述,首先介绍了图结构数据方面的基础知识,然后对图游走算法和不同类型的图神经网络模型进行了系统梳理。进一步地,详细阐述了当前图神经网络的通用框架和应用领域,最后对图神经网络的未来进行了总结与展望。

结合残差与自注意力机制的图卷积小样本图像分类网络

小样本学习的提出是为了解决深度学习中模型学习所需数据集规模小或者数据标注代价昂贵的问题,图像分类作为深度学习研究领域的重要研究内容,也存在训练数据不足的情况。研究人员针对图像分类模型缺乏训练数据的情况,提出了许多的解决方法,利用图神经网络进行小样本图像分类就是其中的一种。为了更好地发挥图神经网络在小样本学习领域中的作用,针对图神经网络中的卷积操作过程易受偶然因素影响,导致模型不稳定,使用残差网络对图神经网络进行改进,设计了残差图卷积网络,以提高图神经网络的稳定性。在残差图卷积网络的基础上,结合自注意力机制设计残差图自注意力机制,深入挖掘节点之间的关系,提高信息传播效率,从而提高分类模型的分类准确率。经过测试,改进后的残差图卷积网络训练效率得到提高,在5way-1shot任务中的分类准确率相比GNN模型提高了1.1%,在5way-5shot任务中比GNN模型提高了1.42%。在5way-1shot任务中,残差图自注意力网络的分类准确率比GNN模型提高了1.62%。

基于残差网络ResNet18-SVM的弹道中段目标识别

针对单纯基于深度学习的弹道目标识别算法在小样本下鲁棒性差、识别率低的问题,提出一种残差网络ResNet18与支持向量机(SVM)级联的分类模型,对弹头、重诱饵、轻诱饵和碎片四类典型弹道目标进行识别。该识别以雷达回波信号的时频图像作为输入,利用残差单元自动抽象出目标特征,再输入SVM识别分类,该模型结合了ResNet深层感受野大、SVM对高维特征样本拥有较好的分类能力的优势。文中实验采用的雷达回波数据集通过弹道仿真和目标电磁仿真获得,通过仿真实验表明级联模型ResNet18-SVM比单纯的ResNet18识别率平均提升1.9%;文中模型具有良好的鲁棒性,在不同信噪比下相比于SqueezeNet、ZFNet、AlexNet网络平均精准率分别高出14.3%、16.3%、4.46%。

基于超像素分割的图注意力网络的高光谱图像分类

针对卷积神经网络(CNN)仅能应用于欧氏数据,无法有效获取像素间的全局关系特征以及长距离上下文信息的问题,构建一个基于超像素分割的图注意力网络SSGAT.该网络将超像素分割后的超像素块视为图结构中的图节点,有效减少了图结构的复杂度,并降低了分类图的噪声.在3个数据集上对SSGAT及对比算法的分类精度进行测试,分别获得了94.11%,95.22%,96.37%的总体分类精度.结果表明该方法性能优异,在处理大尺度区域的分类问题时优势明显.

基于不同控制图的GNSS异常数据检测方法研究

控制图是一种成熟的突变点检测方法,在全球卫星导航系统坐标序列异常数据检测中得到了广泛的应用。采用3种使用较为广泛的控制图,分别为累计和控制图、休哈特控制图以及指数加权移动平均控制图,通过在GNSS异常数据中加入不同倍数的标准差偏移量进行实验,并进行比较分析。结果表明,CUSUM控制图对于3倍以下标准差偏移量具有较高的准确性,其次是EWMA控制图,但CUSUM控制图最小只能检测到0.5倍的偏移值。对于3倍以上的标准差偏移量,Shewhart控制图和EWMA控制图有类似的效果,而CUSUM控制图会随着偏移量的增大而导致误判的增大。

基于小波时频图和ResNet18的焊接状态监测方法研究

针对焊接过程中因外部干扰因素或焊接参数选择不当而导致的气孔和未熔合缺陷的问题,提出一种小波时频图和深度残差网络(ResNet18)相结合的焊接质量检测方法。首先,搭建管道全位置自动焊接试验平台,利用拾音器记录熔合良好、未熔合和气孔焊接状态下的声音信号,将采集到的声音信号进行小波阈值降噪处理并且计算信号的信噪比,从而得到合适的信号降噪方法。其次,使用连续小波变换得到小波时频图,对时频图进行压缩和预处理,将时频图的大小设置为224×224,并剔除时频图上的标题、坐标和能量等。最后,将处理好的小波时频图作为输入,以未熔合、熔合良好和气孔三种状态作为输出,利用ResNet18网络进行训练。结果表明,该模型对三种焊接状态下的声音信号具有良好的监测效果,其准确率为90.78%。

基于改进残差网络的XLPE电缆局部放电声纹诊断方法

XLPE电缆是电力系统的重要设备,针对传统的残差网络模型在进行电缆故障诊断时计算量较大、准确率低的问题,提出一种基于改进残差卷积网络的电缆局部放电故障诊断方法。首先通过试验平台对3类典型局部放电故障的声纹时频谱图进行采集和预处理;然后,采用SiLU函数作为激活函数,并在残差块中引入高效信道注意力机制模块,得到改进残差网络模型;最后,利用训练好的模型识别局部放电故障的时频谱图。结果表明,改进残差网络对于XLPE电缆局部放电故障的识别率可达97%以上,与经典深度学习网络和传统机器学习算法相比,具有更优的识别效果。

基于残差网络融合多关系评论特征的虚假评论检测

随着电子商务和短视频社区平台的兴起,涌现出的虚假评论严重影响了用户体验。甚至为了对抗平台检测,伪装的评论(Review Camouflage)更加难以辨别。当前基于图神经网络(Graph Neural Networks,GNNs)的虚假评论检测方法在深层训练过程中容易出现网络退化和梯度消失问题。同时评论伪装导致评论标记更加倾斜,从而影响GNNs检测模型的鲁棒性。针对以上问题,提出了一种基于残差网络的检测方法MRDRN,可融合多关系评论特征进行虚假评论识别。首先,为了减缓网络退化,结合残差网络进行深层评论特征提取,并给出一种新的邻居混合采样策略,可根据评论之间的特征相似性进行低阶及高阶邻居混合采样,从而缓解评论标记不均衡的问题并学习更加丰富的评论特征。其次,提出了一种多关系评论特征融合策略,通过关系内评论网络拓扑与多关系间评论特征的整体融合,来减小评论伪装的影响。在3个真实数据集上进行实验,结果表明,MRDRN相比基准方法具有更高的检测能力和更强的鲁棒性。

基于频谱图与时序成像的非侵入式负荷监测方法

针对在多种电器设备同时运行的场景下,当前非侵入式负荷监测方法存在分解困难的问题,本文提出了基于频谱图与时序成像的非侵入式负荷监测方法。首先进行负荷分解,利用频谱图变换原理将多种电器设备的聚合电流转换成频谱图矩阵,并通过词嵌入将频谱图矩阵变换到高维;然后通过k-均值聚类算法得到单个电器设备的频谱图矩阵并反变换为相应的时序电流;其次,进行负荷分类,将负荷分解得到的各类电器设备的时序电流转换为图像进行分类,分类模型为训练完成的深度神经网络模型。最后,利用公开数据集进行实验,结果表明所提方法具有较好的分解和分类效果。

采用差分星座图的SDR设备射频指纹识别

差分星座图(Differential Constellation Trace Figure,DCTF)在射频指纹(Radio Frequency Fingerprint,RFF)识别中具有良好的性能,但在低信噪比情况下会产生严重的模糊。为了提高DCTF的识别精度,设计了注意力残差卷积神经网络模型,即DCTF-Res2Net模型。该模型在网络提取特征时加入注意力模块来提高DCTF的识别精度,并将标签平滑损失函数与网络模型结合,有效缓解了DCTF中的离群点对网络模型的干扰。在实验中,根据不同的传输方式和传输场景构建了完备的DCTF的数据集,并用DCTF-Res2Net模型对其进行分类。实验结果表明,在信噪比为5 dB的情况下,与传统的残差网络相比,所提出的DCTF-Res2Net模型可以达到更高的识别精度。

结合跳跃连接的多层图注意力网络会话推荐

基于会话的推荐旨在根据匿名用户的短期交互数据来预测用户下一次交互项目.现有图神经网络会话推荐模型大多在信息传播过程中平等对待所有邻居节点,而没有区分他们对于中心节点的重要性,从而给模型训练引入噪声.此外,随着图神经网络层数的增加,过度平滑问题会随之产生.针对上述问题,本文提出结合跳跃连接的多层图注意力网络会话推荐模型(MGATSC).首先利用图注意力网络学习邻居节点对于中心节点的重要性,并堆叠多层网络以获取高阶邻居信息;然后为了缓解过度平滑问题,采用基于残差注意力机制的跳跃连接更新每层网络的节点嵌入,并通过平均池化得到最终节点嵌入.最后将反向位置嵌入融合到节点嵌入中,经过预测层生成推荐.在Tmall、Diginetica以及Retailrocket这3个公开数据集上的实验结果表明所提模型优于所有基线模型,验证了模型的有效性与合理性.

改进的DeepLabv3+同图复制篡改检测算法

为解决现有的篡改检测算法难以提取图像篡改边缘特征、篡改区域定位精度较低问题,提出一种改进的DeepLabv3+同图复制篡改检测算法。该算法在DeepLabv3+网络中引入双重注意力机制模块,用于捕捉上下文信息,以提高模型对篡改区域的适应性;采用残差细化模块对预测掩膜进一步优化,以增强模型对篡改边界的敏感性;使用一种新的混合损失函数用于模型训练,以利于模型在像素级和图像级中学习篡改图像与对应真实掩膜之间的映射关系。实验结果表明,改进的DeepLabv3+同图复制篡改检测算法,在COPYMOVE_NIST和COPYMOVE_COCO数据集上的3个评价指标均高于FCN、U-Net及DeepLabv3+算法,检测精度分别达到0.929和0.895,能够有效地提取图像篡改边缘特征,解决边缘像素漏检和误检问题。

基于时间序列模型与残差控制图的兰州市空气质量研究

利用2003-2012年兰州市月均空气污染指数API和季节性时间序列模型SARIMA,对数据序列进行拟合并对其变化趋势进行了分析,研究其演变趋势并选取空气质量良好(月平均API<150)的月份(2012年6月2013年2月),选用时间序列模型ARIMA(1,1,1)进行拟合,再结合残差控制图,对2013年3月日平均API预测监控。结果表明,SARIM A(0,1,1)×(0,1,1)12模型较好的拟合了近10年兰州市API的变化趋势,兰州市的空气污染大致呈冬、春季污染相对较重,夏、秋季相对较轻,空气质量总体在逐渐好转。适合该地区短时间尺度的时间序列模型是ARIMA(1,1,1),结合残差控制图对2013年3月API进行预测监控,结果显示6,9,10,11,12和13日超出控制限,对6日和9日提出预警。预测结果与实际结果相吻合,证实了将时间序列模型与残差控制图结合预测监控大气污染的有效性。