动量余弦相似度梯度优化图卷积神经网络

传统梯度下降算法仅对历史梯度进行指数加权累加,没有利用梯度的局部变化,造成优化过程越过全局最优解,即使收敛到最优解也会在最优解附近震荡,其训练图卷积神经网络会造成收敛速度慢、测试准确度低。利用相邻两次梯度的余弦相似度,动态调整学习率,提出余弦相似度梯度下降(SimGrad)算法。为进一步提升图卷积神经网络训练的收敛速度和测试准确度,减少震荡,结合动量思想提出动量余弦相似度梯度下降(NSimGrad)算法。通过收敛性分析,证明SimGrad算法、NSimGrad算法都具有O(√T)的遗憾界。在构建的三个非凸函数进行测试,并结合图卷积神经网络在四个数据集上进行实验,结果表明SimGrad算法保证了图卷积神经网络的收敛性,NSimGrad算法进一步提高图卷积神经网络训练的收敛速度和测试准确度,SimGrad、NSimGrad算法相较于Adam、Nadam具有更好的全局收敛性和优化能力。

基于贝叶斯神经网络的相位梯度计算方法

应变重构是相衬光学相干层析力学性能表征中的关键步骤,其需要准确计算出差分包裹相位的梯度分布。为了能够解决强噪声干扰下的相位梯度重构信噪比低的难题,提出了一种基于贝叶斯神经网络的相位梯度计算方法。首先,通过计算机模拟不同散斑噪声等级下的包裹相位图,并生成相应的理想相位梯度,以构建网络的训练集。其次,基于网络训练集采用贝叶斯推断理论学习强噪声环境下的包裹相位与相位梯度的“端到端”映射关系。最后,将相衬光学相干层析测量的差分包裹相位结果送入贝叶斯神经网络进行处理,实现高信噪比相位梯度预测。此外,通过借助贝叶斯神经网络的统计特性,以模型不确定度来定量评估相位梯度预测结果的可靠性。通过数值实验和三点弯曲力学加载实验对比分析了本文方法和主流矢量方法的性能。实验结果表明:在噪声较小的条件下,本文方法重构的相位梯度信噪比可提升8%;在噪声较强条件下,本文方法能成功恢复因相位条纹难以分辨而无法计算的相位梯度。此外,模型不确定度能够定量分析网络的相位梯度预测误差。可以预见,在样品形变复杂且先验信息未知的条件下,本工作为相衬光学相干层析提供了一种有效的应变重构方法,从而能实现高质量和高可靠的内部力学性能表征。

基于BP神经网络的混凝土箱梁最大温度梯度预测

混凝土箱梁受到太阳辐射、大气温度波动等多种气象因素的综合作用,结构内部会产生显著的非均匀温度分布。截面内温度梯度可能会导致桥梁结构产生过大的温度应力与温度变形,影响桥梁结构的安全性和耐久性。本文旨在探究气象因素对混凝土箱梁温度场的影响机理,并提出一种能精确预测中国多区域混凝土箱梁截面最大温度梯度的方法。首先建立了日照条件下混凝土箱梁温度场计算模型,将2 a以上气象资料作为输入条件,对多个地区混凝土箱梁温度场长期变化进行了仿真模拟,并对混凝土箱梁截面温度梯度的长期变化趋势进行了分析。然后利用主成分分析(PCA)确定了混凝土箱梁截面最大温度梯度预测模型所需的输入参数。最后利用遗传算法优化的BP神经网络建立预测混凝土箱梁竖向、横向温度梯度的网络模型,并与混凝土箱梁截面温度梯度进行比较。结果分析表明BP神经网络模型可以精确地预测混凝土箱梁最大温度梯度,预测值平均绝对误差(AAE)均小于0.9℃,均方根误差(RMSE)均小于1.2℃,决定系数(R^(2))均大于0.9。基于当地气象条件,本文利用经典的BP神经网络模型所建立的预测模型对中国不同地区的混凝土箱梁截面最大温度梯度均能给出准确的预测,为混凝土箱梁设计和施工阶段的最大温度梯度的计算提供一种高效的方法。

一种新型的分数阶梯度下降法在深度神经网络中的应用

文章基于Caputo分数阶微积分,提出了一种新型的适用于神经网络模型训练的分数阶梯度下降法。该算法通过改变积分区间下界,成功将分数阶阶次拓展到了(0, 2)区间,增加了阶次的选择范围,同时,本文基于梯度裁剪机制,从遗憾函数的角度证明了该算法的收敛性,保证了算法的理论可行性。最后,基于CIFAR-10公开数据集的数值实验表明,在选择了合适的阶次的情况下,本文所提出的算法相比于传统的整数阶梯度法,能够获得更快的收敛速度和更高的收敛精度。

结合可逆神经网络和逆梯度注意力的抗屏摄攻击水印方法

随着智能设备的普及,数字媒体内容的传播和分享变得更加便捷,人们可以通过手机拍摄屏幕等简单方式轻松获取未经授权的信息,导致屏幕拍摄传播成为版权侵权的热点问题。为此,该文针对屏幕盗摄版权保护任务提出一种端到端的基于可逆神经网络和逆梯度注意力的抗屏摄攻击图像水印框架,实现屏幕盗摄场景下版权维护的目标。该文将水印的嵌入和提取视为相互关联的逆问题,利用可逆神经网络实现编解码网络的一体化,有助于减少信息传递损失。进一步地,通过引入逆梯度注意模块,捕捉载体图像中鲁棒性强且视觉质量高的像素值,并将水印信息嵌入到载体图像中不易被察觉和破坏的区域,保证水印的不可见性和模型的鲁棒性。最后,通过可学习感知图像块相似度(LPIPS)损失函数优化模型参数,指导模型最小化水印图像感知差异。实验结果表明,所提方法在鲁棒性和水印图像视觉质量上优于目前同类的基于深度学习的抗屏摄攻击水印方法。

一种基于神经网络梯度下降的多目标优化算法

针对多目标优化研究中各优化指标相互耦合相互牵制的问题,提出一种基于神经网络梯度下降的多目标优化算法。该算法利用神经网络强拟合能力去模拟设计参数寻优的过程,通过反向传播不断更新迭代神经网络,并在这一过程中进行非支配解的判断。该算法通过一个刹车盘的优化问题进行了验证,并和一种布谷鸟多目标优化算法进行了比较,结果表明在求解边缘值上更具优势,论文最后也指出了该算法的不足以及下一步的改进计划。

可信的图神经网络节点分类方法

为了研究节点特征表示的不确定性对节点分类的影响,提出一种可信的图神经网络节点分类方法。算法使用径向基函数计算节点间距离,得到各类节点质心后,根据距离分配与未标记节点最近质心的类别标签提高节点分类性能,同时定义未标记节点和质心之间的距离为模型输出的不确定性,并使用梯度惩罚损失加强输入变化的可检测性,可以有效地检测分布外节点样本。在Cora、Citeseer和Pubmed这3个公开网络数据集上的结果表明:模型在分类任务的AUROC指标分别达到81.5%、76.2%和74.6%,在分布外样本检测任务中AUROC指标分别达到83.6%、72.8%和70.6%,证明了所提算法在提高节点分类性能的同时,可以有效检测分布外的节点样本,提高了节点分类的可信性。

基于多卷积神经网络融合的当归病虫害识别方法

针对目前当归产业病虫害识别方法缺失、人工提取特征存在主观因素及卷积神经网络训练需要大量数据等不足,提出1种基于多卷积神经网络融合的当归病虫害识别方法。构建当归常见病虫害数据集;选择在当归病虫害数据集中表现性能最好的ResNet50、InceptionNetV3、VGG19、DenseNet2014个网络作为模型融合的基学习器;使用XGBoost(极度梯度提升)算法作为元学习器,得到基于多卷积神经网络融合的当归病虫害识别模型。结果表明,该融合模型比单个卷积神经网络模型具有更高的识别准确率,并优于其他融合方法融合的模型,对当归病虫害识别的查准率、查全率、F 1值分别达到98.33%、97.14%、97.68%。本研究提出的基于XGBoost融合方法融合的模型实现了当归常见病虫害的精确分类,对常见病害的识别准确率达到98.33%,为当归产业提供了一种有效的病虫害识别方法。

面向节点分类任务的节点级自适应图卷积神经网络

图神经网络通过对图中节点的递归采样与聚合以学习节点嵌入,而现有方法中节点采样与聚合的模式较固定,对局部模式的多样性捕获存在不足,从而降低模型性能.因此,文中提出节点级自适应图卷积神经网络(Node-Level Adaptive Graph Convolutional Neural Network,NA-GCN).设计基于节点重要性的采样策略,自适应地确定各节点的邻域规模.同时,提出基于自注意力机制的聚合策略,自适应地融合给定邻域内的节点信息.在多个基准图数据集上的实验表明,NA-GCN在节点分类任务上具有较优性能.

基于脉冲序列标识的深度脉冲神经网络时空反向传播算法

尖峰放电的脉冲神经网络(SNN)具有接近大脑皮层的信号处理模式,被认为是实现大脑启发计算的重要途径。但是,目前对于深度脉冲神经网络的学习仍缺乏有效的监督学习算法。受尖峰放电速率标识的时空反向传播算法的启发,该文提出一种面向深度脉冲神经网络训练的基于时间脉冲序列标识的监督学习算法,通过定义突触后电位和膜电位反传迭代因子分别分析脉冲神经元的空间和时间依赖关系,使用替代梯度的方法解决反传过程中不连续可微的问题。不同于现有基于尖峰放电速率标识的学习算法,该算法能够充分反映脉冲神经网络输出的时间脉冲序列的动态特性。因此,所提算法非常适合应用于需要较长时间序列标识的计算任务,例如行为的时间脉冲序列控制。该文在静态图像数据集CIFAR10和神经形态数据集NMNIST上验证了所提算法的有效性,在所有这些数据集上都显示出良好的性能,这有助于进一步研究基于时间脉冲序列应用的大脑启发计算。

基于有效性分析的自组织模糊神经网络建模方法

提出了一种基于有效性分析的自组织模糊神经网络(self-organizingfuzzyneural network based on effectiveness analysis, SOEFNN)建模方法。首先,提出了一种针对模糊规则的有效性评价指标,利用样本与规则层输出之间的映射关系进行网络模型的有效性分析,通过累积触发的方式实现相应模糊规则的增加或删减,使网络模型在能够处理复杂非线性问题的同时降低其冗余性,使模型更为紧凑。采用梯度下降算法对网络模型进行训练。然后,对所提出的SOEFNN模型进行非线性系统仿真实验和污水处理过程中的出水生化需氧量预测建模,并与其他自组织模糊神经网络模型进行对比。仿真结果表明,所提出的SOEFNN模型能够很好地实现结构和参数的自适应调整,并且具有较好的逼近能力。

基于软阈值降噪的脉冲卷积神经网络轴承故障诊断方法

针对工业场景下滚动轴承信号易受噪声干扰,导致故障诊断准确率低和稳定性差的问题,本文提出一种基于软阈值降噪的脉冲卷积神经网络诊断方法。该方法使用软阈值滤波去噪,运用带时间标签的卷积层处理二维信号,增强动态特征提取能力。同时,通过引入IF和LIF神经元实现对时域和频域信息的联合编码,并采用替代梯度法进行端到端训练。实验结果显示,在信噪比为6dB时,所提方法的诊断准确率达100%,在信噪比为-6dB时诊断准确率达77.33%,优于其他常用方法,表明所提方法在噪声下具有良好的诊断效果和稳定性。

反向传播神经网络的太平洋海域温跃层反演

温跃层是反映海洋温度场的重要指标。针对太平洋中东部海域复杂多变的水文情况以及传统温跃层分析模式的局限性,该文基于BOA_Argo历史网格,通过BP神经网络,建立温度剖面的经验正交系数与海面遥感数据、少量深度处海水温度之间的非线性映射关系,实现海洋垂向温度剖面的实时反演,最后利用垂向梯度法获得海洋温跃层的相关参数。实验结果表明,相比于传统方法,该方法反演得到的跃层深度与测量值更加吻合,其中上层深度平均反演误差从10.3 m下降到5.7 m,下层深度平均反演误差从16.8 m下降到8.8 m。

基于双深度输入凸神经网络多模型的中间点过热度预测控制

新能源大量并网,超临界火电机组参与调峰容易造成中间点过热度较大波动,从而导致过热蒸汽超温等问题。为较好控制中间点过热度达到稳定,提出了一种基于双深度输入凸神经网络多模型(muti-DDICNN model)的中间点过热度预测方法,分别训练了不同预测步长下子模型,构建了中间点过热度状态预测网络(SPNN)和误差预测网络(EPNN)。利用此预测网络凸性质,设计了一种基于双深度输入凸神经网络多模型预测控制器(DDICNN-MPC),将控制问题转化为凸优化问题,求取控制矩阵对目标函数的雅可比矩阵,采用梯度下降法计算控制矩阵最优解。仿真结果表明,DDICNN-MPC能快速平稳地跟踪中间点过热度设定值,且稳态误差较小,具有较好的调节能力。

AAR-Net:用于声学异质介质光声图像重建的深度神经网络

在光声成像中,由于组织的吸收和扩散等引起的超声波衰减、由声速变化引起的相位偏差以及与声衰减相关的信号波形展宽都会降低图像的空间分辨率,针对该问题,提出一种基于深度学习的声学特性非均匀组织图像重建方法。通过将深度梯度下降(deep gradient descent,DGD)网络与U-Net相结合构建声伪影去除网络(acoustic artifacts removal network,AAR-Net)。DGD模块利用梯度信息减少非均匀声学特性对重建图像质量的影响,实现信号域到图像域的转换。U-Net模块实现对DGD模块输出的低质量图像的优化,实现图像域到图像域的转换。仿真、仿体和在体试验结果表明,与传统的非学习图像重建方法和最新的基于图像后处理的深度学习方法相比,采用该方法重建的图像结构相似度和峰值信噪比分别可提高约20%和10%。AAR-Net无需任何有关成像对象声学特性的先验知识,即可重建高质量图像。

基于地形单元分区的BP神经网络反演海底地形

海底地形和海洋重力场在一定波段频率域上存在相关性,传统海底地形反演方法主要考虑海底地形与重力数据之间的线性关系,而忽略非线性项作用对反演结果的影响。基于此,提出了基于海底地形单元分区的BP神经网络反演方法,改善海底地形反演精度。选取东印度洋北部东经90°海岭附近海域(83°E~92°E,10°S~10°N)为实验区,利用船测水深、卫星测高重力等数据,根据地形特征将实验区分为海盆区和海岭区,使用BP神经网络方法分别进行海底地形反演,构建了实验区1′×1′局部海底地形模型。结果表明,基于地形单元分区的反演结果模型平均相对误差精度可达1.45%,比未分区的反演结果均方根误差降低了42 m,验证了本文方法的有效性和可行性。

基于卷积神经网络的红外与可见光图像融合方法

针对当前红外与可见光图像融合方法存在融合效果差、效率低等问题,为了获得更优的红外与可见光图像融合结果,提出了基于卷积神经网络的红外与可见光图像融合方法。首先收集待融合红外与可见光图像,采用Retinex算法对图像进行增强操作,提升图像亮度和细节信息,然后采用卷积神经网络提取图像融合特征,并设计红外与可见光图像融合规则,根据规则得到图像融合结果,最后应用多个数据集进行红外与可见光图像融合性能测试实验,结果表明,卷积神经网络的图像融合后整体视觉效果好,重要细节信息丰富,熵和平均梯度的值超过了6,融合时间低于1 s,整体性能优于其它红外与可见光图像对比融合方法。

基于DenseNet卷积神经网络的短期风电预测方法

风能作为一种清洁、可再生的能源,在能源转型中扮演着至关重要的角色,准确预测风电出力对电力系统的安全高效运行非常重要,然而风速的波动性和随机性,对风电预测带来了挑战。为了提高风电预测的准确性,提出了一种基于DenseNet卷积神经网络的短期风电预测模型。该模型通过精简DenseNet201网络得到了拥有出色的密集连接结构和适当深度、宽度的DenseNet160网络,不仅能缓解训练过程中梯度消失现象,还能通过密集连接将浅层的信息反映到深层,实现深度监督。基于巴西纳塔尔地区378 d的风力数据集,采用DenseNet160网络以及27种算法对未来一天的风力发电情况进行预测。结果表明:DenseNet160网络的平均绝对误差、均方误差以及平均绝对百分误差比其他算法分别降低了至少10.89%,4.98%,8.68%;同时,与使用相同数据集的混合经济模型相比,DenseNet160网络的MAE值小了25.56%。说明该模型能精准地拟合风力发电数据,获得可靠的风力预测结果。

基于神经网络的四旋翼无人机安全性分析

为了提升无人机系统的安全性,利用前馈神经网络对四旋翼无人机进行安全性分析。首先,针对带有χ^(2)检验异常检测系统的四旋翼无人机,将无人机安全性分析问题转化为带有隐蔽约束的攻击性能优化问题。其次,基于神经网络的正向值传播和逆向梯度传播机制,提出无人机隐蔽传感器攻击的神经网络算法,并研究了闭环控制下无人机系统的安全性。最后,分别基于开环控制和闭环控制下的无人机系统对所提算法进行验证。实验结果表明,所提算法可以对开环控制和闭环控制下的无人机系统设计出满足要求的隐蔽攻击信号。

递归神经网络下混合属性信息推荐仿真

信息量的大幅增加,导致用户无法从推荐的海量数据中提取到所需的信息。为了解决上述问题,提出一种基于递归神经网络的混合属性信息推荐算法。通过数据预处理方法,删除没有任何信息评分的混合属性信息,并挖掘用户和混合属性信息之间的关系。采用已评分混合属性信息,融合极度梯度提升树(eXtreme Gradient Boosting, XGBoost)算法对混合属性信息分类。构建递归神经网络模型,采用梯度下降法对模型训练,获取用户对各个混合属性信息的概率值,并将其按照从大到小的顺序排列,形成推荐列表直接推送给用户完成推荐。实验结果表明,所提方法的HR值得到了提高,且NDCG取值的平均值为0.805,全面提升推荐结果的准确性。