Ridge Polynomial神经网络带动量项异步梯度算法的收敛性

将动量项引入到Ridge Polynomial神经网络异步梯度训练算法的误差函数中,有效地改善了算法的收敛效率,并从理论上分析了Ridge Polynomial神经网络的带动量项的异步梯度算法的收敛性,给出了算法的单调性和收敛性(包括强收敛性和弱收敛性)。算法的这些收敛性质对于如何选取学习率和初始权值来进行高效的网络训练是非常重要的。最后通过计算机仿真实验验证了带动量项的异步梯度算法的高效性和理论分析的正确性。

基于图卷积神经网络的节点分类方法研究综述

节点分类任务是图领域中的重要研究工作之一。近年来随着图卷积神经网络研究工作的不断深入,基于图卷积神经网络的节点分类研究及其应用都取得了重大进展。图卷积神经网络是基于卷积发展出的一类图神经网络,能处理图数据且具有卷积神经网络的优点,已成为图节点分类方法中最活跃的一个研究分支。对基于图卷积神经网络的节点分类方法的研究进展进行综述,首先介绍图的相关概念、节点分类的任务定义和常用的图数据集;然后探讨两类经典图卷积神经网络——谱域和空间域图卷积神经网络,以及图卷积神经网络在节点分类领域面临的挑战;之后从模型和数据两个视角分析图卷积神经网络在节点分类任务中的研究成果和未解决的问题;最后对基于图卷积神经网络的节点分类研究方向进行展望,并总结全文。

基于物理信息神经网络的金属表面吸收率测量方法

漫反射金属吸收率的准确测量十分重要且比较困难.量热法可靠性较高,但是参数反演较为困难.为此,建立了一种物理信息神经网络方法.该方法通过神经网络拟合温度上升段曲线,进而获得吸收率.为了验证该方法,开展了数值仿真和实验研究.数值仿真结果表明,该方法适用于吸收率测量,抗干扰能力强,反演精度高,在0.05—0.2的吸收率范围内,最大误差为0.00092.实验以喷砂镀金铝板为被测对象,受表面粗糙度、镀金工艺等影响,这些样品的吸收率处于2%—10%之间,测量重复精度优于1%.基于物理信息神经网络的吸收率测量方法有望成为一种有力的金属表面吸收率测量方法.

基于多尺度特征深度神经网络的不同产地山楂细粒度图像识别

中药是中医治疗疾病的主要途径,也是我国中医药事业传承与创新发展的物质基础,其真伪优劣也会直接影响中医临床的疗效,因此研究科学合理且高效的中药材质量检测方法符合当前行业热点.山楂作为中国著名的药食两用类药材,在烹饪和治疗中具有保护心血管、降低血压的作用,被广泛应用;但由于自然环境与栽培条件的不同,不同产地的山楂易被混淆从而对品质产生影响.尽管化学、生物鉴定的方法广泛而重要,但专业门槛高,耗时较长;且传统图像处理方法容易受外在环境因素干扰,可靠性差.因此亟待研究快速准确的方法以实现山楂产地的精准鉴别;受CoAtNet与Swin-Transformer网络启发,本文结合MBConv模块中深度可分离卷积网络对局部信息建模的特点与Swin Transformer模块多层次结构可弥补网络非局部性损失的特性,提出一种多尺度特征的混合神经网络模型,通过获取图像不同层级特征,将获取的形状、颜色与纹理等浅层特征作为先验知识与高层级语义信息进行特征融合,研究了一种快速有效的识别方法以实现对不同产地山楂的有效鉴别;此外,本文提出一种新的局部空间注意力机制,通过形成通道注意力模块联合空间注意力模块的新结构,实现对图像细粒度特征的聚焦与学习.实验结果表明,本文所提出的方法有最高的鉴别准确率为89.306%,优于其他基线模型.实践证明,本文的研究提高中药材鉴别的科技水平,拓宽传统中医药的研究思路.

基于小波变换和GA-BP神经网络的电力电缆故障定位

由于电力电缆敷设于地下,当发生故障时难以快速且准确定位,出现了故障定位问题。因此,提出一种基于小波变换和遗传算法反向传播(Genetic algorithm back propagation,GA-BP)神经网络的电力电缆故障定位方法,在分析对比各小波能量集中程度和波动次数的基础上,选择多贝西小波(Daubechies wavelet 6,Db6)作为小波基函数,对于各故障位置,采集正向故障行波的α模分量,并对其进行小波分解。选取在d1尺度下的模极大值点作为特征值,同时将故障距离作为标签值,从而构建了训练和测试样本数据集;利用遗传算法(Genetic algorithm,GA)的种群进化和全局最优搜寻能力来改善误差逆传播(Back propagation,BP)网络对初始权重敏感的缺点,并使用优化后的权值、阈值重新对BP神经网络进行训练和预测,最后通过与传统双端行波定位算法、BP算法、粒子群优化BP算法(Particle swarm optimization BP,PSO-BP)相比较,证明了所提方法在测距性能方面的优越性。

基于改进实数编码遗传算法的神经网络超参数优化

针对神经网络超参数优化效果差、容易陷入次优解和优化效率低的问题,提出一种基于改进实数编码遗传算法(IRCGA)的深度神经网络超参数优化算法——IRCGA-DNN(IRCGA for Deep Neural Network)。首先,采用实数编码方式表示超参数的取值,使超参数的搜索空间更灵活;然后,引入分层比例选择算子增加解集多样性;最后,分别设计了改进的单点交叉和变异算子,以更全面地探索超参数空间,提高优化算法的效率和质量。基于两个仿真数据集,验证IRCGA-DNN的毁伤效果预测性能和收敛效率。实验结果表明,在两个数据集上,与GA-DNN(Genetic Algorithm for Deep Neural Network)相比,所提算法的收敛迭代次数分别减少了8.7%和13.6%,均方误差(MSE)相差不大;与IGA-DNN(Improved GA-DNN)相比,IRCGA-DNN的收敛迭代次数分别减少了22.2%和13.6%。实验结果表明,所提算法收敛速度和预测性能均更优,能有效处理神经网络超参数优化问题。

基于IWOA-SA-Elman神经网络的短期风电功率预测

由于风力发电的随机性和不确定性使其短期功率的预测工作十分困难,而神经网络模型依靠其强大的自学习能力在风电功率预测领域有着广泛的应用。但神经网络预测精度受初始权重影响较大,且易出现过拟合的问题。为此构建一种基于改进鲸鱼算法和模拟退火组合优化的Elman神经网络短期风电功率预测模型,模型首先利用改进鲸鱼算法结合模拟退火策略获得高质量神经网络初始权值,接着引入正则化损失函数防止其过拟合,最后以西班牙瓦伦西亚某风电场陆上短期风电功率为研究对象,将该算法与BP、LSTM、Elman、WOA-Elman、IWOA-Elman 5种神经网络算法进行算法性能测试对比,结果表明IWOA-SA-Elman神经网络模型预测误差最小,验证了该算法的合理性和有效性。

基于神经算子与类物理信息神经网络智能求解新进展

深度学习通过多层神经网络对数据进行学习,不仅能揭示潜藏信息,还能很好地解决复杂非线性问题.偏微分方程(PDE)是描述自然界中许多物理现象的基本数学模型.两者的碰撞与融合,产生了基于深度学习的PDE智能求解方法,它具有高效、灵活和通用等优点.文章聚焦PDE智能求解方法,以是否求解单一问题为判定依据,把求解方法分为两类:神经算子方法和类物理信息神经网络(PINN)方法,其中神经算子方法用于求解一类具有相同数学特征的PDE问题,类PINN方法用于求解单一问题.对于神经算子方法,从数据驱动和物理约束两个方面展开介绍,分析研究现状并指出现有方法的不足.对于类PINN方法,首先介绍了基础PINN的3种改进方法 (基于数据优化、基于模型优化和基于领域知识优化),然后详细介绍了基于物理驱动的两类解决方案:基于传统PDE离散方程的智能求解方案和无网格的非离散求解方案.最后总结技术路线,探讨现有研究存在的不足,给出可行的研究方案.最后,简要介绍智能求解程序发展现状,并对未来研究方向给出建议.

基于BP神经网络的分层相控碳酸盐岩储层渗透率预测方法

碳酸盐岩储层受成岩作用影响大,孔隙-喉道结构复杂,孔隙度—渗透率相关性较低,渗透率预测难度较大,常规以线性关系为主的预测方法结果不理想。提出了基于BP神经网络的储层渗透率综合预测方法,可以有效预测碳酸盐岩储层渗透率。方法主要分3步。首先对岩心数据和测井数据进行质量控制;然后结合地质特征,优选预测测井曲线参数和神经网络模型的参数,建立预测模型;最后综合多来源资料,进行预测结果质量控制。将该方法应用于中东地区碳酸盐岩A油藏,渗透率预测结果较好。碳酸盐岩储集空间复杂,孔、洞、缝均发育,岩心塞的渗透率测量只能代表局部位置,而试井资料的动态有效渗透率测量范围较大,可以体现储集空间特征,加之储层黏土矿物含量低,不存在储层敏感性问题和各向异性较弱等因素,最终导致试井动态渗透率数值一般高于岩心渗透率。

基于WOA-BP神经网络下马铃薯产量预测分析模型

马铃薯是我国重要的粮食作物之一,营养丰富,用途广泛,是一种谷物、蔬菜和水果功能兼具的食物,其蛋白质含量远高于其他块茎类食物,且富含优质的氨基酸。马铃薯生育期短,在湖北平原、丘陵地区冬种春收适宜发展早熟品种,对于填补全国南北方鲜薯市场供应空档期具有重要意义。因此,马铃薯产量的高效预测对于制定生长期间的种植管理措施及相关决策具有重要意义。为此,针对传统BP神经网络在产量预测中存在精度低、鲁棒性差等问题,利用鲸鱼算法(Whale optimization algorithm,WOA)对BP神经网络模型进行优化。同时,基于湖北地区2009-2021年间田间物联网获取的气象因子(大气湿度、大气温度、降雨量)、田间水热因子及马铃薯产量,采用BP神经网络模型、GA-BP神经网络模型(遗传算法优化)及WOA-BP神经网络模型对所选地区马铃薯产量进行预测。研究结果表明:WOA-BP神经网络模型精度明显高于GA-BP神经网络模型及BP神经网络模型,R2达到0.9764,预测值与试验值之间拟合程度较高,表明基于WOA-BP神经网络模型可以更加科学、合理、准确地进行马铃薯产量预测。

基于神经网络优化模型的中药复方安慰剂配色模拟研究

目的构建粒子群反向传播(Particle swarm optimization-back propagation,PSO-BP)神经网络对中药复方颗粒剂安慰剂制备着色剂的用量进行预测,为中药复方颗粒剂安慰剂颜色的模拟提供一种新思路。方法运用BP神经网络建立样品颜色参数L、a^(*)、b^(*)与色素质量分数的模型,利用粒子群算法的全局搜索能力优化BP神经网络权重和偏置,防止模型出现局部最小值,再采用线性降低权系数法和引入变异算子提高粒子群算法的全局寻优能力;以颜色综合评价指标(ΔE)为客观评价标准,验证试验结果。结果训练结果表明,改进的PSO-BP神经网络拟合精度最高达到98.31%;预测结果表明,改进的PSO-BP神经网络的预测误差最小,平均绝对百分比误差(MAPE)、均方根误差(RMSE)和平均色差(ΔE)分别为0.4115、2.1646、2.56;制备3种颗粒的验证样品进行验证,验证样品与模型药物的ΔE分别为1.73、2.63、4.11,肉眼直观评价其中两组与模型药物色差较小。结论基于改进粒子群优化算法的BP神经网络可模拟中药复方颗粒剂安慰剂制备着色剂用量预测,可作为安慰剂配色研究的推荐优化模型。

基于改进松鼠搜索算法优化神经网络的数控机床进给系统热误差预测

为探究数控机床进给系统中各因素对热误差的影响规律,建立精准的热误差预测模型。在进给速度为10 m/min、环境温度20℃的条件下进行进给系统热误差测量实验,获得进给系统关键点的温升及热误差。为提高预测精度,采用Tent混沌改进松鼠搜索算法,并利用改进的算法对神经网络进行优化,建立热误差预测模型。利用热误差测量实验获得的数据进行验证,结果表明改进前的神经网络预测误差为12.23%,改进后的模型预测误差为8.92%,精度有较大提升。利用预测模型针对不同进给速度下相同位置处热误差进行分析,结果表明,进给系统中关键测温点的温度和丝杠各点的热误差随着进给速度的增加而增加。因此提出的预测模型可实现进给系统热误差的准确预测,为误差补偿提供理论依据。

基于神经网络模型的水平井破裂压力预测方法

破裂压力是井身结构设计的基础依据,也是水力压裂设备选型和方案设计的基础参数,通常采用测井解释获取破裂压力剖面,但其存在参数准确获取难、计算过程繁琐、普适性较差、计算精度低等问题,机器学习提供了一种解决这些问题的新方法。为此,以测井数据作为输入参数,采用4种不同的神经网络模型,建立水平井测井数据与破裂压力间的非线性关系,通过测试集预测结果的对比分析,优选出最佳的神经网络模型,并优化模型网络结构和超参数,实现水平井破裂压力的直接预测。研究结果表明:1)破裂压力与井斜角、横波时差和纵波时差表现为极强相关性,与井深、岩性密度和补偿中子表现为强相关性,与井径和自然伽马表现为弱相关性;2)不同组合的测井参数对模型预测结果具有显著影响,最优输入参数为井斜角、横波时差、纵波时差、井深、岩性密度和补偿中子;3)对比多层感知机、深度神经网络、循环神经网络和长短期记忆神经网络(LSTM)模型,发现LSTM模型的预测效果最佳;4)优化了LSTM模型的网络结构及超参数,优化后破裂压力预测的平均绝对百分比误差为0.106%、决定系数为0.996。LSTM模型能够有效构建水平井测井参数与破裂压力之间的非线性关系,可以实现水平井破裂压力的准确预测,对于准确预测破裂压力、简化破裂压力计算过程、推广机器学习在石油工程领域的应用具有重要的作用。

基于模糊神经网络的电网消防预警算法

针对传统基于阈值判别方法的电网火灾预警系统预测精度低、抗干扰能力弱的问题,提出了一种基于模糊神经网络的电网消防预警算法。该算法利用神经网络学习大规模电网数据,使用模糊逻辑推理算法来提升预测结果的推理能力,并通过结合神经网络对大规模数据的学习能力和模糊逻辑算法的推理能力来分析电网线路参数,从而提升电网消防预警系统的精度和抗干扰能力。实验与仿真结果表明,所提出方法能显著提升电网火灾的预警精度,且使用模糊逻辑推理可以得到更符合实际情况的电网火灾预警结果。

基于双节点-双边图神经网络的茶叶病害分类方法

传统茶叶病害分类主要依赖人工方法,此类方法费工费时,同时茶叶病害样本较少使得现有的机器学习方法的模型训练不充分,病害分类准确率不够高。针对茶炭疽病、茶黑煤病、茶饼病和茶白星病4类病害,提出一种基于双节点-双边图神经网络的茶叶病害分类方法。首先通过两分支卷积神经网络提取RGB茶叶病害特征和灰度茶叶病害特征,两分支均采用ResNet12作为骨干网络,参数独立不共享,两类特征作为图神经网络的两个子节点,以获得不同域样本所包含的病害信息;其次构建相对度量边和相似性边两类边,从而强化节点对相邻节点所含病害特征的聚合能力。最后,经过双节点特征和双边特征更新模块,实现双节点和双边交替更新,提高边特征对节点距离度量的准确性,从而实现训练样本较少条件下对茶叶病害的准确分类。本文方法和小样本学习方法进行了对比实验,结果表明,本文方法获得更高的准确率,在miniImageNet和PlantVillage数据集上5way-1shot的准确率分别达到69.30%和88.42%,5way-5shot准确率分别为82.48%和93.04%。同时在茶叶数据集TeaD-5上5way-1shot和5way-5shot准确率分别达到84.74%和86.34%。

注意力感知的边−节点交换图神经网络模型

提出了一种注意力感知的边-节点交换图神经网络(attention aware edge-node exchange graph neural network,AENN)模型,在图结构化数据表示框架下,使用边-节点切换卷积的图神经网络算法进行图编码,用于半监督分类和回归分析。AENN是一种通用的图编码框架,用于将图节点和边嵌入一个统一的潜在特征空间。具体地,基于原始无向图,不断切换边与节点的卷积,并在卷积过程中通过注意力机制分配不同邻居的权重,从而实现特征传播。在3个数据集上的实验研究表明,所提方法较已有方法在半监督分类和回归分析中具有明显的性能提升。

基于多域物理信息神经网络的复合地层隧道掘进地表沉降预测

复合地层中盾构掘进诱发地表沉降的准确预测是隧道工程安全建设与施工决策的关键问题。基于隧道施工诱发地层变形机制构建隧道收敛变形与掘进位置的联系,并将其耦合至深度神经网络(deep neural network,简称DNN)框架,建立了预测盾构掘进诱发地层变形的物理信息神经网络(physics-informed neural network,简称PINN)模型。针对隧道上覆多个地层的地质特征,提出了多域物理信息神经网络(multi-physics-informed neural network,简称MPINN)模型,实现了在统一的框架内对不同地层的物理信息分区域表达。结果表明:MPINN模型高度还原了有限差分法的计算结果,可以准确预测复合地层中隧道开挖诱发的地表沉降;由于融入了物理机制,MPINN模型对隧道施工诱发地表沉降的问题具有普适性,可应用于不同地质和几何条件下隧道诱发地表沉降的预测;基于工程实测数据,提出的MPINN模型准确预测了监测断面的地表沉降曲线,可为复合地层下盾构掘进过程中地表沉降的预测预警提供参考。

基于卷积神经网络的预制叠合板多目标智能化检测方法

在生产过程中,预制构件尺寸不合格问题将导致其在施工现场无法顺利安装,从而影响工期。为推进预制构件智能化生产的进程,以预制叠合板为例,基于卷积神经网络研究生产过程中的智能检测方法,在生产流水线上设计并安装图像采集系统,建立预制叠合板尺寸检测数据集。通过YOLOv5算法实现对混凝土底板、预埋PVC线盒及外伸钢筋的识别,并以固定磁盒作为基准参照物进行尺寸检测误差分析,实现混凝土底板尺寸、预埋PVC线盒坐标的检测,在降低训练数据集参数规模的工况下保持较高的识别精度。结果表明:该方法可以有效检测预制叠合板的底板数量和尺寸、预埋PVC线盒数量和坐标,并实现弯折方向不合格的外伸钢筋检测,并能降低人工成本,提高检测精度,加快检测速度,提高预制叠合板的出厂质量。

融合多小波分解的深度卷积神经网络轴承故障诊断方法

针对卷积神经网络及其与信号降噪预处理集成方法面临高噪声环境和低质量数据挑战时难以有效地提取信号有用特征的问题,提出了一种融合Geronimo-Hardin-Massopust多小波分解的深度卷积神经网络模型(GHMMD-DCNN)。该模型思想是将多小波包分解与卷积神经网络深度融合,即设计多个一级多小波分解层以提取信号的低频分量和高频分量,再将多个一级多小波分解层与卷积层交替联接,使模型能够多尺度地提取并学习信号有用的时频域信息,信号分解和特征学习交替执行,进而实现强噪声鲁棒特征提取。在不同工况下的航空高速轴承振动数据上进行测试,结果表明:所提模型训练时能够快速达到稳定收敛,并且识别准确率均能达到99.9%以上;提出的方法在强噪声干扰下的故障辨识准确度和识别稳定性均优于对比方法,验证了其优秀的抗噪声干扰能力;在少训练样本测试中,提出的方法在单类训练样本数量为60时的平均诊断准确率高达91.19%,相比于其他方法最低提升了13.19%,验证了GHMMD-DCNN模型具有更优的低样本泛化能力。

基于模糊神经网络的微电网荷储协调智能控制方法

针对传统比例-积分-微分(proportional integral derivative,PID)控制和模型论控制方法难以应对新型电力系统背景下微电网面临的运行场景复杂多变的问题,提出了基于模糊神经网络的微电网荷储协调智能控制方法。首先确定了微电网模糊控制输入及输出变量,以平抑净负荷波动及减少储能充放电频次为目的,将微电网控制经验总结成模糊规则表,采用神经网络深度学习算法修正模糊控制模型的隶属度函数中心、宽度和输出权重来提高模型的自适应能力,从而制定了可调控负荷和储能的功率控制系数;进而针对模糊神经网络控制输出的负荷调控需求量在各可调控负荷间分配的问题,提出了基于灵活性供给指标排序的负荷调控优先级选择方法,最终完成了微电网系统储能单元和可调控负荷控制策略的制定。某典型微电网系统算例仿真结果表明,所提方法制定的各可调控负荷与储能控制策略能在避免储能频繁和过度充放电的同时,在并网状态下有效减弱并网功率对上级电网造成的随机扰动,在孤岛状态下能够有效平抑系统功率波动,提升系统运行稳定性。