递归pi-sigma神经网络的带惩罚项的梯度算法分析

传统的梯度算法存在收敛速度过慢的问题,针对这个问题,提出一种将惩罚项加到传统误差函数的梯度算法以训练递归pi-sigma神经网络,算法不仅提高了神经网络的泛化能力,而且克服了因网络初始权值选取过小而导致的收敛速度过慢的问题,相比不带惩罚项的梯度算法提高了收敛速度。从理论上分析了带惩罚项的梯度算法的收敛性,并通过实验验证了算法的有效性。

脑电情感识别中多上下文向量优化的卷积递归神经网络

目前的脑电(EEG)情感识别模型忽略了不同时段情感状态的差异性,未能强化关键的情感信息。针对上述问题,提出一种多上下文向量优化的卷积递归神经网络(CR-MCV)。首先构造脑电信号的特征矩阵序列,通过卷积神经网络(CNN)学习多通道脑电的空间特征;然后利用基于多头注意力的递归神经网络生成多上下文向量进行高层抽象特征提取;最后利用全连接层进行情感分类。在DEAP(Database for Emotion Analysis using Physiological signals)数据集上进行实验,CR-MCV在唤醒和效价维度上分类准确率分别为88.09%和89.30%。实验结果表明,CR-MCV在利用电极空间位置信息和不同时段情感状态显著性特征基础上,能够自适应地分配特征的注意力并强化情感状态显著性信息。

基于BIRCH聚类和递归神经网络的高铁强风预警算法

针对高铁临近风速预测需要克服数据的无周期性规律以及随机性较强的问题,构建了一种基于BIRCH聚类和LSTM递归神经网络算法的临近风速预测预警系统。该系统先做历史数据的交叉验证,然后用BIRCH进行在线增量聚类,最后根据聚类结果选取最接近当前预测时间序列的数据做LSTM的滚动训练并进行预测后得出预报预警结果,因此具有无需依赖数值预报产品以及随机数据适应性强的特点。实验证明,该系统的两种算法同时并行化在线运转,运行效率较高,预测效果较好,是解决强风预警问题的一种新方法。

基于递归神经网络算法的电子物流配送系统配送路径优化

传统电子物流配送系统无法有效优化配送路径,需要花费大量的时间进行路径搜索,从而导致分配成本的增加和效率的降低。因此,提出了递归神经网络算法(RNNs)的物流分布路径优化模型,并将递归模糊神经网络算、与布谷鸟搜索算法(CSA)与群体智能算法(ACO)进行电子商务物流分布路径比较。实验结果表明,递归模糊神经网络算法可以实现电子商务物流分布路径的优化,与群体智能算法和布谷鸟搜索算法相比,递归神经网络算法的最优路径长度分别减少3.7 km和3.5 km,并且在迭代200次数的条件下,递归神经网络算法可以获得最短配送路径。

基于递归图和BP神经网络的桥梁损伤识别研究

为研究递归图和多层前馈(BP)神经网络在桥梁损伤识别方面的应用,以某大跨斜拉桥为例,采用ABAQUS有限元软件建立其三维模型,通过动力分析提取该三维模型的加速度曲线并进行递归图处理和BP神经网络分析。研究结果表明:递归图方法能够初步地识别主梁的损伤位置和损伤程度;BP神经网络分析能够精确识别主梁损伤的具体位置和损伤程度值,且识别准确率均大于85.0%。该方法可为类似桥梁工程的损伤识别提供借鉴。

递归神经网络下多属性信息模糊推荐仿真

由于海量信息资源的搜索需要较高的时间成本,因此信息推荐已经成为解决当前网络资源交互环境信息过载问题的关键方法。但是多属性信息数据结构复杂,单属性数据推荐算法难以取得理想的精度和结果。考虑用户信任信息形式和传播路径,提出基于递归神经网络的多属性信息模糊推荐算法。利用递归神经网络结构,存储用户历史兴趣信息。通过用户对项目的感兴趣程度建立评分矩阵,利用余弦相似性的思想计算项目属性相似性、综合相似性以及用户相似性。引入权值因子,将综合相似性与用户相似性的预测评分线性整合,得到多属性信息推荐列表,选取top-N推荐给用户。实验测试结果显示,提出方法下列表内相似性指标值ILS始终小于0.3,推荐精准度高于90%,平均绝对误差可控制在0.2以下。以上所得数据均可证明所提方法可综合考虑目标的多属性特征,为用户推荐感兴趣程度最高的对象。

带降噪自编码器和门控递归混合神经网络的电池健康状态估算

准确的电池健康状态估计可以保证锂离子电池可靠安全运行,减少系统不必要的维护成本。采用机器学习算法虽然能够获得精确的电池健康状态(SOH),但是其估计精度严重依赖于算法中的参数,普适性差,且会受到传感器噪声的影响。该文提出一种结合降噪自编码器(DAE)和门控递归单元的递归神经网络(GRU-RNN)的混合模型进行电池的SOH估计,以提高算法估计精度及抗干扰能力。首先,利用电压-容量模型来重构电池恒流充电和放电阶段的电压曲线,以减小传感器噪声对SOH估计的影响;其次,从电压曲线和增量容量(IC)曲线中提取相关特征作为SOH估计模型的输入;再次,利用DAE对带有噪声的输入特征进行无监督的训练,可以增强模型的鲁棒性;最后,在输入特征含有噪声的情况下,利用提出的DAE-GRU-RNN算法与其他SOH估计算法进行对比验证。结果表明,该文提出的算法精度更高,相对误差比GRU-RNN和深度神经网络(DNN)模型小6.39%~23.23%。利用部分电压曲线获得的特征数据进行电池SOH预测时,该算法依然具有较高的电池SOH估计精度。

递归神经网络下混合属性信息推荐仿真

信息量的大幅增加,导致用户无法从推荐的海量数据中提取到所需的信息。为了解决上述问题,提出一种基于递归神经网络的混合属性信息推荐算法。通过数据预处理方法,删除没有任何信息评分的混合属性信息,并挖掘用户和混合属性信息之间的关系。采用已评分混合属性信息,融合极度梯度提升树(eXtreme Gradient Boosting, XGBoost)算法对混合属性信息分类。构建递归神经网络模型,采用梯度下降法对模型训练,获取用户对各个混合属性信息的概率值,并将其按照从大到小的顺序排列,形成推荐列表直接推送给用户完成推荐。实验结果表明,所提方法的HR值得到了提高,且NDCG取值的平均值为0.805,全面提升推荐结果的准确性。

基于递归小脑模型神经网络和卡尔曼滤波器的锂电池荷电状态预测

由于储能系统被广泛应用到新能源汽车、分布式发电等领域,其在运行过程中的可靠性是研究的重点之一。荷电状态(SOC)是反映电池续航能力的关键参数。为保证储能系统的正常运行,提出了一种锂电池SOC估计的方法,将递归小脑模型神经网络(RCMNN)和卡尔曼滤波器(KF)都用于荷电状态估计。为了强化RCMNN的捕获动态特征的能力,在联想记忆层和权值记忆层均加入了递归单元。将采集的电压、电流和温度作为模型的输入,用于模拟储能系统的不同充、放电情况。考虑到实际工况下电池放电的复杂性,在不同的放电条件和不同SOC初值的情况下将SOC的实际值与预测值进行对比。试验结果表明,该预测方法在不同条件下都具有较高的精度和鲁棒性。

具有一类不连续非单调激活函数的时滞递归神经网络的多稳定性分析

本文提出了一类不连续非单调激活函数,研究了具有这类激活函数的时滞递归神经网络的多稳定性。根据激活函数的几何特性和不动点定理,给出充分条件确保n维神经网络至少存在7n个平衡点,其中4n个是局部指数稳定的。然后,我们将结果推广到更一般的情况。在不增加充分条件的情况下,本文通过增加激活函数峰值点的数量k,得到n维神经网络可以具有 (2k+3)n 平衡点,其中是 (k+2)n 局部指数稳定的。与之前文献相比,总平衡点和稳定平衡点的数量大大地增加了,从而提高了递归神经网络的存储容量。最后,给出了一个例子来证明我们的理论结果。

基于动态递归长短期记忆神经网络的光伏功率预测模型研究

天气过程相关性对光伏发电功率预测精度产生了较大影响,为此提出一种基于动态递归长短期记忆神经网络的光伏功率预测模型。首先通过动态提取气象因素特征进行模型训练,以捕捉光伏电站在周期性和波动性特征下的过程性气象变化为目标,进行建模;然后由双向递归神经网络和改进长短期递归神经网络构成有效的信息流动和状态更新机制,修正过程性气象因素的影响,输出光伏预测功率;最后采用历史运行数据进行仿真验证。试验结果表明,所提方法相较于传统方法,预测结果的平均绝对误差和均方根误差显著减小,证实了所提方法的精度优势,能较好地满足光伏功率预测的精度需求。

基于递归神经网络的藏语语音转文本应用研究

本文针对藏语中的卫藏方言,探讨了自动语音识别(automatic speech recognition,ASR)技术在语音识别模型构建方面的应用。利用时间递归神经网络(recurrent neural network,RNN)及其变体来提升ASR系统的性能。通过引入LAS(listen,attend and spell)模型,并结合多任务学习框架、深度卷积神经网络和改进的注意力机制,显著提升了ASR系统的性能。在实验中,改进后的LAS模型在测试集和训练集上的词错误率分别达到了12.40%和16.23%,实验结果验证了方法的有效性。

基于递归神经网络的机器人手臂轨迹跟踪控制

针对机器人手臂在连续变化的过程中不能及时跟随运动矩阵变化而导致的控制精度不高的问题,提出了一种基于递归神经网络的机器人手臂轨迹跟踪控制方法。首先建立了机器人手臂的动力学数学模型,并设计了机器人手臂的轨迹跟踪控制器。然后基于递归神经网络建立了轨迹跟踪线性变化参数模型,对机器人手臂运动轨迹进行实时调整,并通过求解静态反馈控制数值,实现了控制器参数的在线调整来适应外界环境的变化,从而有效改善了机器人手臂运动控制的精度。实验结果表明:所提方法具备更好的鲁棒性和较高的控制精准度,平均轨迹跟踪误差仅为0.008 m。研究结果可为机器人手臂的高精度控制提供理论支持。

基于多尺度时间递归神经网络的人群异常检测

如何在人群密度大、变化快、存在大量遮挡的密集场景中实现可靠的人群事件检测,是领域研究的难点和热点.在密集场景时空建模的基础上提出了一种基于多尺度时间递归神经网络的人群异常事件检测和定位方法.首先对人群场景进行网格化划分,并利用多尺度光流直方图对每个网格的人群动态进行刻画;然后,连接各个局部的人群动态获得整体的人群动态,实现整体人群动态的时间序列建模;最后,利用多尺度时间递归神经网络实现异常事件的检测和定位.其中,多尺度隐含层实现了密集场景中不同规模相邻网格之间的空间联系,节点间的反馈关系则为时间维度上的关系表达提供了有效方案.与多种代表性算法的对比实验,验证了本方法的有效性.

基于递归图和卷积神经网络的脉象分析识别

在脉象信号分析识别中,时域、频域等分析方法难以挖掘脉象信号的非线性信息,且传统机器学习方法需要人工定义特征,无法进行特征的自学习。提出一种基于无阈值递归图和卷积神经网络的脉象分析识别方法。基于非线性动力学理论,将脉象信号转换为无阈值递归图,通过VGG-16卷积神经网络实现递归图非线性特征的自动提取,并建立脉象分类模型。实验结果表明,该方法分类准确率可达98.14%,与已有的脉象分类方法相比有所提升。该研究为脉象信号分类提供了一种新的思路和方法,对脉诊客观化具有一定的实用价值。

图神经网络研究综述

随着人工智能的快速发展,深度学习已经在图像、文本和语音等可在欧氏空间表示的数据中取得了巨大成功,但却一直无法很好地应用于非欧氏空间。近年来,图神经网络在非欧几里得空间中展现出了强大的表示学习能力,并广泛应用于推荐系统、自然语言处理以及机器视觉等众多领域。图神经网络模型基于信息的传播机制,具体地,图中的目标节点通过聚合邻居节点的信息来更新自身的嵌入表示。利用图神经网络,可将众多现实问题(如社交网络、知识图谱和药物化学成分等)抽象成图网络,借助图中的连接边,对不同节点之间的依赖关系进行合理建模。鉴于此,对图神经网络进行了系统综述,首先介绍了图结构数据方面的基础知识,然后对图游走算法和不同类型的图神经网络模型进行了系统梳理。进一步地,详细阐述了当前图神经网络的通用框架和应用领域,最后对图神经网络的未来进行了总结与展望。

基于递归神经网络的语音识别快速解码算法

递归神经网络(Recurrent Neural Network,RNN)如今已经广泛用于自动语音识别(Automatic Speech Recognition,ASR)的声学建模。虽然其较传统的声学建模方法有很大优势,但相对较高的计算复杂度限制了这种神经网络的应用,特别是在实时应用场景中。由于递归神经网络采用的输入特征通常有较长的上下文,因此利用重叠信息来同时降低声学后验和令牌传递的时间复杂度成为可能。该文介绍了一种新的解码器结构,通过有规律抛弃存在重叠的帧来获得解码过程中的计算开销降低。特别地,这种方法可以直接用于原始的递归神经网络模型,只需对隐马尔可夫模型(Hidden Markov Model,HMM)结构做小的变动,这使得这种方法具有很高的灵活性。该文以时延神经网络为例验证了所提出的方法,证明该方法能够在精度损失相对较小的情况下取得2~4倍的加速比。

改进的Elman模型与递归反传控制神经网络

在Elman网络的基础上提出了两种改进网络:输出-输入反馈Elman网络和输出-隐层反馈Elman网络模型,并以前者作为误差反传的通道,建立了递归反向传播控制神经网络模型.在Lyapunov稳定性意义下分别给出了改进网络的稳定性证明,得到了保证网络稳定收敛的最佳自适应学习速率.分别用Elman网络及其改进网络对超声马达进行了模拟.利用改进的Elman网络模型,除了可以较好地模拟马达速度以外,还得到了一些有意义的结果,据此可以根据现场数据采样的情况,选用不同的网络模型.模拟实验结果表明,递归反向传播控制神经网络对多种形式的超声马达参考速度都有很好的控制效果.

基于递归模糊神经网络的感应电机无速度传感器矢量控制

该文提出了一种控制性能较好的递归模糊神经网络(RFNN)无速度传感器感应电机矢量控制方法,该方法使用模型参考自适应方法辨识转子磁场位置和转速,采用递归模糊神经网络控制器作为转矩控制器来近似系统最优控制器输出。仿真实验表明,当系统参数动态变化或受到外部不确定性因素的影响时,利用神经网络来在线动态的调整网络的隶属函数参数以及神经网络递归权值,使系统仍将具有很好的动静态性能。

基于混合递阶遗传算法的径向基神经网络学习算法及其应用

在研究径向基神经网络学习算法的基础上 ,提出了一种新型的径向基神经网络学习算法———混合递阶遗传算法 .该算法将递阶遗传算法和最小二乘法的优点结合在一起 ,能够同时确定径向基神经网络的结构和参数 ,并具有较高的学习效率 .采用基于混合递阶遗传算法的径向基神经网络对混沌时间序列学习和预测 ,取得了较好的效果 .