深度神经网络参数轻量化方法综述

近年来,深度神经网络在各种具有挑战性的任务上取得了巨大的成功,不断刷新人们对人工智能的认识。但是,深度神经网络模型的参数量巨大、计算成本、存储成本过高,难以部署到资源受限的边缘计算设备中。因此,人们开始从网络的架构和参数量两个角度尝试对网络进行轻量化设计,同时保证神经网络性能可接受。本文从网络参数轻量化的角度出发,首先简要回顾深度神经网络发展历史和工作原理;其次,介绍当前主流的3类参数轻量化方法:参数量化、张量分解以及参数共享;然后,从思想描述、适用层级、训练方式等维度对比分析方法优劣;最后,对神经网络轻量化的未来发展方向进行展望。

基于平均神经网络参数的DQN算法

在深度强化学习领域,如何有效地探索环境是一个难题。深度Q网络(Deep Q-Network,DQN)使用ε-贪婪策略来探索环境,ε的大小和衰减需要人工进行调节,而调节不当会导致性能变差。这种探索策略不够高效,不能有效解决深度探索问题。针对DQN的ε-贪婪策略探索效率不够高的问题,提出一种基于平均神经网络参数的DQN算法(Averaged Parameters DQN,AP-DQN)。该算法在回合开始时,将智能体之前学习到的多个在线值网络参数进行平均,得到一个扰动神经网络参数,然后通过扰动神经网络进行动作选择,从而提高智能体的探索效率。实验结果表明,AP-DQN算法在面对深度探索问题时的探索效率优于DQN,在5个Atari游戏环境中相比DQN获得了更高的平均每回合奖励,归一化后的得分相比DQN最多提升了112.50%,最少提升了19.07%。

基于神经网络参数估计的多时间序列股市分析方法探讨

本文从参数估计入手,将神经网络与时间序列模型相结合,以求探讨出一个能够提升预测股市的准确度的分析方法。并在两者的结合过程中,利用神经网络输入层为矩阵这种数据结构的先天优势,通过非线性映射函数sigmoid将多个时间序列模型进行整合,从而得到一个适合多个时间序列的权值矩阵,进而对股市进行预测与分析。

基于参数化遗传神经网络的植物病害预测方法

将混合神经网络 (PFNN FG)技术应用于植物病害预测 ,其输入矢量含模糊分量 ,遗传算法优化配置各参数。变形 Sigm oid函数用于不同的隐含层 ,构成参数化神经网络。网络的输入层引入模糊集合理论 ,使网络能处理语义变量。将 PFNN FG和其他神经网络 (如前向神经网络、径向基神经网络等 )用于大豆基准问题进行分析比较 ,结果是 PFNN FG在精度和训练速度上优于其他网络。将 PFNN FG和前向神经网络用于 2组黄瓜霜霉病数据 ,前者测试组的均方根误差小于后者。

基于线性参数神经网络的非线性系统稳定自适应控制

提出适用于多种网络类型的神经网络稳定自适应控制设计思想 ,在神经网络逼近误差界未知的条件下 ,对该误差界进行在线自适应估计 ,研究基于线性参数神经网络的仿射非线性系统稳定自适应控制。采用 L yapunov函数方法证明系统状态变量、网络权值矢量、网络逼近误差界的在线估计及输出跟踪误差的收敛性。仿真结果表明 ,该方案跟踪性能良好 ,稳态误差较小 ,系统输出能快速跟踪目标信号。

用参数正交选优神经网络算法解货郎问题

本文发现了货郎问题(TSP)能量函数的参数空间中的吸引域与全局性优化解之间存在着确定的对应关系,并找到了许多参数空间中的吸引域。在此基础上提出了一种新算法——参数正交选优神经网络算法求解TSP,30城市,31城市(中国)和300城市TSP的求解结果都十分满意,表明这种新算法的有效性。

基于非线性参数神经网络的非线性系统稳定自适应控制

针对不确定仿射非线性系统 ,提出一种基于非线性参数神经网络的稳定自适应控制方案 ,在非线性参数神经网络对不确定非线性函数的逼近误差的界未知的情形下 ,对网络逼近误差界进行在线自适应估计 ,并由 L

一类纯反馈非仿射非线性系统的自适应神经网络变结构控制

研究了一类非仿射的纯反馈单输入单输出非线性系统。针对此系统,在中值定理、神经网络参数化和解耦Backstepping的基础上,提出了一种自适应变结构神经网络控制策略,而且所给出的定理证明闭环系统的所有信号在平衡点上是半全局一致有界的。通过对一个非仿射CSTR对象的仿真验证了该方法的有效性。

不确定性机器人的线性参数神经网络跟踪控制

考虑机器人建模误差不确定性,首先利用反馈控制技术,把基于拉个朗日方程的多关节机器人动力学模型转化成一线性状态方程。然后基于此状态方程,运用线性参数神经网络设计出鲁棒神经网络控制器,并且用李雅普诺夫函数思想证明了这种控制器能够使得机器人系统满足指数收敛的特性。

基于BP神经网络无刷直流电机换相转矩脉动抑制方法的研究

将首先建立无刷直流电机数学模型,其次研究无刷直流电机换相转矩脉动产生的原因,最后设计BP神经网络参数自学习PID控制器,利用BP神经网络参数自学习PID控制器抑制无刷直流电机的换相转脉动,使其抑制效果达到最佳。

基于神经网络的模拟电路故障诊断研究

对BP型ANN网络用于模拟电路故障诊断的特点进行了介绍,探讨了利用遗传算法确定BP型ANN网络参数的方法,并给出了遗传算法与BP型ANN相结合实现模拟电路故障诊断的应用.实践表明,该方法的诊断精度、诊断速度以及建立诊断模型的自动化程度都有了较大的提高．

Fisher和神经网络相融合的遥感图像分类

针对遥感图像分类方法存在的不足,提出一种基于Fisher-BP的遥感图像分类方法.把收集到的遥感图像数据进行相应的处理,从中提取遥感图像特征,用Fisher方法对图像特征进行选择,然后用BP神经网络构建遥感图像分类器,并用遗传算法优化BP神经网络的参数.应用实例表明,相对其他遥感图像分类方法,Fisher-BP提高了遥感图像的分类效率和分类正确率,而且分类速度更快.

基于BP神经网络的隧道参数反演模型研究

随着我国基础建设的不断推进,越来越多隧道不可避免的修建在地质地貌复杂的地区,隧道施工安全与岩体参数确定变得更加重要。本文运用LM算法改进的BP神经网络与数值模拟技术相结合的方法构建智能隧道围岩参数反演模型,并结合工程实例对其可靠性进行检验,以期为类似隧道物理力学参数预测提供参考。

一类随机时滞抛物型模糊细胞神经网络的指数学习同步

探讨一类随机时滞抛物型模糊细胞神经网络的指数同步控制问题。利用Lyapunov–Krasovskii–like复合能量函数和自适应学习控制方法,建立了两个具有随机扰动的混沌时滞抛物型模糊细胞神经网络的指数同步控制的判据,这些结果容易检验且依赖于空间测度,与先前结果相比具有较少保守性。最后,通过仿真实验验证了所得结果的有效性。

基于卷积神经网络的红外与可见光图像融合

非下采样剪切波变换(NSST)域中低频子带的融合需要人工给定融合模式,因此未能充分捕获源图像的空间连续性和轮廓细节信息。针对上述问题,提出了基于深度卷积神经网络的红外与可见光图像融合算法。首先,使用孪生双通道卷积神经网络学习NSST域低频子带的特征来输出衡量子带空间细节信息的特征图。然后,根据高斯滤波处理的特征图设计了基于局部相似性的测量函数来自适应地调整NSST域低频子带的融合模式。最后,根据NSST域高频子带的方差、局部区域能量以及可见度特征来自适应地设置脉冲耦合神经网络参数完成NSST域高频子带的融合。实验结果表明:该算法Q^AB/F指标略弱于对比算法,但SF、SP、SSIM以及VIFF指标分别提高了约50.42%、14.25%、7.91%以及61.67%,有效地解决了低频子带融合模式给定的问题,同时又克服了手动设置PCNN参数的缺陷。

双参数Tweedie机器学习模型及其精算应用

Tweedie回归是保险损失预测和风险定价的主要工具之一。为充分利用大数据、物联网、机器学习等技术促进保险业的数字化转型,实现更加精准的风险识别和风险定价,本文将传统的Tweedie广义线性模型推广到双参数形式,并结合机器学习算法,提出双参数Tweedie梯度提升树模型和双参数Tweedie组合神经网络模型。基于我国一家保险公司的车联网大数据,提取了新的驾驶行为风险因子。通过实证研究检验了双参数Tweedie梯度提升树和双参数Tweedie组合神经网络在风险识别以及风险定价中的有效性,为促进我国保险业数字化转型提供了一种新的模型和方法。

基于AFSA-BPNN的网络入侵检测模型

为了提高网络入侵检测的效果,针对BP算法收敛速度慢、易陷入局部极值等难题,提出一种基于人工鱼群算法优化BP神经网络的网络入侵检测模型。该模型在基本BP算法的误差反向传播的基础上,采用人工鱼群算法对BP网络的权值和阀值的调整,不仅充分利用了人工鱼群算法的全局寻优性,同时保持了BP算法的反向传播特点,最后,利用建立网络入侵检测模型。采用KDD CUP 99数据集进行仿真实验,结果表明,模型提高了网络入侵检测正确率,而且执行效率可以满足网络安全实际应用要求。

考虑多普勒效应的列车轴承参数驱动声学故障诊断模型

在轨边声学检测过程中,列车轴承信号由于受到多普勒效应的影响,会导致其轴承故障诊断准确性下降,针对这一问题,提出了一种基于参数驱动学习模型的列车轴承声学智能故障诊断方法。首先,对列车轴承振动信号受多普勒效应影响导致失真的因素进行了分析,提出了故障诊断方法,即在前期样本不平衡情况下,利用运动学参数驱动的安全域模型(KPD-SRM)进行诊断;在后期样本平衡情况下,利用运动学参数驱动的一维卷积神经网络(KPD-CNN)进行诊断;然后,在仿真情况下,利用该方法分别对样本不平衡和样本平衡的10种不同故障类型的轴承样本进行了故障诊断,计算了其故障诊断的准确率;最后,在实验情况下,利用该方法分别对样本不平衡和样本平衡的4种不同故障类型的轴承样本进行了故障诊断,并计算了其故障诊断的准确率。研究结果表明:在样本不平衡和样本平衡两种情况下,仿真案例的诊断准确率分别达到97.5%和96%,实验案例的诊断准确率分别达到93.5%和97%;参数驱动学习模型可以在不经过复杂的信号校正情况下,有效利用历史数据提高其故障诊断的准确率,且其诊断的准确率随着监测样本的增加而不断提高。

运载火箭风场高精度拟合方法

针对运载火箭风场传统拟合方法精度低的问题,提出一种基于最少参数神经网络的高精度拟合方法。该方法将运载火箭飞行高度作为网络输入,将风场的速度和朝向作为网络输出,在满足精度要求下使用最少的网络层数和神经元个数完成风场拟合,并给出了隐层节点数的下界公式。和传统的最小二乘多项式拟合及其分段形式相比,最少参数神经网络只使用一套框架即可完成风速和风向的拟合,并提高了拟合精度。大量仿真结果充分说明了所提出方法的有效性、简洁性和鲁棒性。

融合振幅随机补偿与步长演变机制的改进原子搜索优化算法

针对原子优化算法寻优精度弱且易陷入局部极值的问题,本文从种群多样性、参数适应性和位置动态性角度提出一种融合混沌优化、振幅随机补偿和步长演变机制改进的原子搜索优化算法(improved atom search optimization,IASO),并将其成功应用于分类任务。首先,引入帐篷映射(Tent混沌)增强原子种群在搜索空间中的分布均匀性;其次,通过构建振幅函数对算法参数进行随机扰动并加入步长演变因子更新原子位置,以增强算法全局性和收敛性;最后,再将改进算法应用于误差反馈神经网络(BP神经网络)参数优化。通过与6种元启发式算法在20个基准测试函数下的数值实验对比表明:IASO不仅在求解多维基准函数上具有好的寻优性能,且在对BP神经网络参数进行优化时相较于2种对比算法具有更高的分类精度。