深度学习中的预条件动量梯度算法

结合“比例积分微分”优化控制器(Proportional-Integral-Derivative Controller,PID)与拟牛顿方法,提出一种加速神经网络训练的一类预条件动量梯度算法。首先,采用拟牛顿条件产生预条件因子,然后,在迭代过程中与动量方法相结合,提高算法效率的同时,克服原始动量梯度算法的超调问题,并证明了算法在目标函数强凸时的全局收敛性。最后,通过数值实验验证了算法的有效性。

卷积神经网络中基于差分隐私的动量梯度下降算法

针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD(Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。

基于动量梯度下降法的姿态数据采集系统

针对水下机器人姿态数据采集过程中由测量系统误差导致的姿态数据噪声大、精度低等问题,设计一套以STM32F429系列单片机为主控制器,MPU9250九轴传感器为姿态检测模块的水下机器人姿态采集系统。首先对系统采集的加速度计和磁力计数据采用中位值平均滤波算法进行滤波;然后通过动量梯度下降算法实现多传感器数据融合和姿态信息获取。在姿态数据信息融合过程中,通过不同传感器解算的姿态数据确定目标函数,并通过不断迭代的过程实现对最优姿态数值的逼近。静态和动态实验数据表明,该算法相比互补滤波算法解算的横滚角、俯仰角、偏航角的标准差分别降低1.22%、47.47%、70.31%和31.51%、20.62%、37.01%。在水下机器人姿态控制中具有很好的应用前景。

基于LSTM神经网络的无人机通信频谱感知算法

为了提升无人机机群间的通信频谱利用效率,认知无线电技术被应用在无人机机群中。由于传统频谱感知算法易受到噪声干扰、受通信时延干扰、需要累积信号长,无法适应无人机机群间通信,本文提出了一种基于长短期记忆神经网络(LSTM)的双门限无人机机群频谱感知算法。首先利用所有次级用户对频谱信号进行感知收集,随后将所有次级用户信号传入无人机融合节点,最后利用长短期记忆(LSTM)神经网络进行感知判断。在仿真实验条件下与传统单门限能量协作算法、双门限能量协作算法比较,仿真结果表明在不同信噪比和虚警概率下,所提方法的检测性能均优于传统算法。

基于LSTM神经网络的卫星频谱多门限感知算法

针对在卫星认知通信场景下传统频谱感知算法感知性能低、受通信时延影响大的问题,提出了一种基于长短期记忆(LSTM)神经网络的卫星频谱多门限感知算法。首先构建卫星认知通信模型,其次将仿真数据送入长短期记忆(LSTM)神经网络进行预测感知,采用动量随机梯度下降(SGDM)算法对网络进行更新,然后提出多门限算法对网络输出进行优化,最后与其他神经网络算法作性能对比。该算法无需构建特征值,实验结果表明:在卫星信道条件下,当面对低接收信噪比及低网络迭代次数时,该算法频谱感知性能要优于其他神经网络算法。

机载射频传感器主动电磁兼容方法研究

机载射频传感器系统作战能力越来越高,而各传感器电子设备高度集成且在载机的有限空间安装。由于各传感器灵敏度高,发射功率大且发射频带宽,各电子设备内部及相互间的电磁传导、辐射等电磁兼容问题需要精心设计,电磁兼容措施有效性直接关系到机载传感器系统的研制成败。文章对传感器内部电磁兼容需求及设计进行了总结,重点针对传感器间同时发射接收的自适应对消主动电磁兼容技术进行了研究,采用基于动量梯度下降算法,综合当前梯度估计和历史估计实现梯度更新,提升了收敛速度,并实现对本机宽带发射信号优于55 dBc的对消比,实现传感器间发射和接收功能的真正同时工作,该技术可支持载机边探测、边攻击、边防御、边通信的能力,对机载射频传感器系统具有非常重要的意义。

一种混沌神经网络的混沌时间序列预测

混沌是一种普遍存在的非线性动力学行为,针对混沌时间序列预测问题,提出了一种新颖的混沌对角递归神经网络模型,然后,给出了易实现的动量梯度学习算法。为了验证网络的预测性能,采用该神经网络预测模型对Mackey-Glass混沌时间序列进行了仿真。结果表明,所提出的混沌神经神经网络模型能快速、精确地预测混沌时间序列,并能在一定精度上满足多步预测需要,是研究复杂非线性动力系统辨识和控制的一种有效方法。

基于BP神经网络的医学数据分析

BP网络是一种基于误差反向传播(Back Propagation)算法的多层前向神经网络。采用动量梯度下降算法(TRAINGDM)训练BP网络,建立输入到输出的函数映射关系,使其对48例两类五种医学免疫学数据进行训练与分类。训练集数据正确检出率为100%,测试集数据正确检出率为87.5%,效果优良。结论 BP网络应用于免疫学数据分类取得很好效果,在临床免疫学人工智能诊断方面将有更为广泛的应用空间。

基于神经网络的钢铁企业电厂煤汽比预测模型

以钢铁企业自备电厂锅炉煤汽比为研究对象,以灰色关联度分析为基础,从理论和数据两方面分析了影响煤汽比的主要因素及各因素对煤汽比影响程度的大小.结果表明,各因素对煤汽比的影响程度为排烟温度>热风温度>给水温度>空燃比>烟气含氧量.基于BP神经网络预测方法,建立了自备电厂锅炉煤汽比预测模型,此BP神经网络为5-12-1结构,隐含层和输出层分别用tansig,purelin函数传递,利用改进动量梯度下降优化算法traingdm训练网格.预测结果表明,该模型网络训练值与实际值较吻合,相关系数R达到0.993 7,用建立的网络进行预测,预测的相关系数为0.976 2,平均误差绝对值为3.9%,在可控范围之内,证明了网络的可靠性与良好的泛化推广能力,可用来指导实际生产.

混沌对角递归神经网络的船舶横摇预报方法

船舶运动在一定条件下会出现混沌特性,因此可以利用混沌神经网络对其进行预报.对传统的混沌对角递归神经网络模型各权值的训练进行优化,给出了基于Lyapunov函数的各层权所通用的学习速率调整算法的收敛定理并加以证明.仿真结果表明,采用优化采样时刻可提高各权值的精确度,使收敛性得到改善,能有效提高预报精度和延长预报时间.与前向神经网络BP预测相对比,优化后的模型具有很好的预测效果.

二阶对角递归神经网络船舶横摇运动预测

提出一种船舶横摇时间序列预测方法.该方法使用在隐层具有2个反馈权值的对角递归神经网络进行预测,给出了此网络易于实现的动量梯度学习算法(DBP),并对其收敛性进行了验证.运用该模型对我国某型船舶在横浪中航行情况进行预测,结果表明:本网络可以储存更多的历史数据,有更好的记忆性能,所使用的模型比DRNN模型及前向网络BP模型能快速、准确地预测船舶横摇运动时间序列,仿真实验验证了该方法的可行性与有效性.

基于混沌和二阶对角递归网络的船舶横摇的直接多步预测方法

在对船舶横摇预测研究的基础上,提出一种基于混沌和在隐层具有2个反馈权值的二阶对角递归神经网络的直接多步预测模型;给出了易于实现的动量梯度学习算法,并对其收敛性进行了验证.仿真结果表明,直接多步预测不依赖于单步预测的结果,对比单步预测模型能快速、准确地预测船舶横摇运动时间序列,具有更好的预测精度及较长的预测时间.