期刊文献+
共找到15篇文章
< 1 >
每页显示 20 50 100
基于Adagrad算法的LMS步长优化
1
作者 陈智国 王忠策 《电子制作》 2023年第14期83-86,共4页
针对LMS算法收敛速度慢、滤波误差大的问题,本文采用Adagrad算法对LMS算法进行了改进。改进的算法开始是激励收敛,然后逐渐变成惩处收敛,用此方法来改进LMS算法中收敛速度和稳态误差两者之间存在的矛盾。改进的算法在迭代步骤中使用Adag... 针对LMS算法收敛速度慢、滤波误差大的问题,本文采用Adagrad算法对LMS算法进行了改进。改进的算法开始是激励收敛,然后逐渐变成惩处收敛,用此方法来改进LMS算法中收敛速度和稳态误差两者之间存在的矛盾。改进的算法在迭代步骤中使用Adagrad算法中累积误差和的方式来更新步长代替LMS算法中的固定步长,最终改进的算法具有加速收敛和同时减少稳态误差的双重效果。 展开更多
关键词 adagrad算法 LMS算法 自适应滤波
下载PDF
基于AdaGrad+的自适应Heavy-Ball动量法及其最优个体收敛性
2
作者 韦洪旭 陇盛 +1 位作者 陶蔚 陶卿 《计算机科学》 CSCD 北大核心 2023年第11期220-226,共7页
自适应策略与动量法是提升优化算法性能的常用方法。目前自适应梯度方法大多采用AdaGrad型策略,但该策略在约束优化中效果不佳,为此,研究人员提出了更适用于处理约束问题的AdaGrad+方法,但其与SGD一样在非光滑凸情形下未达到最优个体收... 自适应策略与动量法是提升优化算法性能的常用方法。目前自适应梯度方法大多采用AdaGrad型策略,但该策略在约束优化中效果不佳,为此,研究人员提出了更适用于处理约束问题的AdaGrad+方法,但其与SGD一样在非光滑凸情形下未达到最优个体收敛速率,结合NAG动量也并未达到预期的加速效果。针对上述问题,文中将AdaGrad+调整步长的策略与Heavy-Ball型动量法加速收敛的优点相结合,提出了一种基于AdaGrad+的自适应动量法。通过设置加权动量项、巧妙选取时变参数和灵活处理自适应矩阵,证明了该方法对于非光滑一般凸问题具有最优个体收敛速率。最后在l∞∞范数约束下,通过求解典型的hinge损失函数优化问题验证了理论分析的正确性,通过深度卷积神经网络训练实验验证了该方法在实际应用中也具有良好性能。 展开更多
关键词 凸优化 自适应策略 adagrad+ Heavy-Ball动量方法 收敛速率
下载PDF
基于AdaGrad自适应DA方法的最优个体收敛速率
3
作者 张旭 韦洪旭 《兵工自动化》 2023年第11期49-55,共7页
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推... 针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/√t)的最优个体收敛速率,为其提供了理论支撑。 展开更多
关键词 优化算法 梯度下降 对偶平均方法 adagrad 自适应矩阵
下载PDF
基于AdaGrad的GNSS-R镜面反射点自适应预测算法 被引量:4
4
作者 盛志超 周勃 +2 位作者 杜璞玉 秦瑾 王路 《无线电工程》 2019年第11期956-960,共5页
利用全球导航卫星反射信号(Global Navigation Satellite System Reflectometry,GNSS-R)进行海洋环境要素探测已成为国内外遥感领域一大热点。镜面反射点作为GNSS-R遥感探测的坐标基准,其预测的精度与速度对后续环境要素的反演有着显著... 利用全球导航卫星反射信号(Global Navigation Satellite System Reflectometry,GNSS-R)进行海洋环境要素探测已成为国内外遥感领域一大热点。镜面反射点作为GNSS-R遥感探测的坐标基准,其预测的精度与速度对后续环境要素的反演有着显著影响。针对星载GNSS-R实时预测高精度镜面反射点的需求,提出了一种基于AdaGrad优化的GNSS-R镜面反射点自适应预测算法。利用空间几何关系对镜面反射点进行粗略估计,通过预处理后利用AdaGrad优化寻找镜面反射点的最优解,仿真实验证明算法的精确性、高效性。 展开更多
关键词 全球导航卫星反射信号 遥感 镜面反射点 adagrad
下载PDF
基于AdaGrad自适应策略的对偶平均方法
5
作者 张旭 韦洪旭 《舰船电子工程》 2022年第9期41-44,53,共5页
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去... AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去。对偶平均方法能够克服随机梯度下降法迭代后期收敛缓慢的固有弊端,并相较而言具有较高的收敛稳定性和灵活的步长策略,但自适应的对偶平均方法仍是空白。论文通过分析随机梯度下降法和对偶平均方法性能差异的本质原因,在保留对偶平均方法优势的基础上,将AdaGrad的自适应矩阵融入到方法框架中去,形成一种自适应的对偶平均方法:AdaDA,并通过一般凸函数优化分类实验验证算法的可行性与预期效果。 展开更多
关键词 优化算法 梯度下降 对偶平均方法 adagrad 自适应矩阵
下载PDF
基于权重的AHP判断矩阵一致性调整方法 被引量:1
6
作者 耿正霖 吴佳妮 +1 位作者 程兴华 包长春 《国防科技大学学报》 EI CAS CSCD 北大核心 2024年第1期179-186,共8页
传统的判断矩阵调整方法计算得到的权重不能最大限度地保留原始判断矩阵的信息。为此,提出一种基于权重的判断矩阵调整方法。该方法根据权重的性质,构造完全一致矩阵,利用AdaGrad最速下降法对矩阵进行拟合,使该矩阵相对于原始判断矩阵... 传统的判断矩阵调整方法计算得到的权重不能最大限度地保留原始判断矩阵的信息。为此,提出一种基于权重的判断矩阵调整方法。该方法根据权重的性质,构造完全一致矩阵,利用AdaGrad最速下降法对矩阵进行拟合,使该矩阵相对于原始判断矩阵的总改变量最小,以其对应的权重作为矩阵的计算结果。数值计算结果表明,该方法相比于其他方法,权重对原始判断信息的保留度更高,且不需要反复进行矩阵一致性检验。 展开更多
关键词 层次分析法 判断矩阵 一致性调整 adagrad
下载PDF
Automated Red Deer Algorithm with Deep Learning Enabled Hyperspectral Image Classification
7
作者 B.Chellapraba D.Manohari +1 位作者 K.Periyakaruppan M.S.Kavitha 《Intelligent Automation & Soft Computing》 SCIE 2023年第2期2353-2366,共14页
Hyperspectral(HS)image classification is a hot research area due to challenging issues such as existence of high dimensionality,restricted training data,etc.Precise recognition of features from the HS images is importa... Hyperspectral(HS)image classification is a hot research area due to challenging issues such as existence of high dimensionality,restricted training data,etc.Precise recognition of features from the HS images is important for effective classification outcomes.Additionally,the recent advancements of deep learning(DL)models make it possible in several application areas.In addition,the performance of the DL models is mainly based on the hyperparameter setting which can be resolved by the design of metaheuristics.In this view,this article develops an automated red deer algorithm with deep learning enabled hyperspec-tral image(HSI)classification(RDADL-HIC)technique.The proposed RDADL-HIC technique aims to effectively determine the HSI images.In addition,the RDADL-HIC technique comprises a NASNetLarge model with Adagrad optimi-zer.Moreover,RDA with gated recurrent unit(GRU)approach is used for the identification and classification of HSIs.The design of Adagrad optimizer with RDA helps to optimally tune the hyperparameters of the NASNetLarge and GRU models respectively.The experimental results stated the supremacy of the RDADL-HIC model and the results are inspected interms of different measures.The comparison study of the RDADL-HIC model demonstrated the enhanced per-formance over its recent state of art approaches. 展开更多
关键词 Hyperspectral images image classification deep learning adagrad optimizer nasnetlarge model red deer algorithm
下载PDF
基于GAD-BP神经网络的短期负荷预测 被引量:12
8
作者 张丹丹 胡钢 +2 位作者 卢静 尹晓东 任其文 《电子测量技术》 2019年第24期143-147,共5页
短期负荷的精准预测可以提高配网运行的安全性、可靠性、经济性,虽然BP神经网络在数据训练和关联记忆方面具有良好应用效果,但其在短期电负荷预测领域存在局部最优解和收敛速度慢的不足。因此,提出了一种改进的BP神经网络算法,首先构建... 短期负荷的精准预测可以提高配网运行的安全性、可靠性、经济性,虽然BP神经网络在数据训练和关联记忆方面具有良好应用效果,但其在短期电负荷预测领域存在局部最优解和收敛速度慢的不足。因此,提出了一种改进的BP神经网络算法,首先构建一个全局化加速BP(globally accelerated BP,GAD-BP)神经网络模型,在模型参数预训练过程中,采用遗传算法全局寻优,通过LM算法优化初始权值。其次结合Adagrad方法逐参数除以迭代历史梯度平方根和来动态调节学习率,使其更快收敛于最优解。最后将GAD-BP与St-BP、LSTM进行仿真对比,结果表明,GAD-BP神经网络模型计算时间短,且预测精度达到了0.981 2×10-3。 展开更多
关键词 短期负荷预测 GAD-BP神经网络 遗传算法 LM算法 adagrad算法
下载PDF
深度学习优化器方法及学习率衰减方式综述 被引量:13
9
作者 冯宇旭 李裕梅 《数据挖掘》 2018年第4期186-200,共15页
深度学习作为现今机器学习领域中的重要的技术手段,在图像识别、机器翻译、自然语言处理等领域都已经很成熟,并获得了很好的成果。文中针对深度学习模型优化器的发展进行了梳理,介绍了常用的梯度下降、动量的梯度下降、Adagrad、RMSProp... 深度学习作为现今机器学习领域中的重要的技术手段,在图像识别、机器翻译、自然语言处理等领域都已经很成熟,并获得了很好的成果。文中针对深度学习模型优化器的发展进行了梳理,介绍了常用的梯度下降、动量的梯度下降、Adagrad、RMSProp、Adadelta、Adam、Nadam、ANGD等优化方法,也对学习率的衰减方式有分段常数衰减、多项式衰减、指数衰减、自然指数衰减、余弦衰减、线性余弦衰减、噪声线性余弦衰减等方法进行了总结,对深度学习现阶段存在的问题以及对未来的发展趋势进行了阐述,为入门深度学习的研究者提供了较为完整的最优化学习材料以及文献支持。 展开更多
关键词 深度学习 优化器 梯度下降 adagrad RMSProp Adadelta ADAM 学习率衰减
下载PDF
非光滑凸情形Adam 型算法的最优个体收敛速率 被引量:5
10
作者 黄鉴之 丁成诚 +1 位作者 陶蔚 陶卿 《智能系统学报》 CSCD 北大核心 2020年第6期1140-1146,共7页
Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得... Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解l_(1)范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。 展开更多
关键词 机器学习 adagrad算法 RMSProp算法 动量方法 Adam算法 AMSGrad算法 个体收敛速率 稀疏性
下载PDF
基于改进多层感知机的手写数字识别 被引量:11
11
作者 何平 刘紫燕 《通信技术》 2018年第9期2075-2080,共6页
针对传统多层感知机(Multi-Layer Perceptron,MLP)模型在手写数字识别方面识别精度不高、识别效率较低的问题,提出改进的多层感知机模型,引入Dropout解决过拟合问题,Adagrad优化参数调试过程,ReLU解决梯度弥散问题,并在TensorFlow软件... 针对传统多层感知机(Multi-Layer Perceptron,MLP)模型在手写数字识别方面识别精度不高、识别效率较低的问题,提出改进的多层感知机模型,引入Dropout解决过拟合问题,Adagrad优化参数调试过程,ReLU解决梯度弥散问题,并在TensorFlow软件平台上实现该改进模型。实验表明,该改进的MLP模型能够有效地进行特征学习,在提高识别性能上表现优秀。与传统MLP算法模型相比,识别准确率提高了将近7.0%,识别效率提高了27.3s。 展开更多
关键词 多层感知机 手写数字识别 DROPOUT adagrad ReLU
下载PDF
比例风险模型下参数极大似然估计的自适应优化算法及其改进算法 被引量:2
12
作者 林文强 《数学杂志》 2020年第3期363-378,共16页
自适应优化算法可避免很多常用数值算法遭遇的困难,例如:高维矩阵求逆问题,初值选取的问题和算法的收敛问题等等.因此,自适应优化算法得到了迅速的发展和广泛的应用,本文研究了比例风险模型下的自适应优化算法.首先利用三种自适应优化算... 自适应优化算法可避免很多常用数值算法遭遇的困难,例如:高维矩阵求逆问题,初值选取的问题和算法的收敛问题等等.因此,自适应优化算法得到了迅速的发展和广泛的应用,本文研究了比例风险模型下的自适应优化算法.首先利用三种自适应优化算法-Adam算法、RMSprop算法、Adagrad算法求解比例风险模型下的参数估计数值解问题,获得了自适应算法的计算优良性.然后,推广了比例风险模型下的Adam算法的研究,发展了一种改进的Adam算法,进一步提高了算法的计算速度并展现了其计算优势. 展开更多
关键词 Adam算法 RMSprop算法 adagrad算法 比例风险模型
下载PDF
融合PCA降维的改进深度神经网络工控安全算法 被引量:5
13
作者 刘庆华 吴昊天 《计算机与数字工程》 2019年第7期1688-1693,共6页
为了提高工业控制系统的安全性及抗干扰能力,论文提出了一种融合PCA降维的改进深度神经网络的工控防御方法。基于PCA降维理论,首先使用主成分分析法(PCA)对工控数据进行数据降维,计算各类维度的贡献率,准确提取信息主元,在模型迭代过程... 为了提高工业控制系统的安全性及抗干扰能力,论文提出了一种融合PCA降维的改进深度神经网络的工控防御方法。基于PCA降维理论,首先使用主成分分析法(PCA)对工控数据进行数据降维,计算各类维度的贡献率,准确提取信息主元,在模型迭代过程中通过Adagrad算法优化模型参数,加快模型收敛速度,然后通过深度神经网络实现对网络特征的提取,最后通过softmax分类器对工控数据进行分类。实验采用了由低层设备采集的工控样本数据,结果表明,该方法对工控数据安全性检测的准确率比未融合前算法提高了16%,达到96.67%,误识率降低了14%,低至0.13%,从而对比验证了方法的有效性。 展开更多
关键词 工业控制系统 深度神经网络 PCA adagrad
下载PDF
Deep Learning Based Process Analytics Model for Predicting Type 2 Diabetes Mellitus
14
作者 A.Thasil Mohamed Sundar Santhoshkumar 《Computer Systems Science & Engineering》 SCIE EI 2022年第1期191-205,共15页
Process analytics is one of the popular research domains that advanced in the recent years.Process analytics encompasses identification,monitoring,and improvement of the processes through knowledge extraction from his... Process analytics is one of the popular research domains that advanced in the recent years.Process analytics encompasses identification,monitoring,and improvement of the processes through knowledge extraction from historical data.The evolution of Artificial Intelligence(AI)-enabled Electronic Health Records(EHRs)revolutionized the medical practice.Type 2 Diabetes Mellitus(T2DM)is a syndrome characterized by the lack of insulin secretion.If not diagnosed and managed at early stages,it may produce severe outcomes and at times,death too.Chronic Kidney Disease(CKD)and Coronary Heart Disease(CHD)are the most common,long-term and life-threatening diseases caused by T2DM.There-fore,it becomes inevitable to predict the risks of CKD and CHD in T2DM patients.The current research article presents automated Deep Learning(DL)-based Deep Neural Network(DNN)with Adagrad Optimization Algorithm i.e.,DNN-AGOA model to predict CKD and CHD risks in T2DM patients.The paper proposes a risk prediction model for T2DM patients who may develop CKD or CHD.This model helps in alarming both T2DM patients and clinicians in advance.At first,the proposed DNN-AGOA model performs data preprocessing to improve the quality of data and make it compatible for further processing.Besides,a Deep Neural Network(DNN)is employed for feature extraction,after which sigmoid function is used for classification.Further,Adagrad optimizer is applied to improve the performance of DNN model.For experimental validation,benchmark medical datasets were used and the results were validated under sev-eral dimensions.The proposed model achieved a maximum precision of 93.99%,recall of 94.63%,specificity of 73.34%,accuracy of 92.58%,and F-score of 94.22%.The results attained through experimentation established that the pro-posed DNN-AGOA model has good prediction capability over other methods. 展开更多
关键词 Process analytics deep learning disease diagnosis adagrad T2DM chronic illness
下载PDF
基于改进GA-BP算法的RFID天线参数优化方法
15
作者 杨文冬 杨建一 +1 位作者 孙浩强 南敬昌 《微波学报》 2024年第3期22-28,45,共8页
为了提高算法对天线参数的预测精度,提出了一种基于Adagrad优化器的改进遗传算法-反向传播(GA-BP)算法。通过在迭代过程中引入Adagrad优化器与阈值策略,对发生退化的种群最优个体的位置信息进行重新引导,解决了GA-BP算法局部寻优能力不... 为了提高算法对天线参数的预测精度,提出了一种基于Adagrad优化器的改进遗传算法-反向传播(GA-BP)算法。通过在迭代过程中引入Adagrad优化器与阈值策略,对发生退化的种群最优个体的位置信息进行重新引导,解决了GA-BP算法局部寻优能力不足等问题,大幅度减小了误差损失并且加快了收敛速度。利用该方法对射频识别(RFID)标签天线的印刷品质和电磁参数进行了建模与分析。结果表明,改进GA-BP算法在稳步搜索极值的同时可以避免陷入局部极值陷阱,在误差和收敛效率方面均优于传统的反向传播(BP)算法与GA-BP算法,能够得到较高的预测精度,实现了RFID标签天线印刷品质的优化控制以及S_(11)特征曲线的预测。相比于BP算法与GA-BP算法,改进GA-BP算法在用于优化RFID标签天线的印刷品质时,平均绝对误差分别降低了91.92%和85.64%。在电磁参数预测应用时,分别降低了13.77%和13.19%。 展开更多
关键词 通信技术 射频识别标签天线 改进遗传算法-反向传播算法 adagrad优化器
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部