特征域近端高维梯度下降图像压缩感知重构网络

压缩感知理论可以被用于解决信源采集设备计算资源受限的问题,但信号重构过程存在不确定性。传统的重构算法计算复杂度高,难以在实际中应用。近期,基于深度学习的重构算法打破传统算法的局限性,以其速度快、质量高等特点受到了广泛关注。现有的深度学习重构算法可以划分为“黑盒子”以及基于优化启发网络两种类型。与“黑盒子”式的网络结构相比,基于优化启发的深度网络更容易获得高精度的恢复,同时也更具可解释性。然而现有基于优化启发的图像压缩感知重构网络在每个优化阶段仅学习单一梯度,存在测量值信息利用不足、难以准确地学习梯度等缺点,限制了重构性能的提升。为了更充分地利用测量值信息,降低梯度学习的难度,本文提出了高维空间梯度学习思想,实现更准确的梯度回归。在此基础上,本文提出了特征域近端高维梯度下降(FPHGD)算法,并设计了实现该算法的深度神经网络(FPHGD-Net)以获得高精度图像重构结果。此外,本文设计了3种不同复杂度的深度空间近端映射网络结构,以满足不同的应用条件,按空间复杂度从低到高,相应模型分别为FPHGD-Net-Tiny、FPHGD-Net、FPHGD-NetPlus。实验结果表明,与OPINE-Net+相比,所提3种模型在Set11数据上的平均PSNR分别提升1.34、1.51和1.88 dB,并且在重构视觉效果上,能够恢复出更丰富的图像细节。

基于多层次随机梯度下降的大规模图布局算法

大规模图布局问题是图可视化领域研究热点之一。应力布局模型在保持全局布局结构方面表现出色,然而其求解速度却不及弹簧电荷模型,且局部布局质量也有所欠缺。在维持全局结构稳定条件下,为提高应力模型求解大规模图时的布局速度、改进布局局部结构表达,提出了一个新的多层次随机梯度下降图布局模型。首先利用基于邻居结构的图压缩合并算法生成层次图结构,再使用节点最优放置算法初始化节点坐标。最后利用融合了节点正负样本的随机梯度下降算法细化布局,改进局部布局质量。同时多层次方法也有效提高了布局速度。在30个不同规模的数据集上与现有布局模型进行对比实验,从布局计算效率、布局质量以及可视化效果三个方面证明了该方法的有效性。

基于小批量随机梯度下降法的SVM训练隐私保护方案

使用支持向量机(support vector machine,SVM)处理敏感数据时,隐私保护很重要,已有SVM隐私保护方案基于批量梯度下降法(batch gradient descent,BGD)进行训练,计算开销巨大.针对该问题,提出基于小批量随机梯度下降法(mini-batch stochastic gradient descent,Mini-batch SGD)的SVM隐私保护方案.首先,设计基于Mini-batch SGD的SVM训练算法;然后在此基础上,对模型权重进行乘法扰动,利用大整数分解问题困难假设确保模型的隐私性,使用同态密码体制对数据加密后再执行SVM训练,之后运用同态哈希函数进行验证;最终构建了SVM隐私保护方案.针对安全威胁,论证了数据隐私性、模型隐私性、模型正确性.对方案进行仿真实验和分析,结果表明,该方案在分类性能接近已有方案的情况下,其计算时间开销平均节约了92.4%.

基于集成重要性采样的随机梯度下降算法

许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这一现象,可以为每个样本赋予不同的采样概率。该文基于集成学习的思想,提出了一种新的选取非均匀采样分布的算法。算法的主要目的是选取一个采样器权重,使梯度估计的方差尽可能小。所提算法由多个简单采样器组成,采样权重为每个简单采样器分配贡献权重,从而得到最终的采样分布。集成重要性采样算法可以和以往的随机梯度优化方法任意结合,该文给出了使用集成重要性采样的随机梯度下降算法。在试验中,可以直观地看到算法起效的原因。在真实数据集中,展示了所提算法减小方差的效果,与其他算法相比具有一定优势。

基于梯度下降法的大房郢水库洪水预报模型参数率定及适用性研究

大房郢水库长期承担合肥市的防洪、供水任务,准确可靠地开展洪水预报对当地防汛抗旱工作具有重要意义。分别采用新安江模型和前期影响雨量(antecedent precipitation index,API)模型构建大房郢水库入库洪水预报模型,基于梯度下降法对模型参数进行优选,并以方案合格率作为评价指标,对2种模型在该水库的适用性进行分析。结果表明:新安江模型和API模型预报方案合格率均为90.7%,预报精度达到甲等;2种模型在不同预报项目中各有优势,对于洪峰和峰现时差,API模型预报效果更好,预报合格率分别为88.9%和100%,较新安江模型分别提高6.7%和5.9%;对于径流深,新安江模型预报效果更为理想,预报合格率可达94.4%,相对于API模型其提升幅度约13.3%。此外,API模型更适用于单式洪水预报,而新安江模型则更适用于复式洪水预报。研究成果可为提升大房郢水库入库洪水预报精度提供理论依据。

基于梯度下降的串联机械臂逆运动学求解

将梯度下降法用于机械臂的逆运动学求解,解决了不同自由度串联机械臂逆运动学求解的问题;将求解过程中间解利用起来,在保证了系统性能的同时,完成了轨迹规划任务;针对使用梯度下降得到的轨迹较差的问题,采用改进的梯度下降对轨迹进行了优化。用OpenGL和C++搭建了仿真平台,对六自由度和七自由度机械臂进行了仿真,算法收敛精度可达到0.01 mm,实验结果表明将梯度下降用于机械臂逆运动学求解具有实用性。

基于动量梯度下降的回声消除算法

针对极端环境话音系统下声学回波影响工作人员正常施工,且常规声学回声消除算法收敛速度慢的问题,提出一种基于动量梯度下降的基于l0范数的改进系数成比例归一化最小均方误差算法(L0⁃IPNLMS)。该算法将动量因子引入L0⁃IPNLMS算法中,解决在算法运行过程中梯度下降时梯度摆动幅度可能过大的问题,也提高了自适应滤波器的收敛速度,且残余回声下降明显,声学回波抑制效果更好。仿真实验表明,与L0⁃IPNLMS算法相比,新算法在模拟随机多音信号与真实语音信号输入时,均方误差(MSE)可以降低3.47 dB和3.69 dB,回波抑制比(ERLE)提高了3.46 dB和3.68 dB,在低信噪比情况下,使用新算法对真实语音信号进行回声消除,收敛速度高于L0⁃IPNLMS等算法,且收敛效果有明显改进。

面向约束多目标优化的进化计算与梯度下降联合优化算法

约束多目标进化算法(CMOEA)是一类专门为解决约束多目标优化问题而设计的元启发式算法。这类算法利用基于种群的黑盒随机搜索模式,可以在不同优化问题上达到目标与约束之间的有效平衡;然而它们未有效利用函数的梯度信息,在复杂问题上收敛过慢。但引入梯度信息不是一个简单的过程,同时计算所有目标和约束的梯度会消耗大量的计算资源,且目标和约束之间的矛盾会使梯度方向难以确定。为此,提出一种进化计算和梯度下降(GD)的联合优化算法——基于梯度辅助的多阶段约束多目标进化算法(CMOEA-MSG)。该算法包括两个阶段:在第一阶段,算法通过构建辅助问题并有选择性地计算目标或约束的梯度更新解,使种群快速收敛至可行区域;在第二阶段,算法采用约束优先原则求解原问题,保证种群的可行性和多样性。与现有同类算法在LIR-CMOP、MW和DASCMOP三个测试集上的对比结果表明,CMOEA-MSG可以更有效地解决约束多目标优化问题。

非对称弦测法中基于梯度下降的轨道不平顺复原方法

本研究提出了一种基于梯度下降的轨道不平顺复原方法。基于非对称弦测法理论,轨道不平顺的复原过程可描述为一个欠定线性系统的优化问题。本文提出采用梯度下降法求解该优化问题,采用了考虑正则项的二次型代价函数。为了评估所提出方法的性能,本研究搭建了一个轨道检测小车,并在一个缩尺桥梁模型上进行了现场试验。通过与水准仪测量值的比较,验证了基于梯度下降轨道不平顺复原方法具有良好精度。与传统的需要专门设计逆滤波器的轨道不平顺复原方法相比,本研究所提出的方法物理意义明确,只需基于非对称弦测法原理建立优化模型,这表明本方法在现场实测中具有良好的可操作性。此外,重复性评估表明,在调整不同的弦长以及多次重复测量时,本研究所提出的方法可复现一致的轨道不平顺结果,表明该方法具有良好的测量重复性。本研究所提出的方法可对轨道不平顺进行准确复原,为轨道平顺性状态及时有效评估提供数据支撑,进而保证列车运行的平稳与安全。

基于广义投影梯度下降算法的深度学习大规模MIMO信号检测

为了提升大规模MIMO系统的信号检测性能,对由投影和梯度下降(gradient descent,GD)这2个基础操作构成的投影梯度下降(projected gradient descent,PGD)算法进行研究.在基于PGD算法的大规模MIMO检测器中,由于投影和GD操作的损失函数不同,迭代时需要使两者达到平衡,因此通过广义投影梯度下降(generalized projected gradient descent,GPGD)方法实现了投影和GD操作的灵活选取.GPGD方法中在多次的GD步骤后执行1次投影,与传统方式中交替进行投影和GD操作相比,具有显著优势;同时为了保证算法的收敛效率,也对GD操作的步长进行了探究.另外,通过对GPGD算法进行基于深度神经网络的迭代展开,进一步构建了自纠错自动检测器的检测框架,有效提升检测性能和效率.仿真结果表明,GPGD方法带来了明显的系统增益,具有显著的优越性.

基于变增益最速梯度下降法的表贴式永磁同步电机位置修正策略

滑模观测器具有响应速度快、鲁棒性强等优点,已广泛应用于表贴式永磁同步电机无位置传感器的中、高速控制系统。然而,具有固定参数的滑模观测器很难在宽速度范围内保持一致的估算精度,而采用基于速度观测器带宽限制的方法进行噪声和扰动抑制会降低电机的动态性能。针对上述问题,该文首先分析滑模观测器估算表贴式永磁同步电机转子位置的误差产生机理,提出一种新型位置误差观测器,主要思想是基于磁链观测进行位置误差连续估算,并采用最速梯度下降法对积分过程进行反馈校正;然后,通过变增益循环迭代优化提高位置误差观测器的速度与准确性;最后搭建表贴式永磁同步电机加载测试平台进行实验,结果验证了所提方法具有位置观测精度高、鲁棒性强的特点。

一种新型的分数阶梯度下降法在深度神经网络中的应用

文章基于Caputo分数阶微积分,提出了一种新型的适用于神经网络模型训练的分数阶梯度下降法。该算法通过改变积分区间下界,成功将分数阶阶次拓展到了(0, 2)区间,增加了阶次的选择范围,同时,本文基于梯度裁剪机制,从遗憾函数的角度证明了该算法的收敛性,保证了算法的理论可行性。最后,基于CIFAR-10公开数据集的数值实验表明,在选择了合适的阶次的情况下,本文所提出的算法相比于传统的整数阶梯度法,能够获得更快的收敛速度和更高的收敛精度。

基于梯度下降VAD方法的风场探测技术

为了获得高精度矢量风速,着重对激光雷达回波信号数据反演方法进行分析研究。开展了一系列1.55μm全光纤相干测风激光雷达测速实验,采用基于梯度下降的VAD(Velocity-Azimuth Display,速度方位显示)风场反演算法进行矢量风场的反演,并通过MATLAB编程与仿真进行分析。基于模拟数据进行仿真实验,以风场反演结果的均方误差(MSE)为评价指标,对比LM最小二乘算法、Newton-Gaussian(NG)最小二乘算法及梯度下降算法这3种风场反演算法在进行不同迭代次数下的均方误差。结果表明,梯度下降和LM最小二乘算法最终都能收敛且MSE值较小,但LM最小二乘算法受初值影响较大,所以选取梯度下降算法进行风场反演成为更优选择。

基于随机梯度下降的永磁同步电机弱磁扩速控制

为提高永磁同步电机的额定转速,并解决电机在弱磁区域输出电压方向递减信息存在的大纯滞后问题,文章提出一种随机基于梯度下降的永磁同步电机弱磁扩速控制方法。首先,分析永磁同步电机稳态运行原理,并建立永磁同步电机数学模型,采用静止三相/两相方法进行坐标变换;然后,在此基础上提出一种提高电机在额定转速、克服输出电压方向信息大纯滞后的方法;最后,与最大转矩/电流控制方法进行对比,通过MATLAB/Simulink进行仿真实验测试算法的性能。实验结果表明,该控制方法可以提高电机的额定转速,有利于克服电机在弱磁区域输出电压方向递减信息大纯滞后所导致的控制精度低等问题。

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。

一类自适应梯度裁剪的差分隐私随机梯度下降算法

梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数平均策略对梯度裁剪参数进行自适应动态调整,进而提出一类自适应梯度裁剪的差分隐私随机梯度下降算法。其次,在非凸目标函数的情况下对提出的自适应算法给出收敛性分析和隐私性分析。最后,在MNIST、Fasion-MNIST和IMDB数据集上进行数值仿真。其结果表明,与传统梯度裁剪算法相比,本文提出的自适应梯度裁剪算法显著提高了模型精度。

某信息系统二次规划同态加密梯度下降算法研究

同态加密方法能够实现在不泄露内容情况下分析或操作加密数据的功能,但该方法计算开销大,一直以来难以在控制领域的实践中实现。为解决这一问题,首先计算分析梯度下降算法在同态加密方法中解决二次规划的适用性,降低了同态加密电路乘法深度对梯度下降算法迭代的限制,并量化了原型示例,为后续的研究打下基础。其次,对梯度下降及加速梯度下降方法的选择进行了权衡和评估,为同态加密技术的工程应用开辟了道路。所采用的CKKS方案,通过选择合适的步长使程序实现收敛,直接展示了同态加密梯度下降算法的可行性。

带有校正项的自适应梯度下降优化算法

基于批处理的随机梯度下降(SGD)优化算法通常用于训练卷积神经网络(CNNs),其性能的优劣直接影响神经网络收敛的速度.近年来,一些自适应梯度下降优化算法被提出,如Adam、Radam算法等.然而,这些优化算法既没有利用历史迭代的梯度范数,也没有利用随机子样本中梯度的二阶矩,这些导致自适应梯度下降优化算法收敛速度较慢,性能也不稳定.结合历史梯度范数和梯度的二阶矩,提出了一种新的自适应梯度下降优化算法normEve.通过模拟仿真实验,实验结果表明,提出的新算法在结合历史梯度范数和梯度二阶矩的情形下能有效地提高算法的收敛速度.通过实例验证新算法与Adam优化算法比较,新算法的测试准确率大于Adam优化算法,验证了新算法的优越性.

基于梯度下降算法和动量因子的醇基燃料锅炉燃烧温度非线性控制方法

醇基燃料锅炉燃烧温度与控制参数之间的关系不是简单的线性关系,增加了控制的难度,提出基于梯度下降算法和动量因子的醇基燃料锅炉燃烧温度非线性控制方法。建立醇基燃料锅炉的气流三维流动方程,确定燃烧速率、实际温度与期望温度之间的差值以及差值变化率等温度非线性控制参数。搭建燃烧温度控制的模糊神经PID控制器,采用梯度下降算法和动量因子对PID神经网络的权值展开训练,将所得温度非线性控制参数输入训练后的模糊神经PID控制器,实现醇基燃料锅炉燃烧温度非线性控制。实验结果表明,所提方法对于燃烧速率、实际温度与期望温度之间的差值以及差值变化率计算结果精准,温度控制精度高,温度变化率低,燃料能源利用率高,实际应用效果好。

基于梯度下降法的永磁同步电机弱磁控制仿真

永磁同步电机在运行过程中,弱磁轨迹若出现偏差会直接影响电机的运行效果。为提升电机运行质量,提出基于梯度下降法的永磁同步电机弱磁控制方法。分析永磁同步电机弱磁控制影响因素,建立永磁电机稳态电压方程与电磁转矩方程,获取永磁同步电机的弱磁移动轨迹。基于分析结果制定弱磁控制策略,结合梯度下降法在电机输出电流、电流被限制的情况下,计算电流的下降梯度与转矩角度,辨识电流的缩减方向,实现永磁电机的弱磁控制。实验结果表明,使用上述方法开展电机弱磁控制时,能够有效测试出电机直、交轴电流输出,电机转速能够达到电机期望转速,说明其控制效果较好。