一种基于稀疏优化和Nesterov动量策略的模型剪枝算法

随着深度学习快速发展,模型的参数量和计算复杂度爆炸式增长,在移动终端上部署面临挑战,模型剪枝成为深度学习模型落地应用的关键。目前,基于正则化的剪枝方法通常采用L2正则化并结合基于数量级的重要性标准,是一种经验性的方法,缺乏理论依据,精度难以保证。受Proximal梯度方法求解稀疏优化问题的启发,本文提出一种能够在深度神经网络上直接产生稀疏解的Prox⁃NAG优化方法,并设计了与之配套的迭代剪枝算法。该方法基于L1正则化,利用Nesterov动量求解优化问题,克服了原有正则化剪枝方法对L2正则化和数量级标准的依赖,是稀疏优化从传统机器学习向深度学习的自然推广。在CIFAR10数据集上对ResNet系列模型进行剪枝实验,实验结果证明Prox⁃NAG剪枝算法较原有剪枝算法性能有所提升。

基于Huber损失和组Lasso惩罚问题的加速临近梯度算法

在高维线性回归模型中,组稀疏恢复的做法是在原有线性模型的基础上增加一个组Lasso惩罚项,以诱导尽可能少的非零组,将问题转换为凸优化模型进行求解。本文研究Huber损失和组Lasoo 组合问题,其中惩罚项包含了组稀疏惩罚,惩罚项的目的是用于保证组元素稀疏性结构。首先,由于惩罚项是一个凸但不光滑函数,为了刻画组Lasso模型的最优性条件,给出了其经典次微分。其次,利用Nesterov加速技术提出了加速临近梯度算法来求解我们的模型。最后证明了所提出算法的收敛性。

传感器网络中阈值Nesterov加速梯度下降定位方法

在传感器网络定位问题中,利用接收信号强度RSSI(Received Signal Strength Indication)的定位方法存在着接收信号传播不稳定,定位精度较低的问题。为解决该问题,提出了一种基于阈值Nesterov加速梯度下降NAGT(Nesterov Accelerated Gradient Descent with Threshold)的RSSI定位算法。算法引入Nesterov思想,不断更新寻优动量,以达到损失函数最小,从而求取对应的未知基站坐标,通过增设阈值,降低了算法陷入局部最优的概率。经仿真比较分析,NAGT方法相对于粒子群算法与随机梯度法,在定位精度与效率上有着较为明显的优势。

基于梯度下降的自适应姿态融合算法

针对第一代帆船姿态测量系统中采用的自适应卡尔曼滤波算法作用范围有限、动态性能较差等缺陷,基于微机电系统(MEMS)惯性传感器与梯度下降姿态融合算法提出了两种自适应方法,分别根据当前时刻之前N个采样点的平均运动加速度与加速度的变化量设计自适应控制因子,得到稳定的动态梯度下降步长。实验结果表明:两种算法性能均优于自适应卡尔曼滤波与单点加速度抑制法,其中,基于加速度增量的控制算法更加符合高速运动状态下加速度剧烈变化的实际规律,测量性能达到最优,符合海面帆船运动船体姿态测量的实际需求。

一种基于APGD方法的随钻核磁共振测井快速反演算法

随钻核磁测井仪器受限于遥传带宽限制和测井时序要求,必须在井下测井仪器中快速实现回波T2谱反演功能。根据实时性要求并结合原始回波串数据特点,设计一种基于加速投影梯度下降APGD(Accelerated Projected Gradient Descend)方法的回波T2谱快速反演算法,充分利用FPGA硬件资源,采用分布式算法将矩阵乘法运算转换为查找表和累加移位操作,并对算法中开方、开根号等运算化简,提高算法执行效率。在自主研发的随钻核磁共振测井仪实验室刻度实验中的运行结果显示,实验结果与理论分析和数值计算相符合,实时性能满足随钻核磁测井仪器快速反演的需求,并且为随钻测井仪器井下数据处理技术领域的研究工作提供了有益的参考。

基于热重启学习率的NAG算法在图像分割中的应用

文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集函数的梯度下降法,对2种算法的图像分割速度以及分割精准度进行了对比。首先根据CV模型和距离保持惩罚项建立初始的水平集演化方程;然后对NAG算法增加学习率动态变化项计算梯度来演化水平集函数;最后不断更新得到水平集函数直到收敛。使用ground truth(GT)图像评估分割精准度,通过与传统梯度下降法得到的实验结果对比,改进算法的CPU运行时间减少了30%以上且分割精确度明显提升,表明其可对图像进行有效且快速地分割。

随机ADD算法的不确定网络优化研究

传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢。加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法当不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快两个数量级。

基于鲁棒控制的自适应分数阶梯度优化算法设计

当目标函数是强凸函数时,一般的分数阶梯度下降法不能够使函数收敛到最小值点,只能收敛到一个包含最小值点的区域内或者是发散的.为了解决这个问题,本文提出了自适应分数阶梯度下降法(AFOGD)和自适应分数阶加速梯度下降法(AFOAGD)两种新的优化算法.受到鲁棒控制理论中二次约束和李雅普诺夫稳定性理论的启发,建立了一个线性矩阵不等式去分析所提出的算法的收敛性.当目标函数是L-光滑且m-强凸时,算法可以达到R线性收敛.最后几个数值仿真证明了算法的有效性和优越性.

基于社会媒体内容和网络拓扑的特定话题推特摘要研究

推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推特摘要方法很少考虑数据稀疏性和社会网络传播带来的强冗余性,鲜有通过挖掘推文之间潜在的社会网络结构关系进行文摘内容选择,忽略了信息可以沿着社交网络进行传播.受压缩感知及社会学理论的启发,该文提出基于社会网络和稀疏重构的推特摘要方法(SNSR)以更好地融合社会媒体内容和结构信息.首先,挖掘推文中隐含的摘要模式,将其建模为组稀疏正则项,以捕捉代表性的推特摘要组合;其次,建模社会网络中表达一致性与表达传染性为社会化正则项,以探索推文之间的潜在网络结构关系在推特摘要中的作用;再次,建模社会媒体信息传播带来的强冗余性为多样性正则项,进而将这些约束整合到稀疏重构的推特摘要框架中;最后,提出基于Nesterov加速梯度下降的推特摘要算法,以解决推特摘要优化框架中的覆盖性、稀疏性以及多样性等问题.同时,由于推特摘要标准语料的缺乏,作者建设了12个话题的评测数据集.相关的实验结果证明了文中提出方法的有效性.

基于GPU的分布式全息孔径数字成像技术研究

分布式全息孔径数字成像技术是利用数字全息记录各子孔径的复振幅信息,通过孔径间相位拼接实现综合成像的一种主动成像技术。在远距离成像中,大气湍流引入的子孔径内高阶相位误差和子孔径间低阶相位误差,以及孔径间的位置失配误差,都会影响成像质量。随机并行梯度下降算法(SPGD)是一种无波前探测优化控制算法,具有可以并行、快速收敛、高效可靠等优点,可用于校正系统孔径内高阶和孔径间低价相位误差。但是SPGD算法需要多次迭代,运算量巨大,难以满足实时性要求。文章基于GPU平台,对高、低阶相位误差校正进行了并行加速处理,运算速度较CPU平台分别提升26.42倍和36.47倍。此外,采用AKZAE算法校正各子孔径间的位置失配误差,完成了各子孔径复振幅的拼接,最终实现了分布式四孔径的综合成像。

无波前传感自适应波前校正系统的图形处理器加速

基于随机并行梯度下降(SPGD)算法的无波前传感自适应波前校正系统的收敛速度较慢,很难满足无线光相干通信系统对实时性的要求。介绍了SPGD算法的并行化处理,利用图形处理器(GPU)并行计算提高校正系统的收敛速度。选用CCD相机采集的实时光斑形心的周围400个像素平均灰度值作为系统性能指标;利用GPU多线程运算,对性能指标求解过程和变形镜控制电压向量更新过程进行加速处理。室内实验和外场相干光实验结果表明,斯特列尔比达到了0.8以上,时间加速比最大达到了8.6,GPU加速的波前校正系统在提升收敛速度的同时保证了校正效果。