基于梯度加速算法的LSP流量分配算法

本文在MPLS系统模型中提出了一种基于加速梯度算法的LSP流量分配算法。仿真结果表明,它可以减少由传统路由算法引起的网络拥塞和包丢失率;随着LSP请求数的增加减少了LSP的拒绝数,优化网络资源的利用率,降低了资源占用率,提高了系统的稳定性。

两种新的Toeplitz矩阵填充加速临近梯度算法

本文提出了两种改进的Toeplitz矩阵填充加速临近梯度算法,使迭代矩阵每一步都保持Toeplitz结构,从而降低了奇异值分解时间。在理论上,证明了新算法在一些合理条件下的收敛性。同时,数值实验表明,在Toeplitz矩阵填充问题中,新算法比加速临近梯度(APG)算法在时间上有明显减少。

基于Huber损失和组Lasso惩罚问题的加速临近梯度算法

在高维线性回归模型中,组稀疏恢复的做法是在原有线性模型的基础上增加一个组Lasso惩罚项,以诱导尽可能少的非零组,将问题转换为凸优化模型进行求解。本文研究Huber损失和组Lasoo 组合问题,其中惩罚项包含了组稀疏惩罚,惩罚项的目的是用于保证组元素稀疏性结构。首先,由于惩罚项是一个凸但不光滑函数,为了刻画组Lasso模型的最优性条件,给出了其经典次微分。其次,利用Nesterov加速技术提出了加速临近梯度算法来求解我们的模型。最后证明了所提出算法的收敛性。

一种改进的梯度加速Landweber算法及其在ECT图像重建中的应用

图像重建算法是电容层析成像技术(electrical capacitance tomography, ECT)在工业应用中的关键。Landweber迭代算法在图像重建的精度和速度上取得了较好的折衷性,但其收敛速度较慢,且迭代后期具有不稳定性,无明确的迭代停止准则。提出一种改进的梯度加速Landweber迭代算法,依据级数理论对梯度加速Landweber迭代算法进行深入分析,通过构造残差矩阵并添加约束因子获得新的迭代公式,并将其应用于ECT图像重建。数值仿真结果表明,改进算法对各流型的相对误差及相关系数均可在较少次迭代后稳定收敛于某一确定值,具有明确的迭代停止准则,且对于大多数流型的重建图像在主观质量上更接近于原始流型,从而验证了改进算法的稳定性及有效性。

Toeplitz矩阵填充的加速临近梯度截断算法

为有效求解Toeplitz矩阵填充问题,提出两种加速临近梯度截断算法,分析了新算法的收敛性.数值实验结果证实了新算法的可行性和有效性.

半监督距离度量学习的内蕴加速投影梯度算法

考虑求解一类半监督距离度量学习问题.由于样本集(数据库)的规模与复杂性的激增,在考虑距离度量学习问题时,必须考虑学习来的距离度量矩阵具有稀疏性的特点.因此,在现有的距离度量学习模型中,增加了学习矩阵的稀疏约束.为了便于模型求解,稀疏约束应用了Frobenius范数约束.进一步,通过罚函数方法将Frobenius范数约束罚到目标函数,使得具有稀疏约束的模型转化成无约束优化问题.为了求解问题,提出了正定矩阵群上加速投影梯度算法,克服了矩阵群上不能直接进行线性组合的困难,并分析了算法的收敛性.最后通过UCI数据库的分类问题的例子,进行了数值实验,数值实验的结果说明了学习矩阵的稀疏性以及加速投影梯度算法的有效性.

基于惯性动力系统的加速梯度算法

加速梯度算法是指在仅使用一阶梯度信息的前提下,比传统的梯度下降法有更快收敛速率的算法.针对二阶惯性动力系统,采用三种离散格式:辛格式、显式Euler及隐式Euler,分别对系统进行离散化,得到了三种不同的优化算法,通过构造了合适的Lyapunov函数,证明了由辛格式和隐式Euler得到的优化算法是加速梯度算法.

降低多用户大规模MIMO-OFDM系统PAPR的加速近端梯度算法

针对多用户大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)系统存在较高峰值平均功率比(Peak-to-Average Power Ratio,PAPR)问题,在系统的下行链路中利用基站大量天线提供的冗余自由度,将OFDM调制、消除多用户之间干扰及降低PAPR联合成凸优化问题,并设计加速近端梯度算法(Accelerated Proximal Gradient Method,APGM)求解上述优化问题。仿真结果表明,所提方法显著降低了发射信号的峰均比,同时获得了较好的系统误符号率。与其他相关方法对比,APGM具有更低的计算复杂度和更快的收敛速度。

卡通纹理分解和全变分梯度算法实现图像恢复

为了研究图像恢复技术,提出采用卡通纹理分解和基于全变分的广义加速临近梯度算法实现图像恢复。将原始模糊图像分解成卡通部分和纹理部分,卡通部分主要是图像的低频成分受噪声干扰小,纹理部分主要是图像的高频成分受噪声干扰大,采用基于全变分的广义加速临近梯度算法进行图像去模糊和去噪,卡通部分选择较小的正则化参数,纹理部分选择较大的正则化参数,将恢复的卡通部分和纹理部分进行合成得到恢复图像。通过对两张标准测试图像的MATLAB实验仿真,证明了该方法不仅收敛速度快而且效果比一般的临近梯度算法要好,尤其适合于恢复模糊度不是很高的图像。

基于不定系数常微分方程的加速梯度算法研究

随着人工智能功能的日益强大,对机器学习、深度学习的研究也日趋完善。深度学习的核心思想是求解优化问题,而随着当前实际问题规模的日益扩大,梯度类算法由于运算成本相对较低,日益受到人们的关注和青睐,设计新的加速梯度算法是加快问题求解的关键。本文基于常微分方程,得到了一系列新的加速梯度算法。本文考虑了一类系数不定的二阶常微分方程,证明了系数在满足什么条件下,该微分方程能够快速收敛。对于该微分方程,本文采用两种不同的离散格式:显式欧拉格式、隐式欧拉格式进行离散,分别得到了两类不同的优化算法,分别证明了算法的收敛速率。最后,本文通过数值实验证明了算法的有效性。

一种基于APGD方法的随钻核磁共振测井快速反演算法

随钻核磁测井仪器受限于遥传带宽限制和测井时序要求,必须在井下测井仪器中快速实现回波T2谱反演功能。根据实时性要求并结合原始回波串数据特点,设计一种基于加速投影梯度下降APGD(Accelerated Projected Gradient Descend)方法的回波T2谱快速反演算法,充分利用FPGA硬件资源,采用分布式算法将矩阵乘法运算转换为查找表和累加移位操作,并对算法中开方、开根号等运算化简,提高算法执行效率。在自主研发的随钻核磁共振测井仪实验室刻度实验中的运行结果显示,实验结果与理论分析和数值计算相符合,实时性能满足随钻核磁测井仪器快速反演的需求,并且为随钻测井仪器井下数据处理技术领域的研究工作提供了有益的参考。

基于热重启学习率的NAG算法在图像分割中的应用

文章针对水平集演化模型的梯度下降法收敛速度较慢,且对局部极小值较为敏感的问题,提出一种热重启学习率和Nesterov加速梯度(Nesterov accelerated gradient,NAG)算法相结合的水平集演化方法,以替换Chan-Vese(CV)模型中用于演化水平集函数的梯度下降法,对2种算法的图像分割速度以及分割精准度进行了对比。首先根据CV模型和距离保持惩罚项建立初始的水平集演化方程;然后对NAG算法增加学习率动态变化项计算梯度来演化水平集函数;最后不断更新得到水平集函数直到收敛。使用ground truth(GT)图像评估分割精准度,通过与传统梯度下降法得到的实验结果对比,改进算法的CPU运行时间减少了30%以上且分割精确度明显提升,表明其可对图像进行有效且快速地分割。

随机ADD算法的不确定网络优化研究

传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢。加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法当不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快两个数量级。

再生核Hilbert空间中两阶段稀疏表示目标跟踪算法

在强干扰复杂环境下,有效的特征选择对于目标跟踪模型的可解释性至关重要.针对这一问题,本文基于再生核Hilbert空间(RKHS)理论,对特征空间构建生成式的两阶段稀疏表示(TSSR)模型,从而描述图像样本与字典之间的非线性关系,避免了在字典中引入大量的琐碎模板.在第1阶段,首先建立图像样本与字典在原始低维空间中的关系,然后利用批处理最小二乘算法求得稀疏表示系数的初值,根据观测模型确定初始跟踪位置的分布;在第2阶段,首先利用核方法将原始低维空间映射到高维特征空间,然后提出一种基于核的加速近端梯度算法(KAPG),从而求得字典元素系数的核稀疏表示,最终确定跟踪目标.最后实验结果证明了本文所提出的TSSR方法在面对视角变化和部分遮挡时的有效性.

一种使用Bi-ADMM优化深度学习模型的方案

ADMM算法被广泛应用于传统机器学习模型优化领域,它解决了某些深度学习的优化问题。该算法在优化深度学习模型方面的表现已经超过了大多数基于梯度的优化算法,而Bi-ADMM算法比ADMM算法的收敛速度更快、更稳定。文章提出了一种优化深度学习模型方案dlBi-ADMM算法,并用该算法来训练深度学习模型。首先,文章采用加速近端梯度算法优化耦合变量来降低矩阵求逆运算的复杂度;然后,详细给出每个变量的优化子问题的具体函数;最后,通过实验证明文章所提dlBiADMM算法优化的结果比dlADMM优化的结果更能提高模型的精度,且dlBi-ADMM算法比dlADMM算法在时间效率上表现更好。

外推系数带参数的加速邻近梯度算法

加速邻近梯度算法(APG)是求解极小化光滑与非光滑凸函数和问题的一种非常有效的一阶方法.注意到外推系数选取的好坏与算法的数值表现息息相关.本文考虑了算法中外推系数的更一般形式,提出了一类外推系数带参数的加速邻近梯度算法,证明了该算法在一定的条件下具有和快速迭代收缩阈值算法(FISTA)相同的全局收敛速率.数值试验表明,适当地选取外推系数的参数会使新算法产生的误差值小于FISTA产生的误差值,从而得到更清晰的图像.数值试验同时给出了外推系数中参数的变化对图像去模糊的影响.

低秩张量填充的加速随机临近梯度算法

本文提出了一种求解低秩张量填充问题的加速随机临近梯度算法张量填充模型可以松弛为平均组合形式的无约束优化问题,在迭代过程中,随机选取该组合中的某一函数进行变量更新,有效减少了张量展开、矩阵折叠及奇异值分解带来的较大的计算花费。本文证明了算法的收敛率为O(1/k^(2)).最后,随机生成的和真实的张量填充实验结果表明新算法在CPU时间上优于现有的三种算法.

加速梯度算法在池化问题上的应用

池化问题是石油生产计划中的重要问题之一.它是一类非凸的网络流优化问题,且模型中对物流性质的约束使得该问题是强NP-难的,因此,如何解决这类非凸优化问题成了目前研究的重点.另一方面,随着工业发展,问题规模的不断增大也给池化问题的求解带来新的挑战.本文利用向量化的技巧对原有池化问题模型进行了等价转换和改进,使其表示为一个改进的P-形式.通过分析P-形式模型的特殊结构,本文设计了加速梯度算法,并证明了算法的收敛性.数值实验的结果验证了模型的优越性和算法的有效性.

基于加速梯度算法的高维协方差矩阵估计的研究

稀疏性和正定性是高维稀疏协方差矩阵估计中要保证的两个重要性质.为了保证这两个性质被高效的实现,我们使用一个正定的l_(1)惩罚来估计高维协方差矩阵,并使用一个有竞争力的加速梯度算法去实现估计.实验结果表明,与其他方法相比,该方法在计算时间、正确率、错误率、F范数等指标上具有较好的表现,同时实现了最优解达到O(1/k^(2))的收敛速率.

基于社会媒体内容和网络拓扑的特定话题推特摘要研究

推特摘要旨在从话题相关的社会媒体短文本中提炼概要的推文集,以获取有效信息,可用于舆情监控、竞争情报分析及电子商务等.然而社会媒体的海量、嘈杂及不规范性使得仅依赖纯文本的传统摘要方法难以直接迁移到社交媒体情景中;而现有的推特摘要方法很少考虑数据稀疏性和社会网络传播带来的强冗余性,鲜有通过挖掘推文之间潜在的社会网络结构关系进行文摘内容选择,忽略了信息可以沿着社交网络进行传播.受压缩感知及社会学理论的启发,该文提出基于社会网络和稀疏重构的推特摘要方法(SNSR)以更好地融合社会媒体内容和结构信息.首先,挖掘推文中隐含的摘要模式,将其建模为组稀疏正则项,以捕捉代表性的推特摘要组合;其次,建模社会网络中表达一致性与表达传染性为社会化正则项,以探索推文之间的潜在网络结构关系在推特摘要中的作用;再次,建模社会媒体信息传播带来的强冗余性为多样性正则项,进而将这些约束整合到稀疏重构的推特摘要框架中;最后,提出基于Nesterov加速梯度下降的推特摘要算法,以解决推特摘要优化框架中的覆盖性、稀疏性以及多样性等问题.同时,由于推特摘要标准语料的缺乏,作者建设了12个话题的评测数据集.相关的实验结果证明了文中提出方法的有效性.