基于BB步长的近端随机递归动量算法

研究了一个求解非凸非光滑复合优化问题的算法。首先,结合近端随机递归动量算法和改进的BB步长,提出了一种带BB步长的随机方差缩减算法(ProxSTORM-BB)求解非凸非光滑复合优化问题。该算法在迭代过程中通过动态调节步长来提高算法的计算效率,并且对初始步长的选取不敏感,解决了参数调优比较困难这一问题。然后,在合适的假设条件下证明了算法的收敛性。最后,通过数值实验验证了算法的有效性。

一种解大规模无约束优化问题的BB型算法

基于BB算法和IMPBOT算法的思想,结合修正割线方程得到2种新的BB步长,并利用Armijo线搜索,提出一种求解大规模无约束优化问题的BB型混合算法.在适当的条件下对其收敛性证明,并通过大量的数值试验来验证所提算法的有效性.

一种赋有新的BB类步长的随机递归梯度算法

随机递归梯度算法(SARAH)最近引起了人们的广泛关注。它允许一个简单的递归框架来更新随机梯度估计。SARAH与重要性抽样策略相结合得到了SARAH-I算法。基于此,本文提出了一种新的随机递归梯度方法。该算法将SARAH-I算法与具有二维二次终止性的BB类步长相结合,使SARAH-I算法的步长能够自适应计算,具有较好的数值性能。最后通过数值实验我们观察到,新算法对初始步长的选取不敏感,并且具有自动生成最优步长的能力。

基于BB算法的左截断威布尔分布可靠性分析

针对寿命分布类型和参数估计方法问题,对国内某航空公司现役机型B737-800飞机主起落架减振支柱漏油故障数据进行可靠性分析。结合数据类型特点,初步预判其寿命分布类型可能为左截断两参数威布尔分布、对数正态分布、指数分布。基于极大似然估计法分别估计三种分布的未知参数,并利用根据BB算法改进的柯尔莫哥洛夫-斯米尔诺夫假设检验(K-S检验)法判断其寿命分布类型。实证分析结果表明,采用左截断两参数威布尔分布来拟合是合适的,并提出了具体维修建议。

基于IBBS-SIFT算法的PCB板Mark点定位方法

针对最佳伙伴相似性(Best-buddies similarity, BBS)算法和SIFT算法的不足,提出了一种基于IBBS-SIFT(Improved best-buddies similarity-scale invariant feature transform)算法的印刷电路板Mark点定位方法。首先对BBS算法进行改进,通过结合置信度图和权值,在采集的PCB板图像中得到与模板图像相似的多个区域;然后采用最佳相似点对匹配准则代替SIFT算法的欧氏距离匹配准则,用改进的SIFT算法对这些相似区域计算描述子并进行匹配;最后根据匹配的描述子得到主位置,通过主位置剔除误匹配点,精确定位到Mark点位置。实验结果表明:该方法可以有效提高Mark点定位效率,将耗时减至SIFT算法的10%～15%,同时减少误匹配点数目,实现Mark点精确定位。

求解图像分割CV模型的BB算法

给出图像分割的一种新算法——BB算法.该方法的优点在于利用迭代过程中当前点和前一点的信息确定搜索步长,从而更有效地搜索最优解.为此,首先通过变分水平集方法将CV模型转化为最优化问题;其次,将BB算法引入该优化问题进行求解;然后,对BB算法进行收敛性分析,为该算法应用在CV模型中提供了理论依据;最后将该方法与已有的最速下降法、共轭梯度法的分割结果进行比较.结果表明,跟其他两种方法相比,BB算法在保证较好分割效果的前提下,提高了算法的速度和性能.

Apriori算法在BBS舆情分析系统中的应用

知识规则库的准确度是影响BBS舆情分析系统能否准确高效地对BBS舆情进行监控的一个重要因素.Apriori算法作为关联规则挖掘的经典算法,是发现关联规则的一种准确有效的方法.通过利用Apriori算法来动态更新知识规则库内容,实验结果表明,系统使用该算法后对BBS舆情监视的准确度有明显的提高.

基于Barzilai-Borwein迭代的低复杂度大规模MIMO信号检测算法

在大规模多输入多输出系统中,最小均方误差(minimum mean square error,MMSE)算法能达到接近最优的线性信号检测性能,但是MMSE算法需要复杂的矩阵求逆运算,这限制了该算法的应用。为了降低运算复杂度,改进MMSE算法,利用Barzilai-Borwein(BB)迭代算法来避免矩阵求逆运算,提出了结构简单的BB迭代信号检测算法,且基于信道硬化特性进一步优化了迭代初始解以加快算法的收敛速度。理论和仿真结果表明,所提出的BB迭代算法的性能优于最近提出的Neumann级数展开算法,而其复杂度相比截短阶数i=3的Neumann级数展开算法减少了一个数量级;且该算法收敛速度较快,在给定初始值的条件下,通过简单的几次迭代,能够快速接近MMSE算法的检测性能。

一种对BBS语料进行话题提取的聚类算法

基于BBS语料的话题提取主要是从大量的BBS论坛讨论信息中,将正在或近期讨论的各种话题提取出来。在自主开发的一套话题提取系统中采用了一个原始聚类算法,能够对真实的BBS语料进行有效话题提取。随后将语料中的关联信息引入到原始聚类算法中进行改进,提高了算法的性能,取得了良好的效果。

基于NSGPBB算法的压缩感知稀疏信号重构

为了更好地重构原始信号,提出一种带有交替BB步长的非单调梯度投影算法(NSGPBB)。将无约束凸优化问题转化为在闭凸集上的边界约束二次规划问题,并证明了该算法的收敛性。数值实验结果表明,该算法是有效的,且收敛速度快于梯度投影算法。

时间反演系统中基于Barzilai-Borwein的共轭梯度检测算法

针对时间反演多址系统中信道的相关性会导致多用户干扰的问题,以降低用户间干扰和算法复杂度为目标,提出基于Barzilai-Borwein的共轭梯度迭代检测算法。首先通过共轭梯度迭代两次找到最速下降方向,然后通过Barzilai-Borwein沿着共轭梯度搜索的方向继续迭代。仿真表明,所提算法收敛速度快于Barzilai-Borwein和共轭梯度算法,且复杂度低于共轭梯度算法和最小均方误差(minimum mean square error,MMSE)算法,保持在O(N2)。

求解随机线性互补问题的Barzilai-Borwein算法

随机线性互补是一类特殊的互补问题。常用的求解方法是先将其转化为约束极小化模型,然后用优化算法求解该模型。文中针对随机线性互补问题的期望残差极小化模型,通过使用Barzilai-Borwein步和有效集策略,提出了求解该模型的Barzilai-Borwein算法。实验结果表明,该算法与光滑投影梯度法相比,能在更短的时间内得到相应的数值结果。

无约束优化的非单调三次正则BB算法

先利用BB(Barzilai-Borwein)类型参数构造目标函数Hessian矩阵的近似矩阵,通过极小化当前迭代点处的三次正则化近似梯度模型求解试探步,再结合非单调线搜索策略提出一个非单调三次正则BB算法,最后给出算法的收敛性证明.数值实验结果表明,该算法数值性能良好.

求解可分解强凸优化问题的FISTA-Barzilai-Borwein算法

针对一类可分解的强凸优化问题提出一种快速临近Barzilai-Borwein算法,采用Barzilai-Borwein步长作为快速迭代收缩/阈值(简称FISTA-CD)算法中的步长因子,并给出合适的参数更新准则,从而加快算法的收敛速度。在适当的假设条件下证明该算法具有O(1/k^2)的收敛速率,最后进行初步的数值实验验证算法的有效性。

非负矩阵分解的自适应单调投影Barzilai-Borwein算法

提出一种新的自适应单调投影Barzilai-Borwein(BB)算法求解非负矩阵分解(NMF)。算法不使用任何线搜索,并利用自适应BB步长和梯度的利普希茨常数加速算法收敛。在适当的条件下,证明了算法的全局收敛性。此外,将算法应用于稀疏对称非负矩阵分解,数值实验表明算法是有效的。

Barzilai-Borwein型算法的探讨

本文介绍了八种负梯度算法,根据特点对其进行了比较,并对不同维数的严格凸二次函数进行了计算,绘制图表观察数据,发现BB型算法更具优势,维数越大优势越大。选取不同的初始步长可以改变算法的效果,特别是当矩阵条件数越大时,初始步长的选取越关键,本文考虑了四种选择初始步长的方法,分别将其放入算法中进行数值实验,结果表明,选取Hessian矩阵最小特征值的倒数效果最好。最后,介绍了负梯度算法在深度学习中的应用。

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。

有向网络分布式优化的Barzilai-Borwein梯度跟踪方法

本文研究有向网络上的分布式优化问题,其全局目标函数是网络上所有光滑强凸局部目标函数的平均值.受Barzilai-Borwein步长改善梯度方法表现的启发,本文提出了一种分布式Barzilai-Borwein梯度跟踪方法.与文献中使用固定步长的分布式梯度算法不同,所提出的方法中每个智能体利用其局部梯度信息自动地计算其步长.通过同时使用行随机和列随机权重矩阵,该方法避免了由特征向量估计引起的计算和通信.当目标函数是光滑和强凸函数时,本文证明了该算法产生的迭代序列可以线性地收敛到最优解.对分布式逻辑回归问题的仿真结果验证了所提出的算法比使用固定步长的分布式梯度算法表现更好.

一种快速自适应最优小波包基搜索算法

在小波包调制系统中,小波包基的选取对于系统性能有着显著的影响。针对目前BBS算法与BFA算法的缺点,分析了小波包基的构成原则与选取方法,提出了一种基于根节点逐级向下按二进分支路分解,利用度量函数决定父节点与子节点取舍的最优基搜索算法,并解决了约束条件下的最优基输出问题。最后将该算法在4径Rayleigh信道模型下进行了测试,仿真结果表明：在相同条件下,该算法比BBS算法快15%~20%,比BFA算法快10~15倍,且输出的最优基比全分解结构的ICI与ISI联合功率降低约20%。

基于URL定位信息的BBS数据挖掘方法研究

利用Web页面的采集序位和被检索页面的相关信息和主题,使得以主题为分块的网络爬虫算法,能够尽可能多地把整个Web按照主题为依据进行分块整合,可以采用对URL定位信息,提高了页面的高效检索能力。仿真实验中表明,提出的主题相关爬虫算法能够跨越BBS中URL网页中的断裂带,提高了URL网页的召回率,也不至于因为网页的断裂而中止检索。算法精度分析表明,误判点都在等分线附近徘徊,偏差不大,表明算法精度较高。