Heavy-Ball型动量方法的最优个体收敛速率

动量方法作为一种加速技巧被广泛用于提高一阶梯度优化算法的收敛速率.目前,大多数文献所讨论的动量方法仅限于Nesterov提出的加速方法,而对Polyak提出的Heavy-ball型动量方法的研究却较少.特别,在目标函数非光滑的情形下,Nesterov加速方法具有最优的个体收敛性,并在稀疏优化问题的求解中具有很好的效果.但对于Heavy-ball型动量方法,目前仅仅获得了平均输出形式的最优收敛速率,个体收敛是否具有最优性仍然未知.对于非光滑优化问题,通过巧妙地设置步长,证明了Heavy-ball型动量方法具有最优的个体收敛速率,从而说明了Heavy-ball型动量方法可以将投影次梯度方法的个体收敛速率加速至最优.作为应用,考虑了l1范数约束的hinge损失函数优化问题.通过与同类的优化算法相比,实验验证了该理论分析的正确性以及所提算法在保持稀疏性方面的良好性能.

基于Mjpg-streamer的跨平台无线视频传输系统

为了解决基于Mjpg-streamer的远程视频系统只能通过特定浏览器查看与,可移植性差的问题,开发了采用QT框架的视频解码客户端,实现了跨平台的实时观测,改变了原系统对于浏览器的依赖性,提高了Mjpg-streamer远程视频系统的可移植性,使得系统的适用范围及使用方式更加宽泛及大众化。

梯度有偏情形非光滑问题NAG的个体收敛性

随机优化方法已经成为处理大规模正则化和深度学习优化问题的首选方法,其收敛速率的获得通常都建立在目标函数梯度无偏估计的基础上,但对机器学习问题来说,很多现象都导致了梯度有偏情况的出现.与梯度无偏情形不同的是,著名的Nesterov加速算法NAG(Nesterov accelerated gradient)会逐步累积每次迭代中的梯度偏差,从而导致不能获得最优的收敛速率甚至收敛性都无法保证.近期的研究结果表明,NAG方法也是求解非光滑问题投影次梯度关于个体收敛的加速算法,但次梯度有偏对其影响的研究未见报道.针对非光滑优化问题,证明了在次梯度偏差有界的情况下,NAG能够获得稳定的个体收敛界,而当次梯度偏差按照一定速率衰减时,NAG仍然可获得最优的个体收敛速率.作为应用,得到了一种无需精确计算投影的投影次梯度方法,可以在保持收敛性的同时较快地达到稳定学习的精度.实验验证了理论分析的正确性及非精确方法的性能.

大兵篇

妈妈说：“自己的事情自己干。”今天，我得自己洗那臭气熏天的袜子了。

外孙女眼中的姥姥

我有一个爱干净的姥姥，她常常来我家打扫卫生，直到一尘不染为止。 那天，姥姥又来家里了，一进屋就一手抓起扫帚，一手拎着墩布，大步流星地走进我的房间。 姥姥先走到床后，弯腰把扫帚伸进去，再抽出来时一看——“好脏，你平时是怎么打扫的？”姥姥皱着眉质问道。然后姥姥又开始打扫课桌下面，用扫帚扫，用墩布拖，对这些不速之客全面进攻。不一会儿，姥姥就捕获了一大批“脏”物，可谓是得胜而归。

快乐淘书

两代人，也许是三代人；也许同为亲子，也许互不相识。在不同的背景下书写相同的故事，或在相同的故事里洞察不同的人心。这里展现的是时代的印记，写作不是对垒，也没有PK，有的只是情感在时光里的交相辉映。

看看我们的世界——一只狗的生活错误

早晨起床，我伸了一个大大的懒腰，刚想去上洗手间，啊呀，我一下清醒了!原来姑姑家的小狗小米在我放拖鞋的地方撒了一大摊的尿，害的我差点一脚踩上去。