各向异性的L_(0)正则化图像平滑方法

现有的图像平滑方法缺乏灵活性,会导致边缘不清晰、结构缺失和过度锐化等问题。文中提出一种新的自适应加权矩阵的正则化方法,主要应用于图像平滑,并且可以扩展到其他应用。提出的模型设计了一个新的正则化项,基于梯度算子▽和自适应加权矩阵T组合为L_(0)范数正则化项,使得模型具有各向异性。通过为不同梯度方向赋予不同的权重,以此来刻画平滑图像的局部结构,更好地展现局部特征,防止过度平滑。由于所提出的模型是非光滑且非凸的,在求解上比较复杂,因此采用ADMM算法对模型进行求解。把目标函数分解成几个易求解的子问题,分别对每个子问题求解,最终得到模型的最优解。主客观实验表明,提出的模型在视觉效果以及数值方面都有明显的提高。

基于L_(0)稀疏约束的视觉自注意力变换网络剪枝

视觉自注意力变换网络(Vision Transformer)模型在各种计算机视觉子任务上都取得了优异的性能表现。但其巨大的计算和存储需求阻碍了它在移动设备上的部署。因此提出了一种基于稀疏正则化约束的视觉自注意力变换网络结构化剪枝方法。为了挖掘Vision视觉Transformer的余,采用了重参数化技巧来实现正则项的连续化。在模型的待剪枝部位添加门函数,利用稀疏约束将模型中非重要连接对应的门函数输出值稀疏至0。利用稀疏训练后得到的门函数值来获得修剪掩码矩阵,继而进行剪枝和微调。通过在ImageNet上进行实验,在保持原模型精度水平的情况下,该方法将DeiT-Base网络的参数量减少51%,推理速度提升90%。

基于L_(0)矩阵范数正则化的自然图像去反光算法

提出一种基于L_(0)范数正则化的自然图像去反光算法.首先,根据自然反光图像的两个特征构建基于L_(0)范数的正则优化模型,保证漫反射图像系数矩阵的稀疏性、低秩性和反光区域漫反射分量的有效恢复.其次,利用增广拉格朗日技术,导出求解L_(0)范数正则优化模型的算法.最后,通过与相关的图像去反光算法对比,证实本图像去反光算法在均方误差和结构相似度上均优于其他去反光算法,使其生成图像在保留更多纹理细节信息的同时,可以有效去除图像反光.

一类基于梯度下降的高效分布式计算方法的应用研究

针对数据集分散在不同机器的情况,本文对高维稀疏线性回归模型提出了一种通信有效的分布式学习方法,主要解决了KKT系统中的l_(0)正则化最小二乘问题.每一轮牛顿迭代中,在每个子块上通过对KKT系统中l_(0)正则化方法改进提高计算速度和估计的精度.对于分布存储的子块,我们的方法通过传递梯度向量从而节约数据传输的成本.实验数据表明,我们的算法可以有效地进行分布式计算,相比常用的Lasso和SCAD惩罚方法精度更高并且特征筛选可信度更高.

联合双通道对比度和L_(0)正则化强度及梯度先验的模糊图像盲复原

双通道对比度先验(Dual-CP)是基于图像的亮通道和暗通道之间的差异来模拟对比度,故其在模糊图像盲复原中表现出良好的复原效果。但是,实际应用中图像亮通道和暗通道的值并不像理论研究的那样明显地分布在1和0上,为解决这一问题,提出一个联合双通道对比度先验和L_(0)正则化强度及梯度先验的模糊图像盲复原算法。其中,由于非凸的L_(0)极小化问题求解比较困难,利用半二次分裂法推导出一种有效优化算法。实验表明,所提算法在直观效果上有更明显的细节恢复能力,且在Levin等人、Köhler等人和Lai等人提出的基准数据集上平均峰值信噪比分别提高了2.1051 dB、1.1273 dB和0.4491 dB,平均结构相似性分别提高了0.1302、0.0599和0.0158。

稀疏正则化:Gauss-Seidel阈值迭代算法

本文考虑一类稀疏正则化问题,该类问题在机器学习、信号处理和图像处理等众多领域中被广泛研究.此类问题的一个典型特征是其诱导的阈值函数具有跳跃的不连续性.本文提出一种基于GaussSeidel的迭代算法,称作Gauss-Seidel跳跃阈值迭代算法(Gauss-Seidel iterative jumping thresholding algorithm,GSIJT),用以快速解决以上问题.本文首先证明了由GSIJT所产生序列的支撑与符号的有限收敛性.基于此收敛性质,同时利用restricted Kurdyka-Lojasiewicz(rKL)性质给出GSIJT算法的全局收敛性.此外给出了GSIJT的收敛率,并且证明了任意的极限点都是驻点.本文实施了一系列的数值实验来验证所提算法的有效性.特别地,通过与相关的阈值迭代算法进行比较,表明所提算法不仅收敛更快,同时可选择的步长范围更宽.