各向异性的L_(0)正则化图像平滑方法

现有的图像平滑方法缺乏灵活性,会导致边缘不清晰、结构缺失和过度锐化等问题。文中提出一种新的自适应加权矩阵的正则化方法,主要应用于图像平滑,并且可以扩展到其他应用。提出的模型设计了一个新的正则化项,基于梯度算子▽和自适应加权矩阵T组合为L_(0)范数正则化项,使得模型具有各向异性。通过为不同梯度方向赋予不同的权重,以此来刻画平滑图像的局部结构,更好地展现局部特征,防止过度平滑。由于所提出的模型是非光滑且非凸的,在求解上比较复杂,因此采用ADMM算法对模型进行求解。把目标函数分解成几个易求解的子问题,分别对每个子问题求解,最终得到模型的最优解。主客观实验表明,提出的模型在视觉效果以及数值方面都有明显的提高。

基于L_(0)稀疏约束的视觉自注意力变换网络剪枝

视觉自注意力变换网络(Vision Transformer)模型在各种计算机视觉子任务上都取得了优异的性能表现。但其巨大的计算和存储需求阻碍了它在移动设备上的部署。因此提出了一种基于稀疏正则化约束的视觉自注意力变换网络结构化剪枝方法。为了挖掘Vision视觉Transformer的余,采用了重参数化技巧来实现正则项的连续化。在模型的待剪枝部位添加门函数,利用稀疏约束将模型中非重要连接对应的门函数输出值稀疏至0。利用稀疏训练后得到的门函数值来获得修剪掩码矩阵,继而进行剪枝和微调。通过在ImageNet上进行实验,在保持原模型精度水平的情况下,该方法将DeiT-Base网络的参数量减少51%,推理速度提升90%。

联合双通道对比度和L_(0)正则化强度及梯度先验的模糊图像盲复原

双通道对比度先验(Dual-CP)是基于图像的亮通道和暗通道之间的差异来模拟对比度,故其在模糊图像盲复原中表现出良好的复原效果。但是,实际应用中图像亮通道和暗通道的值并不像理论研究的那样明显地分布在1和0上,为解决这一问题,提出一个联合双通道对比度先验和L_(0)正则化强度及梯度先验的模糊图像盲复原算法。其中,由于非凸的L_(0)极小化问题求解比较困难,利用半二次分裂法推导出一种有效优化算法。实验表明,所提算法在直观效果上有更明显的细节恢复能力,且在Levin等人、Köhler等人和Lai等人提出的基准数据集上平均峰值信噪比分别提高了2.1051 dB、1.1273 dB和0.4491 dB,平均结构相似性分别提高了0.1302、0.0599和0.0158。

一类基于梯度下降的高效分布式计算方法的应用研究

针对数据集分散在不同机器的情况,本文对高维稀疏线性回归模型提出了一种通信有效的分布式学习方法,主要解决了KKT系统中的l_(0)正则化最小二乘问题.每一轮牛顿迭代中,在每个子块上通过对KKT系统中l_(0)正则化方法改进提高计算速度和估计的精度.对于分布存储的子块,我们的方法通过传递梯度向量从而节约数据传输的成本.实验数据表明,我们的算法可以有效地进行分布式计算,相比常用的Lasso和SCAD惩罚方法精度更高并且特征筛选可信度更高.