基于L1-范数的二维线性判别分析

为了避免图像数据向量化后的维数灾难问题,以及增强对野值(outliers)及噪声的鲁棒性,该文提出一种基于L1-范数的2维线性判别分析(L1-norm-based Two-Dimensional Linear Discriminant Analysis,2DLDA-L1)降维方法。它充分利用L1-范数对野值及噪声的强鲁棒性,并且直接在图像矩阵上进行投影降维。该文还提出一种快速迭代优化算法,并给出了其单调收敛到局部最优的证明。在多个图像数据库上的实验验证了该方法的鲁棒性与高效性。

基于L1-范数距离的最小二乘对支持向量机

最小二乘对支持向量机(LSTSVM)是一种有效的分类技术。然而,该方法需计算点到平面的平方L2-范数距离,从而易受野值或噪声的影响。为了缓解此问题,提出了一种有效的鲁棒LSTSVM方法,即基于L1-范数距离的LSTSVM(LSTSVM_(L1D))。该方法由于使用L1范数作为距离度量,因此不易受到野值或噪声数据的影响。此外,设计了一种有效的迭代算法,旨在求解目标问题,并从理论上证明了其收敛性。在人工数据集和UCI数据集上验证了LSTSVM_(L1D)的有效性。

基于L1-范数的最大间距准则

在进行线性投影降维时,由于传统的最大间距准则(Maximum Margin Criterion,MMC)算法基于L2-范数,易于受到野值(outliers)及噪声的影响.该文提出一种基于L1-范数的最大间距准则(L1-norm-based MMC,MMCL1)降维方法,它充分利用L1-范数对野值及噪声的强鲁棒性以及最大间距准则,提出了一种快速迭代优化算法,并给出了其单调收敛到局部最优的证明.在多个图像数据库上的实验验证了该方法的鲁棒性与高效性.

L1-范数子空间技术的鲁棒建模综述(英)

子空间学习可以通过多种技术来开展,对一些流行且被广泛使用的子空间学习方法,简要回顾其基于L1-范数的鲁棒建模.从主成分分析开始介绍子空间学习技术、线性判别分析以及更一般的图嵌入框架.作为L1-范数的综合利用,进一步讨论具有稀疏性的鲁棒建模.此外,还论述一些应用在神经科学中的相关子空间学习技术.最后,针对基于L1-范数的子空间学习的求解问题,介绍一个有力工具,即边界优化技术.

基于L1-范数和弹性网约束的鲁棒稀疏块PCA

块主成份分析(block principal component analysis,BPCA)是一种重要的子空间学习方法,能充分利用图像矩阵的部分关联.基于L1-范数的BPCA是近年来发展起来的鲁棒降维的有效方法.本研究提出了一种新的鲁棒稀疏BPCA方法,称之为BPCAL1-S.该方法相对于传统的基于L2-范数的PCA对噪声更加鲁棒.为了建立稀疏模型,优化过程中引入弹性网,联合使用Lasso与Ridge惩罚因子进行约束.提出了一种贪心算法逐个提取特征向量,对迭代过程的收敛性做了理论证明.将BPCAL1-S应用于图像分类与图像重构,实验结果验证了该方法的有效性.

基于L1-范数最优化的主成分分析

鲁棒性不足是传统的基于L2-范数的主成分分析(L2-PCA)的主要问题。为此,提出了一种基于新的L1-范数优化技术的主成分分析(L1-PCA)方法。该方法使用了对异常值和旋转不太敏感的L1-范数。L1-范数优化技术是直观的、简单的和易于实现的,事实上,L1-范数优化技术也被证明是找到本地最大值的一种解决方法。在一些数据集上的实验验证了基于L1-范数优化技术的主成分分析算法的有效性。

基于l_1-范数约束的递归互相关熵的稀疏系统辨识

为了有效解决脉冲噪声环境下的稀疏系统辨识(Sparse system identification,SSI)问题,以l1-范数为约束构建稀疏递归互相关熵准则(Recursive maximum correntropy criterion,RMCC)算法来解决脉冲噪声对于辨识性能的影响。结合带遗忘算子的互相关熵准则和l1-范数作为代价函数,推导出一种递归形式的算法,其相对于传统的最大相关熵算法具有快的收敛速度及小的稳态误差。仿真实验结果表明:该算法对于脉冲噪声干扰环境下的SSI问题具有强的鲁棒性。

基于L_1-范数的非线性TSVR

为了进一步降低TSVR的计算复杂性,加快其学习速度,本文利用L_1-范数将TSVR的两个原始二次规划问题转化为线性规划问题,并提出了基于L_1-范数的TSVR(L_1-TSVR).实验结果表明L_1-TSVR是一个有效的、可竞争的回归方法 .

基于L1-范数的v-双子限定支持向量机

【目的】针对二分类问题,构造了一种新的基于L1-范数的v-双子限定支持向量机(L1-vTBSVM)。【方法】类似于v-双子限定支持向量机(v-TBSVM),L1-vTBSVM确定两个非平行超平面,使得它们更接近于各自的类,并且与另一个类至少有ρ的距离。在L1-vTBSVM中,由于用L1-范数替代了L2-范数,则相较于v-TBSVM,所提模型产生了不同的对偶问题。【结果】在求解对偶问题时避免了昂贵的矩阵逆运算,更重要的是,L1-vTBSVM可以抑制离群值的负面影响,从而提高模型的鲁棒性。因此,改进的模型在处理大规模问题时更有效,且具有更好的泛化能力。【结论】在6个基准数据集上进行了数值实验,验证了该算法在线性、非线性和加入噪声情况下的有效性。

基于L_1-范数的鲁棒稀疏的张量PCA人脸图像分析

张量主成分分析(Tensor Principal Component Analysis,TPCA)是主成分分析(Principal Component Analysis,PCA)在多维空间上的推广,能充分利用图像/视频的空间关联,在图像分析和视频处理中扮演了重要的角色.传统的张量PCA方法提取的特征向量是非稀疏的,这使得其很难进行解释.近年来出现了众多稀疏PCA方法,能提取只包含少量非零元的特征.把稀疏特征提取引入到张量分析,提出一种鲁棒稀疏的张量PCA方法(TPCAL1S).首先,设计了能实现稀疏特征提取的目标函数.一方面,用L1范数代替Frobenius-范数,使得算法对异常数据更加鲁棒;另一方面,在目标函数中引入弹性网,联合使用Lasso与Ridge惩罚因子来实现稀疏化,增强了算法的语义解释性.然后,设计了一种基于二阶张量的投影矩阵交替求解算法,二阶张量便于数学描述,也易于推广到更高阶张量.此求解算法分为两个步骤(V,U分别表示左投影矩阵和右投影矩阵),先固定U优化V,再固定V的值优化U,两个步骤反复交替执行,直到收敛.每个步骤都采用贪心算法以迭代的方式逐个特征提取以求得U或V.最后,对迭代过程的单调性做了理论证明.基于ORL,Yale和Feret库,将TPCA-L1S应用于人脸图像分析并与其他常见方法作比较,实验结果验证了该模型的有效性.

L1范数最小法粗差探测与定位的研究

首先对Baarda法的原理和不足进材了讨论，提出用L1－范数解的残差直接构成统计量进行粗差探测与定位，通过实例对两种方法进行了比较，得到一些有用的结论。

基于有效迭代算法的鲁棒L1范数非平行近似支持向量机

针对鲁棒L1范数非平行近似支持向量机(L1-NPSVM)求解算法无法保证获取可靠解的问题,提出一个新颖的迭代算法来解L1-NPSVM的目标问题。首先,根据L1-NPSVM原目标问题对解具有规模不变性,将其转换为一个等价的带等式约束的最大化问题。该迭代算法在每次迭代中利用更新权机制获取每次迭代的更新解;每次迭代中,问题归结为解两个快速的线性方程问题。从理论上证明了算法的收敛性。在公共UCI数据集上,实验显示,所提算法不仅在分类性能上要远远好于L1-NPSVM,且具有相当的计算优势。

L-BFGS算法在反演谱分解中的应用研究

在反演谱分解问题中,一个核心内容是如何寻求最优解,得到最优解首先得构建一个合适的数学模型,本文采用带有L1规则化的L2范数约束反演谱分解的目标函数.由于优化算法的选择关系到反演谱分解的精度、计算成本等问题,因此研究首先分析了L1范数的规则化系数λ对反演谱分解效果的影响,然后在此基础优选了L-BFGS算法作为反演谱分解中的优化算法.为了验证L-BFGS优化算法在反演谱分解中的有效性,本文进行了理论分析与数值模拟分析,并在某海上油田实际数据中对基于L-BFGS优化算法的反演谱分解技术进行了验证.实际数据处理结果表明,基于L-BFGS优化算法的反演谱分解技术对油气的响应十分敏感,而且结果比较稳定.

求解具有约束的l_1-范数问题的神经网络模型

提出了一个解约束最小l_1-范数问题的单层神经网络模型。与已有神经网络模型相比,提出的模型所需神经元数少且层数少。通过引入Lyapunov函数,证明了该模型的稳定性和收敛性。数值试验结果表明所提出的模型具有良好的性能。

l_1范数锥投影算子的计算

鉴于l_1范数锥投影算子性质在研究l_1范数锥规划、l_1范数锥互补问题、l_1范数锥均衡约束优化问题等方向理论、算法及应用时的重要性,本文给出了l_1范数锥投影算子的计算公式,以期为l_1范数锥相关问题的进一步研究提供一定的理论基础.

策略对称不确定时鲁棒合作对偶均衡研究

文章从竞争对手角度出发,提出合作对偶均衡:博弈双方自身支付矩阵能准确获知,其自身策略集不能准确获知,但可估计其策略集落在一有界对称闭集且是混合策略集子集内,双方同时做出决策,使得对手成本最低。接着采用鲁棒优化技术和对偶理论进行研究,得到:当自身不确定策略集中元素取l2-范数时,双方成本同时最低的问题可转化成一个二阶锥互补问题。当不确定策略集中元素取l1∩∞-范数时,双方成本同时最低问题可转化成一个混合互补问题。最后选取一个数值算例,对模型的合理性和有效性进行验证。

全球地磁感应测深数据三维反演

全球地磁感应测深能获得地幔转换带及下地幔上部的导电结构.但目前稀疏的地磁台站分布及部分台站的观测数据稳定性较差,影响了三维反演对地下电性结构的分辨力和反演可靠性.为此,区别于传统的L2-范数反演方法,本文提出并实现了基于L1-范数的地磁测深响应三维反演技术.在反演中,利用L1-范数度量数据预测误差,降低"飞点"数据的影响,将相关系数较小的C-响应估计也纳入反演数据中.三维正演模拟采用球坐标系下的交错网格有限差分法,反演采用有限内存拟牛顿法.文中利用指数概率密度分布函数构造非高斯噪声的合成数据,并采用棋盘模型对反演方法的可靠性进行了验证.之后,我们将本文提出的三维反演方法用于全球129个地磁观测台站的C-响应数据反演,结果表明在地幔转换带深部,中国东北地区为高导电异常,南欧和北非则均为高阻;夏威夷在900km以下为高导;菲律宾海及以东地区在转换带表现为明显的高阻,这些结果与前人研究结果一致.由于采用了更多的台站数据,我们的反演结果还发现一些新的异常:南美洲南端,转换带表现为明显的高导;澳大利亚东南部,地幔转换带深部,也存在一个明显的高导异常,这些异常分布和地震层析成像的低速区一致.因此,L1-范数三维反演能够充分利用全球C-响应数据信息,提高地磁测深对地球深部电性结构的分辨能力,更好的研究全球地幔电性结构.

基于稀疏学习的kNN分类

在kNN算法分类问题中,k的取值一般是固定的,另外,训练样本中可能存在的噪声能影响分类结果。针对以上存在的两个问题,本文提出一种新的基于稀疏学习的kNN分类方法。本文用训练样本重构测试样本,其中,l_1-范数导致的稀疏性用来对每个测试样本用不同数目的训练样本进行分类,这解决了kNN算法固定k值问题;l_(21)-范数产生的整行稀疏用来去除噪声样本。在UCI数据集上进行实验,本文使用的新算法比原来的kNN分类算法能取得更好的分类效果。

L_1范局部线性嵌入

数据降维问题存在于包括机器学习、模式识别、数据挖掘等多个信息处理领域。局部线性嵌入(LLE)是一种用于数据降维的无监督非线性流行学习算法,因其优良的性能,LLE得以广泛应用。针对传统的LLE对离群(或噪声)敏感的问题,提出一种鲁棒的基于L1范数最小化的LLE算法(L1-LLE)。通过L1范数最小化来求取局部重构矩阵,减小了重构矩阵能量,能有效克服离群(或噪声)干扰。利用现有优化技术,L1-LLE算法简单且易实现。证明了L1-LLE算法的收敛性。分别对人造和实际数据集进行应用测试,通过与传统LLE方法进行性能比较,结果显示L1-LLE方法是稳定、有效的。

基于多核学习的在线非线性自适应滤波算法

在在线非线性自适应滤波应用中,由于基于多核学习的算法具有更高自由度并且能够利用更多数据特征,相比基于单核学习的算法在性能上有很大提升。首先给出具有相同"字典"的多核仿射投影算法,该算法是多核学习方法和仿射投影算法的结合。然后基于相干准则针对多核仿射投影算法的特例,对应不同高斯核带宽,利用相干稀疏准则构造不同"字典",提出利用自适应l1-范数正则项来解决归一化多核最小均方非线性自适应滤波算法在非平稳信号下"字典"存在冗余核函数的问题。最后数值仿真结果与比较验证了所提算法的有效性。