基于正规方程的L_(2,1)正则核极限学习机

为了降低核极限学习机的时间复杂度,提出一种基于正规方程的L_(2,1)正则核极限学习机。将L_(2,1)范数引入核极限学习机的目标函数中,利用正规方程法求解L_(2,1)正则核极限学习机的最优输出权值,从而避免模型的过拟合问题,同时提高分类性能。实验结果表明,与传统的核极限学习机相比,所提核极限学习机能够有效减少学习过程中的大量矩阵运算,具有更快的学习速度和更高的分类准确率。

L1正则化与pinball损失函数的极限学习机

极限学习机(extreme learning machine, ELM)由于其训练速度快、易于实现等优点,在回归领域得到了广泛的应用。然而,传统ELM的平方损失函数在异常值面前放大了异常值的影响,从而降低了性能。为了提高ELM的鲁棒性,在ELM中引入pinball损失函数。pinball损失函数与误差线性相关,与平方损失函数相比,可以减少异常值的影响。此外,L2范数正则化对于隐藏层节点缺乏稀疏性。相比之下,L1范数正则化可以改善模型的稀疏性。为了同时具有鲁棒性和稀疏性,提出了一种基于L1范数正则化和pinball损失函数的ELM模型,通过迭代重加权算法求解相应的优化问题。为了验证模型的鲁棒性和稀疏性,在6个真实数据集上进行实验。实验结果表明,提出的L1-PELM优于其他方法。特别是对于异常值比率较大的数据,L1-PELM不仅对异常值不敏感,而且保持了稀疏性。

基于L1范数稀疏距离测度学习的单类分类算法

已有单类分类算法通常采用欧氏测度描述样本间相似关系,然而欧氏测度有时难以较好地反映一些数据集样本的内在分布结构,为此提出一种用于改善单类分类器描述性能的高维空间单类数据距离测度学习算法,与已有距离测度学习算法相比,该算法只需提供目标类数据,通过引入样本先验分布正则化项和L1范数惩罚的距离测度稀疏性约束,能有效解决高维空间小样本情况下的单类数据距离测度学习问题,并通过采用分块协调下降算法高效的解决距离测度学习的优化问题.学习得到的距离测度能容易地嵌入到单类分类器中,仿真实验结果表明采用学习得到的距离测度能有效改善单类分类器的描述性能,特别能够改善覆盖分类的描述能力,从而使得单类分类器具有更强的推广能力.

稀疏L1范数最小二乘支持向量机

为了提高最小二乘支持向量机的训练速度,提出一种稀疏最小二乘支持向量机L1SLSSVM。该模型采用权重向量的L1范数控制分类间隔,最小二乘损失函数度量误差。将线性和核空间最小二乘支持向量机的训练归结为同一形式,均转化为仅有部分变量具非负约束的凸二次规划。对比SVM、LSSVM与SLSSVM的数值实验结果表明,L1SLSSVM具有好的稀疏性、高的分类精度和短的训练时间。

基于l_(0)范数的鲁棒极限学习机的稀疏算法研究

为了进一步提高极限学习机(extreme learning machine,ELM)的稳定性和稀疏性,在鲁棒ELM的基础上,引入l_(0)范数作为模型的正则项来提高稀疏性,建立了基于l_(0)范数正则项的稀疏鲁棒ELM。首先,通过一个凸差(difference of convex,DC)函数逼近l_(0)范数,得到一个DC规划的优化问题;然后,采用DC算法进行求解;最后,在人工数据集和基准数据集上进行实验。实验结果表明:基于l_(0)范数的鲁棒ELM能够同时实现稀疏性和鲁棒性的提升,尤其在稀疏性上表现出较大的优势。

基于L1-范数距离的最小二乘对支持向量机

最小二乘对支持向量机(LSTSVM)是一种有效的分类技术。然而,该方法需计算点到平面的平方L2-范数距离,从而易受野值或噪声的影响。为了缓解此问题,提出了一种有效的鲁棒LSTSVM方法,即基于L1-范数距离的LSTSVM(LSTSVM_(L1D))。该方法由于使用L1范数作为距离度量,因此不易受到野值或噪声数据的影响。此外,设计了一种有效的迭代算法,旨在求解目标问题,并从理论上证明了其收敛性。在人工数据集和UCI数据集上验证了LSTSVM_(L1D)的有效性。

基于戴帽L1范数的双支持向量机

针对双支持向量机模型易受异常点影响导致泛化性能较低的问题,提出了一种基于戴帽L1范数的双支持向量机模型.采用带有上限值的戴帽L1范数代替L2范数来构造最优化问题,一定程度上削弱了离群点、噪音点对于两个超平面构造的影响,增强了模型的鲁棒性.另外,针对构造的新的双支持向量机模型最优化问题提出了一个简单有效的迭代算法并且在理论上证明了该算法的收敛性.在无噪以及有噪UCI数据集上的实验结果表明,与其它支持向量机模型相比,该模型有着更强的鲁棒性以及稳定性.

基于有效迭代算法的鲁棒L1范数非平行近似支持向量机

针对鲁棒L1范数非平行近似支持向量机(L1-NPSVM)求解算法无法保证获取可靠解的问题,提出一个新颖的迭代算法来解L1-NPSVM的目标问题。首先,根据L1-NPSVM原目标问题对解具有规模不变性,将其转换为一个等价的带等式约束的最大化问题。该迭代算法在每次迭代中利用更新权机制获取每次迭代的更新解;每次迭代中,问题归结为解两个快速的线性方程问题。从理论上证明了算法的收敛性。在公共UCI数据集上,实验显示,所提算法不仅在分类性能上要远远好于L1-NPSVM,且具有相当的计算优势。

L_1范数支持向量机在代谢组学中的应用

代谢组学是关于生物体内源性代谢物质的整体及其变化规律的科学,也是一个数据密集型的研究领域,由此使得模式识别在代谢数据处理中有重要作用.L1范数支持向量机(L1-Norm Support Vector Machines,L1-norm SVMs)作为在模式识别领域中准确、稳健的方法,在代谢组学中的应用较少.该文应用L1-norm SVM方法对小鼠感染血吸虫后的代谢数据进行了分析,分析结果显示L1-norm SVM在聚类与特征选择方面具有优势,并表明它在代谢组学领域的应用有着潜力和前景.

基于L1范数损失的非平行支持向量回归机

针对NPSVR训练速度和预测精度问题,提出一种基于L1范数损失的非平行支持向量回归机L1NPSVR模型,用于预测数值输出。L1NPSVR通过求解两个较小规模的凸规划问题,建立一个ε_(1)-不敏感的下界函数和一个ε_(2)-不敏感的上界函数。在L1NPSVR模型中,每个优化问题同时最小化训练样本的L1范数损失和铰链损失,以保证模型的稳定性,减轻噪声和异常值的影响。L1NPSVR通过求解一对更小的优化问题来提高模型的运行效率。仿真结果验证了所提出方法的可行性及有效性。

基于极限学习机的非线性内模控制

针对非线性的内模控制的逆模难以求解的问题,该文提出一种基于改进极限学习机(MELM)的非线性内模控制方法。在基本的极限学习机模型中加入L1和L2范数罚函数,然后将改进极限学习机算法用于建立非线性系统的内模型和逆模型。仿真实验中,选取4种典型信号进行跟踪,并检验了系统的抗干扰能力和系统参数发生变化时的鲁棒性,通过将MELM和最小二乘支持向量机(SVM)以及极限学习机算法进行对比,表明基于MELM的内模控制方法对非线性系统具有更好的控制性能、较强的抗干扰能力和鲁棒性能。

基于替代函数及贝叶斯框架的1范数ELM算法

针对极端学习机(Extreme learning machine,ELM)算法的不适定问题和模型规模控制问题,本文提出基于1范数正则项的改进型ELM算法.通过在二次损失函数基础上引入1范数正则项以控制模型规模,改善ELM的泛化能力.此外,为简化1范数正则化方法的求解过程,利用边际优化方法,构建适当的替代函数,以便于采用贝叶斯方法代替计算复杂的交叉检验方法,并实现正则化参数的自适应估计.仿真结果表明,本文所提算法能够有效简化模型结构,并保持较高的预测精度.

基于正则化与遗忘因子的极限学习机及其在故障预测中的应用

为了解决在线贯序极限学习机(OS-ELM)算法容易产生奇异矩阵、算法贯序更新过程中没有考虑训练样本时效性的问题,提出基于l2-正则化和自适应遗忘因子的OS-ELM(RFOS-ELM)算法。RFOS-ELM在初始阶段加入正则化机制,克服因矩阵奇异而降低OS-ELM泛化能力的缺点。在贯序更新阶段,RFOS-ELM通过引入自适应遗忘因子实时调整新旧训练样本所占比重,推导正则化条件下带遗忘因子RFOS-ELM的递推更新算法,提高其对动态变化系统的跟踪能力。某型无人机机载发射机故障预测实例表明,相比于传统OS-ELM和正则化OS-ELM算法,本文提出方法具有更高的预测精度。

L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。

基于相空间重构与鲁棒极限学习机的时延预测

针对网络控制系统(networked control system,NCS)诱导时延具有的时变、随机、非线性等特点,提出了一种相空间重构与鲁棒极限学习机(robust extreme learning machine,RELM)的时延预测算法。首先利用0-1测试对时延序列进行混沌特性检测,再通过改进关联积分法确定重构延迟参数和嵌入维数,进而对时延序列进行重构,新的样本更能真实反映时延变化特性。以重构后的时延序列为训练样本,同时,考虑异常值的稀疏特性,运用RELM进行时延序列预测。该方法具有学习速度快、泛化性能好、可有效降低异常值影响等优点。

L1范数最大间隔分类器设计

以L1范数为例,设计了一个L1范数的大间隔分类器L1MMC(L1-norm Maximum Margin Classifier),主要特点如下:(1)间隔由L1范数的点到平面距离解析表示;(2)该分类器与SVM一样,通过最大化L1间隔,达到同时最小化经验风险和结构风险的目的;(3)只需要通过线性规划进行求解,避免了SVM的二次规划问题;(4)分类精度达到甚至超过SVM.最后,在人工数据和国际标准UCI数据集上,验证了该方法的有效性.

极限学习机辅助下路域植被叶面积指数的反演

路域植被叶面积指数(LAI)的获取对于路域植被长势和健康状况的监测具有重要意义。本文以GF-1影像和地面同步实测数据为基础,利用极限学习机(ELM)对湖南省醴潭高速路域植被LAI进行了建模反演。试验结果表明,与传统经验回归模型、SVM模型相比,ELM反演精度更高,RMSE为0.501,预测精度为86.26%。该研究可为路域植被健康评估提供参考。

基于平滑l1范数的深度稀疏自动编码器社区识别算法

大数据时代,利用传统的社区发现算法对大规模复杂网络进行社区结构挖掘显得愈发困难,准确率也较低。因此,提出一种基于平滑l1范数的深度稀疏自编码器社区发现算法(l1-ECDA)。该算法首先采用基于s跳的方法对网络图的邻接矩阵进行预处理;然后构建基于平滑l 1范数的深度稀疏自编码器,并通过训练网络图相似度矩阵得到低维特征矩阵;最后采用K-means算法对低维特征矩阵进行聚类得到网络社区结构。通过在仿真网络与真实网络数据集上的实验表明,l1-ECDA有效提高了社区识别的准确率,且准确率比DBCS算法平均高4%,比DeepWalk和CoDDA算法平均高5.4%。

基于l_1-正则化的ELM回归集成学习

极速学习机(extreme learning machine,ELM)是近年提出的一种极其快速且具有良好泛化性保证的单隐层神经网络学习算法.然而ELM随机的设置权值带来的不足是其性能的不稳定.稀疏的ELM回归集成学习算法(sparse ensemble regressors of ELM,SERELM)通过稀疏地加权组合多个不稳定ELM学习机弥补该不足.一方面,在典型时间序列上的回归实验不仅验证了SERELM的性能优于单个ELM回归器,而且也优于其他两个最近提出的集成方法.另一方面,集成学习的优劣通常与多样性密切相关,而对回归如何定义和度量多样性仍是一个问题,这导致了目前几乎没有一个普遍认可的合适度量方法.SERELM则利用l1-正则化,绕开了这一问题,且实验结果表明:1)l1-正则化自动地为精度高的学习机赋以大的权值;2)很大程度上,回归中常用个体间的负相关性对多样性度量无效.

基于隐藏层输出矩阵的极限学习机算法优化

针对极限学习机(ELM)中隐藏层到输出层存在误差的问题,通过分析发现误差来源于求解隐藏层输出矩阵H的Moore-Penrose广义逆矩阵Η^(†)的过程,即矩阵H^(†)H与单位矩阵有偏差,可根据偏差的程度来选择合适的输出矩阵H以获得较小的训练误差。根据广义逆矩阵和辅助矩阵的定义,首先确定了目标矩阵H^(†)H和误差指标L21范数,其次通过实验分析表明H^(†)H的L21范数与ELM的误差呈显著线性相关,最后通过引入Gaussian滤波对目标矩阵进行降噪处理,由此有效降低了目标矩阵的L21范数,同时降低了ELM的误差,达到优化ELM算法的目的。