基于Lasso和构造性覆盖算法的不均衡数据分类方法

针对机器学习分类算法在不均衡数据分类问题中对少数类样本识别能力不足的问题,以电信客户流失场景为例,提出一种不均衡数据分类方法 L-CCSmote(Lasso Constructive Covering Smote)。首先,通过套索回归(Lasso)提取流失用户特征以优化模型输入;然后,通过构造性覆盖算法(CCA)建立神经网络生成符合样本整体分布的覆盖;最后,进一步提出单样本覆盖策略、样本多样性策略和样本密度峰值策略,通过以上策略混合采样以平衡数据。选用了KEEL数据库中的13个不均衡数据集和2个脱敏电信客户数据集,分别在逻辑回归(LR)和支持向量机(SVM)分类算法上对该方法进行验证。在LR分类算法上,与SMOTE-Enn(Synthetic Minority Oversampling TEchnique Edited nearest neighbor)相比,所提方法的平均几何平均值(G-MEAN)提升了2.32%;在SVM分类算法上,与Borderline-SMOTE(Borderline Synthetic Minority Oversampling Technique Edited)相比,所提方法的平均G-MEAN提升了2.44%。实验结果表明,所提方法能解决类别偏斜分布影响分类的问题,且对于稀有类的识别能力优于经典平衡数据方法。

基于在线LASSO VAR和EGARCH模型的风场功率集成概率预测

由于风速波动性大,风力发电往往呈现一定的不确定性.传统风能预测模型以均值为0、方差固定的正态分布度量不确定性,但方差可能随时间变化,即具有异方差性.为提升预测精度,基于在线最小绝对收缩和选择算子的向量自回归(LASSO VAR)和指数自回归条件异方差(EGARCH)模型,提出一种考虑异方差性的风场级功率集成概率预测模型.首先使用在线LASSO VAR模型预测风力机的有功功率,再利用自回归条件异方差检验验证残差的异方差性,并利用信息冲击曲线和动态显著线评估正负残差对未来条件方差的不对称影响.然后针对异方差性和不对称性,使用EGARCH模型对单风力机有功功率的残差进行预测,得到有功功率的条件方差.最后,考虑各风力机有功功率的相关性,将风场中各风力机的有功功率求和,得到整个风场总有功功率的概率预测结果.将该方法应用于中国华东某地风场,验证了该模型能有效提高预测精度.

基于LASSO-SVM的软件缺陷预测模型研究

针对当前大多数软件缺陷预测模型预测准确率较差的问题,提出了结合最小绝对值压缩和选择方法与支持向量机算法的软件缺陷预测模型。首先利用最小绝对值压缩与选择方法的特征选择能力降低了原始数据集的维度,去除了与软件缺陷预测不相关的数据集;然后利用交叉验证算法的参数寻优能力找到支持向量机的最优相关参数;最后运用支持向量机的非线性运算能力完成了软件缺陷预测。仿真实验结果表明,所提出的缺陷预测模型与传统的缺陷预测模型相比具有较高的预测准确率,且预测速度更快。

针对Lasso问题的多维权重求解算法

最小绝对收缩和选择算子(Lasso)在数据维度约减、异常检测方面有着较强的计算优势。针对Lasso用于异常检测中检测精度不高的问题,提出了一种基于多维度权重的最小角回归(LARS)算法解决Lasso问题。首先考虑每个回归变量在回归模型中所占权重不同,即此属性变量在整体评价中的相对重要程度不同,故在LARS算法计算角分线时,将各回归变量与剩余变量的联合相关度纳入考虑,用来区分不同属性变量对检测结果的影响;然后在LARS算法中加入主成分分析(PCA)、独立权数法、基于Intercriteria相关性的指标的重要度评价(CRITIC)法这三种权重估计方法,并进一步对LARS求解的前进方向和前进变量选择进行优化。最后使用Pima Indians Diabetes数据集验证算法的优良性。实验结果表明,在更小阈值的约束条件下,加入多维权重后的LARS算法对Lasso问题的解具有更高的准确度,能更好地用于异常检测。

多传感器信息融合的轴承故障迁移诊断方法

在重型装备低速、重载、强噪声环境下,采用单一传感器难以全面获取轴承的故障诊断信息,导致故障识别率低、识别不稳定,致使变工况下轴承故障迁移诊断失效。针对以上问题,提出了一种多传感器信息融合的轴承故障迁移诊断方法。首先,结合传感器的通道数,构建了堆叠卷积神经网络(MCNNs)提取各个通道的故障特征;然后,在MCNNs中引入最小绝对收缩与选择算子(Lasso),并通过网络反向传播完成了特征权值的更新,从而获得了多通道特征的融合;最后,利用源域数据对模型进行了训练,提取了故障特征,并完成了特征融合,采用损失函数完成了模型参数的优化,将源域训练得到的模型结果作为目标域的初始模型,利用目标域样本对初始模型的参数进行了微调,从而完成了模型迁移;并进行了信息融合效果、方法对比以及传感器信息采集属性的性能实验。研究结果表明:传感器的安装位置对信息融合影响较大,MCNNs+Lasso方法具有较好的特征融合效果,平均迁移诊断精度为99.03%,部分精度可达99.97%,在多个变工况的迁移任务中表现出较高迁移精度和良好的泛化性能。

轨迹优化的LASSO网格自适应加密方法

针对轨迹优化直接方法,提出了以控制变量曲率为基础的最小绝对收缩与选择算子(least absolute shrinkage and selection operator,LASSO)网格自适应加密策略,用于提高优化精度。以高分辨率二分网格节点为中心,构造径向基函数逼近控制曲线,利用LASSO方法估计径向基函数系数,并自动筛选出位于控制曲线曲率极大区间的高分辨率节点加密当前网格。本文方法不需要进行状态和控制误差估计,适应性和通用性强。两组典型算例验证了方法的有效性。

基于LASSO-ISAPSO-ELM的含蜡原油管道蜡沉积速率预测

为提高含蜡原油管道蜡沉积速率的预测精度,保障含蜡原油管道安全运行,提出一种基于套索算法(LASSO)和改进模拟退火粒子群算法(ISAPSO)融合极限学习机(ELM)的含蜡原油管道蜡沉积速率预测模型。首先利用LASSO提取含蜡原油管道蜡沉积速率的关键影响因素,简化样本指标;然后对模拟退火粒子群(SAPSO)的种群初始化、惯性权重和学习因子进行改进,并利用其优化ELM的输入权重和隐含层节点阈值;最后以青海某厂原油为试验油样,通过开展室内环道试验获取85组数据样本,将预处理后的样本数据集代入模型计算,对含蜡原油管道蜡沉积速率进行预测,并将LASSO-ISAPSO-ELM模型的预测结果与BPNN模型和PSO-SVM模型的预测结果进行对比。结果表明:经LASSO筛选,得到5项影响含蜡原油管道蜡沉积速率的关键因素;ISAPSO比SAPSO提前43代收敛且寻优精度更优;LASSO-ISAPSO-ELM模型预测结果的均方根误差、平均相对误差和希尔不等系数分别低达0.06983、0.69373%、0.00336,与其他模型相比,LASSO-ISAPSO-ELM模型的预测精度更高。

基于增量学习和Lasso融合的数据可视化模式识别方法

提出了一种基于增量学习和最小绝对值收缩和选择算子(Lasso)特征选择融合的数据可视化模式识别方法。该方法首先对归一化数据进行一级Lasso筛选特征降维,之后对连续数据进行基于Gini指数的粒化,再送入增量模式学习系统进行增量学习,针对维数大量升高的情况进行Lasso二级特征筛选生成一致模式决策表,生成属性偏序结构图可视化规则发现。数据采用来自UCI的5个数据库,并与分类器KNN,SVM,Adaboost,Random Forest进行分类准确度比较,实验表明,基于该算法的分类精度普遍高于其他分类器水平,且属性偏序结构图可视化层次清晰鲜明。通过增量学习实验设计,得到了准确率、图结构更新和不同比例增量数据的动态关系,其中Pima Indians Diabetes数据学习达到40%时准确率(77.66%)超过Adaboost(75.32%)、SVM(77.27%)、1NN(59.74%)、3NN(75.97%)算法。结果表明该算法进行数据的可视化和模式识别是行之有效的。

基于Lasso的稀疏微波成像分块成像原理与方法研究(英文)

稀疏微波成像需要使用相对复杂的非线性处理方法,这些方法难于处理大场景成像问题,为此,该文提出了一种适用于大场景稀疏微波成像的分块成像方法。该方法首先将大场景观测数据和成像区域分割成一一对应的子数据块和子区域,然后利用基于Lasso的稀疏微波成像方法对各子区域独立重建,最后拼接子区域重建结果得到大场景整体图像。相比于对稀疏观测场景进行整体重建,该分块处理方法可以控制每次重建所涉及的数据量,同时理论分析表明分块处理稀疏场景重建误差不超过整体重建误差上界的两倍。数值仿真及实测数据处理结果验证了该分块处理方法的有效性。

基于sparse group Lasso方法的脑功能超网络构建与特征融合分析

功能超网络广泛地应用于脑疾病诊断和分类研究中,而现有的关于超网络创建的研究缺乏解释分组效应的能力或者仅考虑到脑区间组级的信息,这样构建的脑功能超网络会丢失一些有用的连接或包含一些虚假的信息,因此,考虑到脑区间的组结构问题,引入sparse group Lasso(sgLasso)方法进一步改善超网络的创建。首先,利用sgLasso方法进行超网络创建;然后,引入两组超网络特有的属性指标进行特征提取以及特征选择,这些指标分别是基于单一节点的聚类系数和基于一对节点的聚类系数;最后,将特征选择后得到的两组有显著差异的特征通过多核学习进行特征融合和分类。实验结果表明,所提方法经过多特征融合取得了87.88%的分类准确率。该结果表明为了改善脑功能超网络的创建,需要考虑到组信息,但不能逼迫使用整组信息,可以适当地对组结构进行扩展。

基于LASSO算法的光谱变量选择方法研究

光谱分析技术由于具有简单、快速、无损等优势,在复杂体系的定性和定量分析中得到了广泛应用。然而光谱中往往包含成百上千的波长点,有些波长点与研究的目标性质并不相关,加大了计算量并降低了模型的预测准确度。因此,在建立模型前需要进行变量选择。最小绝对收缩与选择算子(LASSO)可将回归系数收缩为0,进而达到变量选择的目的。该研究将LASSO用于三元调和油样品近红外光谱和生物样品拉曼光谱的变量选择,基于偏最小二乘(PLS)和多元线性回归(MLR)模型,分别对香油和肌氨酸的含量进行定量分析,并与无信息变量消除-PLS(UVE-PLS)、蒙特卡罗结合UVE-PLS(MCUVE-PLS)和随机检验-PLS(RT-PLS)3种变量选择方法进行比较。结果表明,基于LASSO的变量选择方法保留的变量数最少,运算速度最快。对三元调和油样品,LASSO-PLS预测的准确度最高;对生物样品,LASSO-MLR预测的准确度最高。因此,基于LASSO的变量选择算法有望在光谱分析领域中得到良好应用。

一种利用Screening加速技巧的Lasso算法

Lasso(Least absolute shrinkage and selection operator)是目前广为应用的一种稀疏特征选择算法。经典的Lasso算法通过对高维数据进行特征选择一定程度上降低了计算开销,然而,求解Lasso问题目前仍面临诸多困难与挑战,例如当特征维数和样本数量非常大时,甚至无法将数据矩阵加载到主存储器中。为了应对这一挑战,Screening加速技巧成为近年来研究的热点。Screening可以在问题优化求解之前将稀疏优化结果中系数必然为0的无效特征筛选出来并剔除,从而极大地降低数据维度,在不损失问题求解精度的前提下,加速稀疏优化问题的求解速度。首先推导了Lasso的对偶问题,根据对偶问题的特性得出基于对偶多面投影的Screening加速技巧,最后将Screening加速技巧引入Lasso特征选择算法,并在多个高维数据集上进行实验,通过加速比、识别率以及算法运行时间三个指标验证了Screening加速技巧在Lasso算法上的良好性能。

基于GC-MS指纹图谱和LASSO-PLS-DA区分2个不同产地的石菖蒲（英文）

本文旨在研究中国四川和安徽2个产地石菖蒲样品的化学差异。首先通过气相色谱-质谱联用(GC-MS)技术建立石菖蒲的定量化学指纹图谱,基于色谱、质谱信息和保留指数定性和定量了石菖蒲中104种挥发性化合物。在此基础上,采用一种稀疏正则化方法来提高偏最小二乘-判别分析(PLS-DA)模型的分类能力,使得分类精度从82.76%上升到96.55%。最后,结合最小绝对收缩与选择算子(LASSO)与二次采样筛选出区别于2个产地的3个化学标记物:β-榄香烯,α-芹菜素和α-细辛醚。本文采用的最小绝对收缩与选择算子-偏最小二乘-判别分析(LASSO-PLS-DA)算法可以作为筛选中草药中标志性化学成分和进行地理草药学研究的有效方法。

LASSO回归和SARIMAX模型联合应用对广州市肾综合征出血热发病的预测效果研究

目的 比较3种时间序列模型对肾综合征出血热(HFRS)发病的预测效果,探索最小绝对值收缩与选择算子算法回归(LASSO)联合引入自变量的季节性差分自回归移动平均(SARIMAX)模型对HFRS的预测效果。方法 系统收集2006-2022年广州市HFRS发病数、鼠密度、气象及社会经济学数据,采用指数平滑法、SARIMAX以及通过LASSO-SARIMAX模型进行发病预测,通过自相关函数(ACF)、平均百分比误差(MPE)和平均绝对百分比误差(MAPE)评价模型的预测效果,通过MAPE对比3种模型不同预测时长的预测效果。结果 2006-2022年广州市HFRS年均发病率0.06/10万,指数平滑法(ETS)模型训练集的MAPE为45.066,SARIMA模型训练集的MAPE为51.403,LASSO-SARIMAX模型训练集的MAPE为39.466,除预测24月时低于ETS模型外,LASSO-SARIMAX模型训练数据集、预测12月的MAPE均最低。结论 LASSO回归联合SARIMAX模型在广州市HFRS发病的中短期预测中有较好效果。

基于变量选择-神经网络模型的复杂路网短时交通流预测

针对传统交通流预测模型正在由单断面历史数据处理向多断面、多时刻历史数据处理转变,但在考虑各断面间的影响时,多变的交通状况往往会使预测模型复杂化的问题,引入一种多元线性回归最小绝对收缩和选择算子方法(Lasso),并利用其优秀的变量选择能力,在复杂路网多断面中选出相关性较高的断面;结合神经网络(NN)的非线性特性,提出了Lasso-NN组合模型.结果表明:Lasso-NN模型在路网交叉口对未来15min交通流数据预测的误差率低于9.2%;在非交叉口的误差率低于6.7%,总体优于各自单独使用得出的结果.

基于粒化-融合的海量高维数据特征选择算法

基于粒计算视角,提出粒化-融合框架下的海量高维数据特征选择算法.运用BLB(Bag of Little Bootstrap)的思想,首先将原始海量数据集粒化为小规模数据子集(粒),然后在每个粒上构建多个自助子集的套索模型,实现粒特征选择,最后,各粒特征选择结果按权重融合、排序,得到原始数据集的有序特征选择结果.人工数据集和真实数据集上的实验表明文中算法对海量高维数据集进行特征选择的可行性和有效性.

主元分析中的稀疏性

主元分析是一种广泛应用的多元统计技术.在处理高维数据时,其结果的统计一致性与物理可解释性难以保证.引入以变量选择为目标的稀疏性约束,可有效缓解上述困难.基于最近10年的研究进展,本文阐述了稀疏性的基本概念和罚函数的设计标准,介绍了经典的稀疏性约束lasso及其多个变种:融合lasso、成组lasso、自适应lasso、弹性网等等.Lasso及其变种均可用作主元分析的约束,构建稀疏主元分析框架,但关键在于如何将稀疏主元转化为凸优化问题并快速求解.本文比较了稀疏主元的多种转化形式:奇异值分解、稀疏回归、低阶秩逼近、罚矩阵分解和半正定松弛.分析了基于最小角回归算法的一般lasso及广义lasso问题的求解方法.此外还初步探讨了函数型数据的稀疏主元分析问题.

高维数据挖掘中特征选择的稳健方法

针对高维数据的特点,即数据中变量个数往往大于样本观测数目,并且数据往往具有异质性特点,基于众数回归分析和变量选择降维技术,提出了一种稳健有效的特征选择方法,利用局部二次逼近算法(LQA)和最大期望(EM)算法,给出估计算法和最优调节参数的选取方法。通过实验的模拟数据分析表明,所提出的特征提取选择方法整体优于基于最小二乘和中位数的正则化估计方法,特别当误差是非正态分布时,与已有方法相比具有较高的预测能力和稳健性。

基于池的无监督线性回归主动学习

在许多现实的机器学习应用场景中,获取大量未标注的数据是很容易的,但标注过程需要花费大量的时间和经济成本.因此,在这种情况下,需要选择一些最有价值的样本进行标注,从而只利用较少的标注数据就能训练出较好的机器学习模型.目前,主动学习(Active learning)已广泛应用于解决这种场景下的问题.但是,大多数现有的主动学习方法都是基于有监督场景:能够从少量带标签的样本中训练初始模型,基于模型查询新的样本,然后迭代更新模型.无监督情况下的主动学习却很少有人考虑,即在不知道任何标签信息的情况下最佳地选择要标注的初始训练样本.这种场景下,主动学习问题变得更加困难,因为无法利用任何标签信息.针对这一场景,本文研究了基于池的无监督线性回归问题,提出了一种新的主动学习方法,该方法同时考虑了信息性、代表性和多样性这三个标准.本文在3个不同的线性回归模型(岭回归、LASSO(Least absolute shrinkage and selection operator)和线性支持向量回归)和来自不同应用领域的12个数据集上进行了广泛的实验,验证了其有效性.

基于最小绝对收缩与选择算子模型稀疏恢复的多目标检测

针对地面多径环境下运动目标检测,使用最小绝对收缩与选择算子(LASSO)算法在参数估计时会出现伪目标的问题,提出一种基于LASSO模型框架的设计矩阵降维构造方法。首先,信号的多径传播能够带来目标检测的空间分集,信号在不同的多径上有不同的多普勒频移;此外,使用宽带正交频分复用(OFDM)信号能够带来频率分集。由于空间分集和频率分集的引入造成目标的稀疏特性。利用多径的稀疏性和对环境的先验知识,去估计稀疏向量。仿真结果表明,在一定信噪比(SNR,-5 d B)下,基于设计矩阵降维构造方法的改进的LASSO算法比基追踪算法(BP)、DS(Dantzig Selector)、LASSO等传统算法的检测性能有明显提高;在一定虚警率(0.1)条件下,改进的LASSO算法比原LASSO算法检测概率提高了30%。所提算法能够有效去除伪目标,提高雷达目标检测概率。