融合Lasso的近似马尔科夫毯特征选择方法

在特征选择问题中,近似马尔科夫毯常用于判断冗余特征,但所得到的冗余特征并不完全相同,因此,在直接使用近似马尔科夫毯删除冗余特征时,存在可能导致信息丢失的情况,影响模型精度。为此,提出一种用于中药代谢组学高维小样本数据的融合Lasso的近似马尔科夫毯特征选择方法。方法分为两个阶段,第一阶段,通过最大信息系数对特征的相关度分析过滤无关特征;第二阶段,采用近似马尔科夫毯构建相似特征组,使用Lasso评估相似特征组中特征影响力,迭代去除冗余特征。通过实验对比表明,该算法可以在一定程度上减少有用信息丢失,去除无关特征和冗余特征,提高模型精度和稳定性。

一种融合近似马尔科夫毯的随机森林优化算法

特征的相关和冗余,会直接影响随机森林随机抽取特征的质量,导致随机森林的收敛性减弱,降低随机森林模型的准确度、泛化能力及性能。基于此,提出一种融合近似马尔科夫毯的随机森林优化算法,该算法利用近似马尔科夫毯构建相似特征组,再从每个相似组中按比例抽取特征形成单棵决策树的特征子集,重复上述过程直至达到随机森林规模。该算法可以在保证随机森林特征的多样性前提下,利用近似马尔科夫毯消除特征间的相关性和冗余性,提高随机抽取特征的质量。通过在12组不同维度UCI数据集实验对比表明:融合近似马尔科夫毯的随机森林在一定程度上可以消除特征相关性和冗余性,提高模型的各项评价指标,泛化能力增强,更适用于高维数据。

基于最大信息系数和近似马尔科夫毯的特征选择方法

最大信息系数(Maximum information coefficient,MIC)可以对变量间的线性和非线性关系,以及非函数依赖关系进行有效度量.本文首先根据最大信息系数理论,提出了一种评价各维特征间以及每维特征与类别间相关性的度量标准,然后提出了基于新度量标准的近似马尔科夫毯特征选择方法,删除冗余特征.在此基础上提出了基于特征排序和近似马尔科夫毯的两阶段特征选择方法,分别对特征的相关性和冗余性进行分析,选择有效的特征子集.在UCI和ASU上的多个公开数据集上的对比实验表明,本文提出的方法总体优于快速相关滤波(Fast correlation-based filter,FCBF)方法,与Relief F,FAST,Lasso和RFS方法相比也具有优势.

利用近似马尔科夫毯的最大相关最小冗余特征选择算法

针对高维数据集中冗余特征或无关特征降低机器学习模型分类准确率的问题,提出了一种基于近似马尔科夫毯的特征选择(nmRMR)算法。该算法首先利用最大相关最小冗余的准则进行特征相关性排序;采用近似马尔科夫毯算法对冗余特征或者无关特征进行删除,并最大程度地提高特征之间的相关性从而获得最优特征子集。在UCI的8个公开数据集上对比的实验结果表明:与mRMR算法相比,本文算法所选择出的特征子集数平均减少了6.875个,平均分类准确率提高了0.78%;与FullSet算法相比,本文算法所选择出的特征子集数平均减少了20.56个,平均分类准确率提高了1.88%;与FCBF算法相比,本文算法所选择出的特征子集数平均减少了3.187 5个,平均分类准确率提高了0.825%;本文算法总体优于其他算法。

近似马尔科夫毯混合式特征选择

基于Filter-Wrapper模型混合式特征选择,先利用近似马尔科夫毯删除冗余和不相关的特征,再用SBS算法对过滤后的特征集进行选择,筛选出最佳特征子集。在2个不同的分类器和4个公开数据集上与两种特征选择算法做了对比试验。

面向类不平衡网络流量的特征选择算法

针对网络流量分类过程中出现的类不平衡问题,该文提出一种基于加权对称不确定性(WSU)和近似马尔科夫毯(AMB)的特征选择算法。首先,根据类别分布信息,定义了偏向于小类别的特征度量,使得与小类别具有强相关性的特征更容易被选择出来;其次,充分考虑特征与类别间、特征与特征之间的相关性,利用加权对称不确定性和近似马尔科夫毯删除不相关特征及冗余特征;最后,利用基于相关性度量的特征评估函数以及序列搜索算法进一步降低特征维数,确定最优特征子集。实验表明,在保证算法整体分类精确率的前提下,算法能够有效提高小类别的分类性能。

一种两阶段变量选择的LIBS定量分析方法

使用机器学习方法结合激光诱导击穿光谱(Laser Induced Breakdown Spectroscopy,LIBS)进行定量分析,变量选择的结果直接影响最终的定标模型。现有的变量选择方法多存在需要先验知识、计算量庞大等问题,因此提出一种两阶段变量选择方法。第一阶段为排序阶段,以皮尔逊相关系数r为排序准则快速排除与目标元素的浓度无关的变量,保留的变量集合记为S1。第二阶段为搜索阶段,使用近似马尔科夫毯(Approximate Markov Blanket,AMB)排除S1中的冗余变量,保留的变量集合记为S2。为了测试该方法的有效性,将该方法得到的变量集合S2,与偏最小二乘法-变量重要性投影(Partial Least Squares-Variable Importance Projection,PLS-VIP)得到的变量集合S3进行比较。S2和S3分别结合3种机器学习方法建立土壤中锶元素的定量分析模型,结果显示,变量集合S2的3种定标模型决定系数R2均大于0.99,RE均小于5%,RMSE均小于22 ppm,RSD均小于20%,显著优于S3的定标模型。表明这种两阶段变量选择方法不仅能够高效的进行变量筛选,也在结合不同机器学习算法进行LIBS定量分析时具有一定普适性。