基于Markov毯分解的抽样近似推理算法

现有的贝叶斯推理算法不同程度地存在推理精度低或推理时间长的问题.文中提出一种基于Markov毯分解的抽样近似推理算法(LSIA-MB).LSIA-MB算法利用HITON_MB算法寻找查询结点的Markov毯,进而利用动态规划方法学习边的后验概率,确定变量之间的因果关系,获得一个关于查询结点的Markov局部网络模型.最后,在Markov局部模型上执行Gibbs Sampling.通过对Markov局部模型的抽样,极大降低推理的计算维数.同时,由于Markov局部网络模型包含与目标结点相关的完整信息,从而保证局部抽样推理的精度.算法分析和在标准Alarm网的实验结果均表明,LSIA-MB算法降低推理时间,且提高推理精度.LSIA-MB算法在上海股票交易网络上的推理预测结果显示出较强的实用性.

基于SU和AMB的网络流量特征选择算法

在基于网络流量分析,被动式的网络设备识别研究中,网络流量数据中往往存在许多高维数据,其中的部分特征对设备识别贡献不大,甚至会严重影响分类结果和分类性能.所以针对这个问题本文提出了一种将Filter和Wrapper方式相结合,基于对称不确定性(SU)和近似马尔可夫毯(AMB)的网络流量特征选择算法FSSA,本文提出的方法首先利用对称不确定性算法选择出对于各个类别具有分类贡献的特征,去除不相关的特征属性;然后在候选特征子集中利用近似马尔可夫毯算法删除冗余特征,最后采用Wrapper方式基于C4.5分类算法,进行最后的特征优选.实验表明,该方法下选择出的特征对网络设备操作系统类型识别的精确率相较于经典的特征选择方法有了一定的提高,在小类别数据上的召回率也得到了提升.

基于样本重叠与近似马尔可夫毯的特征选择算法

随着信息技术的快速发展,数据中的高维特征极大地增加了产生冗余特征的可能性,冗余特征不仅导致搜索空间增大,而且影响了分类的准确率。针对现有的特征选择算法难以解决高维特征选择问题,提出了基于样本重叠与近似马尔可夫毯的特征选择算法(samples overlapping based modified Markov blanket, SOMMB)。该算法首先融合最大信息系数与改进强近似马尔可夫毯去除冗余特征;其次采用样本重叠策略指导前向搜索的过程,选取相关特征。该算法在10个公开数据集上与目前流行的PGVNS、FCBF-MIC、CFS、mRMR、RF、CBFS、ReliefF以及FFSG算法进行对比实验,SOMMB算法的平均准确率为82.519%,对比FFSG获得的最高准确率提升了4.214%,表明SOMMB算法可以提高分类精度。

一种融合近似马尔科夫毯的随机森林优化算法

特征的相关和冗余,会直接影响随机森林随机抽取特征的质量,导致随机森林的收敛性减弱,降低随机森林模型的准确度、泛化能力及性能。基于此,提出一种融合近似马尔科夫毯的随机森林优化算法,该算法利用近似马尔科夫毯构建相似特征组,再从每个相似组中按比例抽取特征形成单棵决策树的特征子集,重复上述过程直至达到随机森林规模。该算法可以在保证随机森林特征的多样性前提下,利用近似马尔科夫毯消除特征间的相关性和冗余性,提高随机抽取特征的质量。通过在12组不同维度UCI数据集实验对比表明:融合近似马尔科夫毯的随机森林在一定程度上可以消除特征相关性和冗余性,提高模型的各项评价指标,泛化能力增强,更适用于高维数据。

基于交互信息的两阶段特征选择算法

针对传统特征选择中只考虑了特征的相关性和冗余性而忽略了特征间交互作用的问题,提出一种基于交互信息的两阶段特征选择算法(SAMBFC)。通过对称不确定性和强近似马尔可夫毯原理进行无关特征和冗余特征的筛选;利用特征间交互增益和基于相关性特征选择算法构建一种特征间互补性评价方法,选取具有交互作用的冗余特征。在9个不同维度的标准数据集上与8种典型算法进行对比实验和分析,其结果表明,SAMBFC算法所选特征的分类性能以及综合表现明显优于其它算法。

基于马尔科夫毯的近似函数依赖挖掘算法

近似函数依赖挖掘方法通过放宽函数依赖成立条件,允许一定比例的违反,保证原本成立的函数依赖在噪声数据中仍然可以被挖掘出来。然而,现有的发现算法在放宽函数依赖成立条件之后,容易挖掘出大量左部属性数量较多的虚假函数依赖,导致挖掘结果的准确率显著降低。为了解决这一问题,提出基于马尔科夫毯的近似函数依赖挖掘算法,利用马尔科夫毯剪枝左部属性搜索空间,缩小决定项的候选集合,并通过向下泛化算法减少了误差的计算次数,同时降低了复杂度。在保证不丢失真实函数依赖的前提下,避免了近似函数依赖过拟合,从而提高了挖掘结果的准确率。实验结果表明,该方法在真实数据集和合成数据集上的准确率优于现有的近似函数依赖挖掘方法。

基于最大信息系数和近似马尔科夫毯的特征选择方法

最大信息系数(Maximum information coefficient,MIC)可以对变量间的线性和非线性关系,以及非函数依赖关系进行有效度量.本文首先根据最大信息系数理论,提出了一种评价各维特征间以及每维特征与类别间相关性的度量标准,然后提出了基于新度量标准的近似马尔科夫毯特征选择方法,删除冗余特征.在此基础上提出了基于特征排序和近似马尔科夫毯的两阶段特征选择方法,分别对特征的相关性和冗余性进行分析,选择有效的特征子集.在UCI和ASU上的多个公开数据集上的对比实验表明,本文提出的方法总体优于快速相关滤波(Fast correlation-based filter,FCBF)方法,与Relief F,FAST,Lasso和RFS方法相比也具有优势.

面向分类的流特征在线特征选择算法

在线流特征选择通过实时过滤无关特征和冗余特征,实现流特征空间降维.针对已有算法,如Alpha-investing分类精度低、SAOLA选择特征数多和OSFS在低冗余高相关数据集下运行时间长的问题,提出了一种面向分类的流特征在线特征选择算法——OSFIC.算法运用四层过滤框架,通过无条件独立过滤不相关新特征、单条件下互信息过滤冗余新特征和候选特征集合中的部分冗余特征,最后通过多条件独立过滤候选特征集中的剩余冗余特征,最终得到分类标签的近似马尔可夫毯.为了分析OSFIC的性能,选择了NIPS 2003和Causality Workbench中的数据集,从预测精度、特征数量、运行时间和AUC方面与已有基准算法进行比较.实验表明,OSFIC平均分类精度比Alpha-investing提升4.41%.在保证精度的前提下,平均特征数量比SAOLA减少41.9%,运行时间比OSFS减少91.59%.最后,在真实的应用场景下验证了OSFIC的有效性.

面向类不平衡网络流量的特征选择算法

针对网络流量分类过程中出现的类不平衡问题,该文提出一种基于加权对称不确定性(WSU)和近似马尔科夫毯(AMB)的特征选择算法。首先,根据类别分布信息,定义了偏向于小类别的特征度量,使得与小类别具有强相关性的特征更容易被选择出来;其次,充分考虑特征与类别间、特征与特征之间的相关性,利用加权对称不确定性和近似马尔科夫毯删除不相关特征及冗余特征;最后,利用基于相关性度量的特征评估函数以及序列搜索算法进一步降低特征维数,确定最优特征子集。实验表明,在保证算法整体分类精确率的前提下,算法能够有效提高小类别的分类性能。

一种两阶段变量选择的LIBS定量分析方法

使用机器学习方法结合激光诱导击穿光谱(Laser Induced Breakdown Spectroscopy,LIBS)进行定量分析,变量选择的结果直接影响最终的定标模型。现有的变量选择方法多存在需要先验知识、计算量庞大等问题,因此提出一种两阶段变量选择方法。第一阶段为排序阶段,以皮尔逊相关系数r为排序准则快速排除与目标元素的浓度无关的变量,保留的变量集合记为S1。第二阶段为搜索阶段,使用近似马尔科夫毯(Approximate Markov Blanket,AMB)排除S1中的冗余变量,保留的变量集合记为S2。为了测试该方法的有效性,将该方法得到的变量集合S2,与偏最小二乘法-变量重要性投影(Partial Least Squares-Variable Importance Projection,PLS-VIP)得到的变量集合S3进行比较。S2和S3分别结合3种机器学习方法建立土壤中锶元素的定量分析模型,结果显示,变量集合S2的3种定标模型决定系数R2均大于0.99,RE均小于5%,RMSE均小于22 ppm,RSD均小于20%,显著优于S3的定标模型。表明这种两阶段变量选择方法不仅能够高效的进行变量筛选,也在结合不同机器学习算法进行LIBS定量分析时具有一定普适性。

利用近似马尔科夫毯的最大相关最小冗余特征选择算法

针对高维数据集中冗余特征或无关特征降低机器学习模型分类准确率的问题,提出了一种基于近似马尔科夫毯的特征选择(nmRMR)算法。该算法首先利用最大相关最小冗余的准则进行特征相关性排序;采用近似马尔科夫毯算法对冗余特征或者无关特征进行删除,并最大程度地提高特征之间的相关性从而获得最优特征子集。在UCI的8个公开数据集上对比的实验结果表明:与mRMR算法相比,本文算法所选择出的特征子集数平均减少了6.875个,平均分类准确率提高了0.78%;与FullSet算法相比,本文算法所选择出的特征子集数平均减少了20.56个,平均分类准确率提高了1.88%;与FCBF算法相比,本文算法所选择出的特征子集数平均减少了3.187 5个,平均分类准确率提高了0.825%;本文算法总体优于其他算法。

一种基于近似马尔可夫毯的mRMR-PCA降维方法

机器学习过程中样本数据含有过多冗余或不相关特征时,会增加学习模型的复杂度,降低模型学习的准确率。针对样本冗余或不相关特征删除的问题,提出了基于近似马尔可夫毯的最大相关最小冗余法与主成分分析法的二阶段特征降维方法。改进算法结合马尔可夫毯和最小冗余最大相关算法的优势,以互信息为度量标准,根据特征与目标类的相关度、特征与特征的冗余筛选样本特征子集,并利用主成分分析法对所筛选的特征子集进行压缩,形成用于分类的综合特征集。最后以SVM、BP和KNN作为分类器进行样本分类实验,实验结果表明,改进算法在特征降维、分类准确率和分类耗时上均优于MB-mRMR算法与PCA算法。

近似马尔科夫毯混合式特征选择

基于Filter-Wrapper模型混合式特征选择,先利用近似马尔科夫毯删除冗余和不相关的特征,再用SBS算法对过滤后的特征集进行选择,筛选出最佳特征子集。在2个不同的分类器和4个公开数据集上与两种特征选择算法做了对比试验。