一种近似Markov Blanket最优特征选择算法

特征选择可以有效改善分类效率和精度,传统方法通常只评价单个特征,较少评价特征子集.在研究特征相关性基础上,进一步划分特征为强相关、弱相关、无关和冗余四种特征,建立起Markov Blanket理论和特征相关性之间的联系,结合Chi-Square检验统计方法,提出了一种基于前向选择的近似Markov Blanket特征选择算法,获得近似最优的特征子集.实验结果证明文中方法选取的特征子集与原始特征子集相比,以远小于原始特征数的特征子集获得了高于或接近于原始特征集的分类结果.同时,在高维特征空间的文本分类领域,与其它的特征选择方法OCFS,DF,CHI,IG等方法的分类结果进行了比较,在20Newsgroup文本数据集上的分类实验结果表明文中提出的方法获得的特征子集在分类时优于其它方法.

基于Markov blanket和互信息的集成特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出一种基于近似Markov blanket和动态互信息的特征选择算法并将其应用于集成学习,进而得到一种集成特征选择算法。该集成特征选择算法运用Bagging方法结合提出的特征选择方法生成基分类器,并引入基分类器差异度进行选择性集成,最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机(support vector machine,SVM)为分类器,在公共数据集UCI上进行试验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。

基于Markov blanket的无约束型K阶贝叶斯集成分类模型

为了提升K阶依赖贝叶斯分类(KDB)模型的条件依赖表达能力,本文以Markov blanket的特征提取思想为基本原则,降低特征属性间的条件独立性,根据贪婪搜索策略进行贝叶斯分类模型的结构学习。基于训练样本集构建宏观模型,基于测试样本构建微观模型,最终通过集成模型进行决策。针对UCI机器学习数据集进行交叉验证,实验结果分别从0-1损失、偏差和方差等角度证明了本文算法的合理性和有效性。

基于近似Markov Blanket和动态互信息的特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出了一种基于近似Markov Blanket和动态互信息的特征选择算法。该算法利用互信息作为特征相关性的度量准则,并在未识别的样本上对互信息进行动态估值,利用近似Markov Blanket原理准确地去除冗余特征,从而获得远小于原始特征规模的特征子集。通过仿真试验证明了该算法的有效性。以支持向量机为分类器,在公共数据集UCI上进行了试验,并与DMIFS和ReliefF算法进行了对比。试验结果证明,该算法选取的特征子集与原始特征子集相比,以远小于原始特征规模的特征子集获得了高于或接近于原始特征集合的分类结果。

基于Markov Blanket的模糊差别矩阵属性约简算法

模糊差别矩阵属性约简是一种广泛使用的模糊粗糙集属性约简方法。然而已有方法大多采用启发式贪婪策略,属性约简率低且约简质量差。本文结合Markov Blanket概念,提出基于模糊差别矩阵的属性约简算法。首先,为了避免约简选择过多属性的问题,提出了利用Markov Blanket性质的迭代后向删除属性约简算法,可以有效删除低频率的相对冗余属性。其次,提出了一种基于Markov Blanket的双向搜索启发式属性约简算法,通过迭代前向添加高频属性和后向删除低频率策略来提升属性约简计算效率。在UCI数据集上实验表明,相比于其他模糊差别矩阵算法,所提出的算法能得到更优的约简结果。

挤压铸造工艺参数的案例推理设计方法

挤压铸造工艺参数是挤压铸造的关键,目前主要通过实验和经验来确定,效率低。结合数据驱动制造的趋势,提出基于案例推理的挤压铸造工艺参数设计方法。将收集的工艺数据视为案例,然后构建挤压铸造工艺参数的马尔可夫毯约简非关键影响因素,去除冗余影响因素并建立案例属性的关系,在此基础上,应用信息熵确定彼此的权重,然后基于案例推理原理得到新材料铸件的工艺参数。通过实验和应用,证明了该方法的有效性和准确性,为挤压铸造工艺参数设计提供了新的方法,可大幅度节省设计时间,也加强了对已有数据的利用。

基于Markov毯分解的抽样近似推理算法

现有的贝叶斯推理算法不同程度地存在推理精度低或推理时间长的问题.文中提出一种基于Markov毯分解的抽样近似推理算法(LSIA-MB).LSIA-MB算法利用HITON_MB算法寻找查询结点的Markov毯,进而利用动态规划方法学习边的后验概率,确定变量之间的因果关系,获得一个关于查询结点的Markov局部网络模型.最后,在Markov局部模型上执行Gibbs Sampling.通过对Markov局部模型的抽样,极大降低推理的计算维数.同时,由于Markov局部网络模型包含与目标结点相关的完整信息,从而保证局部抽样推理的精度.算法分析和在标准Alarm网的实验结果均表明,LSIA-MB算法降低推理时间,且提高推理精度.LSIA-MB算法在上海股票交易网络上的推理预测结果显示出较强的实用性.

基于CI测试的因果特征选择算法综述

在机器学习和数据分析中,频繁出现的高维数据使得数据预处理变得愈发重要。作为预处理的重要方法,特征选择可以降低问题的复杂性。其中,传统的特征选择通过捕捉特征之间的相关性来实现,而基于因果关系的特征选择方法则更注重特征间的因果性。研究表明,因果特征选择具有更高的可解释性和鲁棒性,因此这一领域备受关注,在近20年来有许多算法被提出。文章首先回顾了这些算法,然后按照学习的策略对它们进行了分类,最后讨论并提出了因果特征选择中存在的问题和对应解决思路。

基于样本重叠与近似马尔可夫毯的特征选择算法

随着信息技术的快速发展,数据中的高维特征极大地增加了产生冗余特征的可能性,冗余特征不仅导致搜索空间增大,而且影响了分类的准确率。针对现有的特征选择算法难以解决高维特征选择问题,提出了基于样本重叠与近似马尔可夫毯的特征选择算法(samples overlapping based modified Markov blanket, SOMMB)。该算法首先融合最大信息系数与改进强近似马尔可夫毯去除冗余特征;其次采用样本重叠策略指导前向搜索的过程,选取相关特征。该算法在10个公开数据集上与目前流行的PGVNS、FCBF-MIC、CFS、mRMR、RF、CBFS、ReliefF以及FFSG算法进行对比实验,SOMMB算法的平均准确率为82.519%,对比FFSG获得的最高准确率提升了4.214%,表明SOMMB算法可以提高分类精度。

基于约束的局部-全局LWF链图结构学习算法

LWF链图结构学习旨在发现链图中所有节点的父节点、子节点、邻居节点以及配偶节点.然而,目前最新的LWF链图结构学习算法是基于Growing-Shrinking(GS)思想得到节点的局部结构(即节点的马尔科夫毯)来学习全局网络结构,该类算法的条件独立测试是以整个马尔科夫毯为条件集的,为了保证条件独立测试的可靠性,算法要求样本数量是马尔科夫毯大小的指数级,从而使得算法的数据效率较差.针对该问题,本文提出了一种基于约束的局部-全局LWF链图结构学习算法.该算法通过迭代的学习邻接集和配偶集来降低对数据样本量的要求;与此同时,在学习邻接集时采用后向策略保障了条件独立测试的正确性.算法的基本思想如下:首先学习网络中每个节点的马尔科夫毯,将节点马尔科夫毯学习拆分为学习邻接集和学习配偶集;然后利用节点的马尔科夫毯信息恢复网络骨架,根据链图复合体有向边的特点,利用条件独立测试确定网络复合体有向边,从而恢复链图结构.理论分析证明了该算法的正确性,在仿真数据集和标准数据集上的实验测试验证了算法的有效性.

一种融合近似马尔科夫毯的随机森林优化算法

特征的相关和冗余,会直接影响随机森林随机抽取特征的质量,导致随机森林的收敛性减弱,降低随机森林模型的准确度、泛化能力及性能。基于此,提出一种融合近似马尔科夫毯的随机森林优化算法,该算法利用近似马尔科夫毯构建相似特征组,再从每个相似组中按比例抽取特征形成单棵决策树的特征子集,重复上述过程直至达到随机森林规模。该算法可以在保证随机森林特征的多样性前提下,利用近似马尔科夫毯消除特征间的相关性和冗余性,提高随机抽取特征的质量。通过在12组不同维度UCI数据集实验对比表明:融合近似马尔科夫毯的随机森林在一定程度上可以消除特征相关性和冗余性,提高模型的各项评价指标,泛化能力增强,更适用于高维数据。

基于交互信息的两阶段特征选择算法

针对传统特征选择中只考虑了特征的相关性和冗余性而忽略了特征间交互作用的问题,提出一种基于交互信息的两阶段特征选择算法(SAMBFC)。通过对称不确定性和强近似马尔可夫毯原理进行无关特征和冗余特征的筛选;利用特征间交互增益和基于相关性特征选择算法构建一种特征间互补性评价方法,选取具有交互作用的冗余特征。在9个不同维度的标准数据集上与8种典型算法进行对比实验和分析,其结果表明,SAMBFC算法所选特征的分类性能以及综合表现明显优于其它算法。

基于马尔科夫毯的近似函数依赖挖掘算法

近似函数依赖挖掘方法通过放宽函数依赖成立条件,允许一定比例的违反,保证原本成立的函数依赖在噪声数据中仍然可以被挖掘出来。然而,现有的发现算法在放宽函数依赖成立条件之后,容易挖掘出大量左部属性数量较多的虚假函数依赖,导致挖掘结果的准确率显著降低。为了解决这一问题,提出基于马尔科夫毯的近似函数依赖挖掘算法,利用马尔科夫毯剪枝左部属性搜索空间,缩小决定项的候选集合,并通过向下泛化算法减少了误差的计算次数,同时降低了复杂度。在保证不丢失真实函数依赖的前提下,避免了近似函数依赖过拟合,从而提高了挖掘结果的准确率。实验结果表明,该方法在真实数据集和合成数据集上的准确率优于现有的近似函数依赖挖掘方法。

基于最大信息系数和近似马尔科夫毯的特征选择方法

最大信息系数(Maximum information coefficient,MIC)可以对变量间的线性和非线性关系,以及非函数依赖关系进行有效度量.本文首先根据最大信息系数理论,提出了一种评价各维特征间以及每维特征与类别间相关性的度量标准,然后提出了基于新度量标准的近似马尔科夫毯特征选择方法,删除冗余特征.在此基础上提出了基于特征排序和近似马尔科夫毯的两阶段特征选择方法,分别对特征的相关性和冗余性进行分析,选择有效的特征子集.在UCI和ASU上的多个公开数据集上的对比实验表明,本文提出的方法总体优于快速相关滤波(Fast correlation-based filter,FCBF)方法,与Relief F,FAST,Lasso和RFS方法相比也具有优势.

基于马尔可夫毯的贝叶斯网络结构学习算法

贝叶斯网络图结构的自动学习是机器学习中的一个挑战,针对传统算法学习效率低、难于去除冗余边及确定结构中边的方向等问题,提出了一种基于马尔可夫毯的贝叶斯网络结构学习算法.该算法改进了经典的马尔可夫毯学习算法,使之减少条件独立检验次数,并在后续确定有向结构方面更适应贝叶斯网络结构学习,同时给出了两种有向边方向确定的一般性解决方案,有效提高了学习算法的学习效率.最后建立了基于贝叶斯网络的互联云QoE评价模型,并进行了仿真实验,结果表明改进后的学习算法在预测准确率、学习效率上均优于传统算法.

面向分类的流特征在线特征选择算法

在线流特征选择通过实时过滤无关特征和冗余特征,实现流特征空间降维.针对已有算法,如Alpha-investing分类精度低、SAOLA选择特征数多和OSFS在低冗余高相关数据集下运行时间长的问题,提出了一种面向分类的流特征在线特征选择算法——OSFIC.算法运用四层过滤框架,通过无条件独立过滤不相关新特征、单条件下互信息过滤冗余新特征和候选特征集合中的部分冗余特征,最后通过多条件独立过滤候选特征集中的剩余冗余特征,最终得到分类标签的近似马尔可夫毯.为了分析OSFIC的性能,选择了NIPS 2003和Causality Workbench中的数据集,从预测精度、特征数量、运行时间和AUC方面与已有基准算法进行比较.实验表明,OSFIC平均分类精度比Alpha-investing提升4.41%.在保证精度的前提下,平均特征数量比SAOLA减少41.9%,运行时间比OSFS减少91.59%.最后,在真实的应用场景下验证了OSFIC的有效性.

基于类依赖的语音情感特征选择

提出一种基于类依赖的语音情感特征选择模型,该模型可以提高语音情感识别的准确率.应用马尔科夫毯分别为每类情感筛选出具有较高表征能力的特征子集,通过支持向量机用于学习情感分类.为了更好地融合多分类器的分类决策,将支持向量机的二分类转化为概率分类,以解决多分类器联合使用的投票冲突问题.在公开数据集上的实验结果表明,与信息增益、主成分分析以及类独立的特征选择方法相比,此方法可以较大幅度减少样例维数,同时获得较高的情感识别率.

基于离群特征模式的股市波动预测模型

由于股票价格波动具有较强的突变性且易受外界因素影响,导致股票价格走势难以预测。提出基于离群特征模式的股市波动预测模型(SFSVM)。该算法首先利用马尔可夫毯选取目标结点的局部网络结构,以屏蔽其他结点对目标结点的影响;对目标结点的指标进行分析,提取异于一般行为的离群特征模式;利用滑动窗口捕捉离群特征,将离群特征模式作为先验知识加入原SVM模型,预测尖峰点并平滑尖峰点对于预测结果的影响,提高预测模型的稳健性。在股票板块数据上进行实验结果证明,SFSVM算法相对于神经网络和标准的SVM算法,在股票的走势预测方面有更好的预测效果。

适合于入侵检测的分步特征选择算法

针对入侵检测数据集维数高,导致检测算法处理速度慢,而其中包含许多对检测效果影响不大的特征的问题,提出了一种分步特征选择算法。它通过对相关特征和冗余特征的定义,以互信息为准则,首先删除不相关特征,然后删除冗余特征。该算法的时间复杂性低,且独立于检测算法,可以通过调整阈值平衡检测精度和特征的数量。以权威数据集KDD-99为实验数据集,对多种检测算法进行了实验。结果表明,该算法能有效地选择特征向量,保证检测精度,提高检测速度。

局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法(hidden variable discovering algorithm based on local causality analysis,LCAHD)。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。