基于对称不确定性网络流量特征筛选方法

网络流量特征越来越多,导致相关深度学习模型的训练耗时增加,且对这些特征的选择仍未达成共识。为解决过滤排序式方法中特征子集维数不好确定、包裹式方法中计算耗时过大的问题,本文提出将特征筛选效果良好的基于对称不确定性的过滤排序式方法扩展至过滤式方法中,并设计目标函数兼顾特征与标签之间的相关性和特征之间的冗余度。从初始化和搜索策略两个方面改进用于寻优目标函数的灰狼优化算法,以提高网络流量特征筛选精度。实验结果表明,该方法在保证异常流量检测精度的前提下,取得了最好的特征筛选效果。

基于对称不确定性和SVM递归特征消除的信息基因选择方法

基因表达谱中存在大量与肿瘤分类无关的基因,严重降低肿瘤诊断的准确率.基因表达谱还存在高维小样本、噪声大等问题,增加肿瘤诊断的难度.为了获取基因数量较少且分类能力较强的信息基因子集,文中提出基于对称不确定性(SU)和支持向量机递归特征消除(SVM-RFE)的信息基因选择方法.首先利用SU评估基因和类标签之间的相关性,根据SU定义近似马尔科夫毯,快速消除大量无关和冗余基因.然后利用SVM-RFE进一步剔除冗余基因,获取有效的信息基因子集.实验表明,文中方法可以在选取维数较少或相等的信息基因子集情况下获取较高的肿瘤分类性能.

联合对称不确定性ReliefF算法的PolSAR影像分类

针对在PolSAR影像分类中极易产生分类精度随着特征数增加不会持续增加,甚至还会降低的问题,提出一种基于对称不确定性ReliefF算法的分类方法。首先,在传统过滤式的ReliefF算法基础上引入对称不确定性评估函数,淘汰对分类贡献小的特征及属性;然后,利用封装式CART算法对剩余特征作进一步挑选,并根据得到的特征子集进行分类。将其与Wishart监督分类、未进行特征选择的分类和仅利用ReliefF算法进行特征属性选择的分类方法进行比较,以GF-3和Radarsat-2影像为例进行实验。结果表明,该方法各项指标均优于其他对比实验,并且大幅度节约时间成本。

基于对称不确定性和邻域粗糙集的肿瘤分类信息基因选择

基因表达谱中信息基因选择是有效建立肿瘤分类模型的关键问题。肿瘤基因表达谱具有高维小样本、噪声大且存在大量无关和冗余基因等特点。为了获得基因数量尽可能少而分类能力尽可能强的一组信息基因,提出一种基于对称不确定性和邻域粗糙集的肿瘤分类信息基因选择SUNRS方法。首先利用对称不确定性指标评估信息基因的重要度,以剔除大量无关和冗余基因,获取信息基因的候选子集;然后利用邻域粗糙集约简算法对信息基因候选子集进行寻优,获得信息基因的目标子集。实验结果表明,SUNRS方法能够用较少的信息基因获得更高的分类精度,从而既能改善算法的泛化性能,又能提高时间效率。

基于对称不确定性和三路交互信息的特征子集选择算法

由于在评价冗余特征时只考虑对称不确定性或最大信息系数等某一种度量标准,使得现有的一些特征子集选择算法存在性能不理想的问题.针对该问题,提出了一种基于对称不确定性和三路交互信息的特征子集选择算法.首先,计算特征与类标签的对称不确定性,按照其值大小对特征作降序排序处理,并消除不相关特征;然后,计算特征间的对称不确定性以及特征与类标签的三路交互信息,并与特征与类标签的对称不确定性一起,经过比较和排序等运算以消除冗余特征而得到选取的特征.在评价冗余特征上同时考虑对称不确定性和三路交互信息两种度量标准,并结合比较和排序等运算,可以减少将相关特征当作冗余特征而消除的情况,使得一些效果显著的相关特征得以保留.为验证所提算法的性能,采用J48、IB1和Naïve Bayes 3种分类器将其与另外4种特征子集选择算法在3个UCI数据集和9个ASU数据集上进行实验.实验结果表明,所提算法能够在选取特征数和用时均较少的情况下取得很好的特征选择效果.

对称不确定性和粒子群的高维特征选择算法

高维数据中存在着成千上万个特征,大量的特征导致问题搜索空间过大,增加了计算代价,影响了数据分类预测的准确性。为了提高特征选择的效率,本文提出了一种对称不确定性和种群降维机制的粒子群特征选择算法,该算法设计了一种基于对称不确定性指标的初始化方法,降低特征选择的计算代价。通过非支配排序的种群降维机制,减少进化过程中冗余特征的影响。在5个公开生物医学的高维数据集上的实验结果表明,该算法能够针对高维数据特征选择问题取得更好的分类精度和更小的最优子集特征个数,并在时间运行方面有一定的优势。

基于对称不确定性和Lasso的基因数据特征选择算法

基于目前肿瘤基因表达谱数据在医学相关结合行业的广泛普及,运用特征选择算法对其处理成了如今大量学者们的重点研究方向。基于此,提出了一种FCBF-Lasso结合算法。首先,采用FCBF算法对各基因数据集进行特征选择,通过删除冗余的和不相关的特征,得到特征子集;然后,再利用Lasso方法对得到特征子集进行特征选择,进一步地删除冗余特征,得到对应基因数据集的最优特征子集。算法采用FCBF算法的对称不确定性和Lasso方法的最小残差平方和作为度量特征之间以及特征与类之间相关性的评价准则,在一定程度上克服了两种算法的缺点。在6个基因数据集上与其它3种经典的特征选择算法进行比较,结果表明算法在选择最少特征数的最优特征子集和分类精度方面具有很好的优势。

一种新颖的基于混合不确定性的特征选择方法

基于混合不确定性的特征选择方法(简称SU-P方法),利用对称不确定性找出相关特征,并利用偏相关分析去除数据集中的冗余特征。将SU-P方法与其它传统算法进行了仿真对比。

基于交互信息的两阶段特征选择算法

针对传统特征选择中只考虑了特征的相关性和冗余性而忽略了特征间交互作用的问题,提出一种基于交互信息的两阶段特征选择算法(SAMBFC)。通过对称不确定性和强近似马尔可夫毯原理进行无关特征和冗余特征的筛选;利用特征间交互增益和基于相关性特征选择算法构建一种特征间互补性评价方法,选取具有交互作用的冗余特征。在9个不同维度的标准数据集上与8种典型算法进行对比实验和分析,其结果表明,SAMBFC算法所选特征的分类性能以及综合表现明显优于其它算法。

基于属性约简的加权朴素贝叶斯分类算法

朴素贝叶斯在处理分类问题上简单高效,通常它假设属性间是条件独立的,且各属性变量对类变量的影响程度是相同的,但在实际应用中这些都难以被满足,从而使得其分类性能降低.因此,提出基于属性约简的加权朴素贝叶斯分类算法,该算法首先根据各属性不同取值的分类能力及属性间的对称不确定性大小,去除了无关属性和冗余属性,使得筛选后的属性之间具有较低的关联度和较强的分类能力;然后再结合属性与类变量及属性间的相关性对各属性进行加权;最后对待判样本进行分类.经实验结果表明,该算法有效地提升了朴素贝叶斯的分类性能.

特征选择方法中三种度量的比较研究

不同类型数据中特征与类别以及特征与特征之间存在一定的线性和非线性相关性。针对基于不同度量的特征选择方法在不同类型数据集上选取的特征存在明显差别的问题,本文选择线性相关系数、对称不确定性和互信息三种常用的线性或非线性度量,将它们应用于基于相关性的快速特征选择方法中,对它们在基因微阵列和图像数据上的特征选择效果进行实验验证和比较。实验结果表明,基于相关性的快速特征选择方法使用线性相关系数在基因数据集上选取的特征集往往具有较好分类准确率,使用互信息在图像数据集上选取的特征集的分类效果较好,使用对称不确定性在两种类型数据上选取特征的分类效果较为稳定。

面向多类不均衡网络流量的特征选择方法

针对网络流量分类中的多类不均衡问题,提出一种基于相对不确定性和对称不确定性的Hybrid型特征选择方法。首先,利用相对不确定性为每个类选择候选特征集;然后,保留每个候选特征集中对称不确定性较高的特征并去除其他特征;最后,利用基于C4.5决策树的wrapper型特征选择方法确定最优特征子集。在真实网络流量数据集上的实验结果表明,与传统方法相比,该方法具有较高的整体准确率、小类召回率和g-mean值,从而可以减轻多类不均衡问题带来的不良影响。

一种启发式的局部随机特征选择算法

深入研究大间隔从样本间相似性、信息熵从特征间相关性进行特征选择的特点,提出一种有效地融合这两类方法的特征选择算法。采用Relief算法得到一个有效的特征排序,进而将其划分为若干区段。设置各区段的采样率,以对称不确定性作为启发因子获得每个局部随机子空间的特征子集。将获得的所有特征子集作为最终的特征选择结果。实验结果表明该方法优于一些常用的特征选择算法。

一种基于分类互补性的特征选择算法

针对特征选择中Filter与Wrapper方法分别存在的问题,本文提出了一种新的基于分类互补性分析的特征选择算法.该方法将Filter方法与Wrapper方法结合起来.先根据ReliefF评估和对称不确定性评估去除不相关特征,再使用对称不确定性评估去除冗余特征,最后使用基于分类互补性分析的Wrapper特征选择算法选出最后的目标子集.实验表明该算法结合了Filter与Wrapper两者的优点,具备了高准确性,同时可以减少时间开销.文章最后在数字乳腺图像肿块的检测中应用了该算法,得到了良好的效果.

面向类不平衡网络流量的特征选择算法

针对网络流量分类过程中出现的类不平衡问题,该文提出一种基于加权对称不确定性(WSU)和近似马尔科夫毯(AMB)的特征选择算法。首先,根据类别分布信息,定义了偏向于小类别的特征度量,使得与小类别具有强相关性的特征更容易被选择出来;其次,充分考虑特征与类别间、特征与特征之间的相关性,利用加权对称不确定性和近似马尔科夫毯删除不相关特征及冗余特征;最后,利用基于相关性度量的特征评估函数以及序列搜索算法进一步降低特征维数,确定最优特征子集。实验表明,在保证算法整体分类精确率的前提下,算法能够有效提高小类别的分类性能。

基于改进的C4.5算法的代码异味检测方法

为检测软件结构中的代码异味,提出在属性选择过程中将ReliefF算法和互信息结合,筛选出相关度大而冗余度小的条件属性集。传统C4.5算法在构造决策树时,只考虑条件属性和目标属性的相关度,忽略条件属性间的相关度,基于这个问题提出在C4.5算法中加入对称不确定性(SU),利用SU计算条件属性间的相关度,更新信息增益率的计算,提高代码异味检测精确度。对比实验结果表明,该算法能够提高代码异味的检测精确度,有利延长软件生存周期。

基于机器学习的混合式特征选择算法

针对CFS算法中优先选择数量较多的特征属性的问题,引入了信息增益比和对称不确定性的改进CFS算法。同时,为了进一步降低特征维数,提高分类效率,提出一种基于filter-wrapper模型的混合式特征选择方法,先采用改进后的CFS算法过滤无关特征;再基于精简子集,采用封装式选择中的序列后向搜索算法,结合决策树选取最优子集。仿真实验表明,采用该方法选择的特征子集具有更好的分类能力,同时发现该方法在不同的分类模型中泛化能力也有着不同的表现。

一种采用冗余性动态权重的特征选择算法

由于候选特征与类标签间的相关性,候选特征、已选特征与类标签间的交互性以及特征间的冗余性是特征选择算法应考虑的重要因素,而一些基于互信息和三维互信息的特征选择算法没有同时考虑相关性、交互性和冗余性信息,这影响了它们的性能。针对该问题,提出一种采用冗余性动态权重的特征选择算法,将对称不确定性和三路交互信息作为评价指标,采用一种动态更新特征权重的方法使目标函数在考虑相关性、交互性的基础上,同时考虑特征间的冗余性。在10种数据集上利用3种分类器与典型的基于互信息的特征选择算法做了对比实验,结果表明所提算法具有更好的特征选择性能。

基于改进MDS的软件缺陷预测

随着计算机技术的发展,计算机软件产品给个人和企业都带来了很多方便,但很多软件也会存在各种缺陷。为了找到并解决软件中存在的缺陷,研究者将机器学习等方法应用到软件缺陷预测之中,但这些方法在数据预处理方面还存在很多需要改善的地方。在之前的研究中,有研究者使用多维尺度分析(MDS)对数据样本进行降维,但关于如何使用和改善MDS的方法却很少。文中提出了基于阈值相关性的多维尺度分析(TC_MDS)方法,在使用MDS方法的基础上,使用对称不确定性(SU)方法提取具有高鉴别的特征,并使用阈值相关性去除冗余特征。该方法学习得到的数据具有高鉴别性,去除了冗余特征,从而提高了预测效率。在软件工程NASA数据库上的实验结果表明,提出的方法具有较好的缺陷预测效果。

SU-GA-SVM在网络入侵检测中的应用

随着网络技术的迅速发展,网络信息安全成为一个极具挑战性的研究领域。入侵检测系统(IDS)作为网络防御的一个重要角色,它对网络中流量进行实时监视,以识别各种网络安全漏洞。本文提出了基于对称不确定性特征提取和遗传算法优化参数组合的支持向量机(SU-GA-SVM)模型,并将其应用于KDDCUP’99数据集进行入侵检测仿真实验,实验结果表明该分类器能够有效地提高IDS的分类检测精度,误警率也明显降低。