基于自适应密度邻域关系的多标签在线流特征选择

流特征选择指从以流形式到来的特征数据中选出最优特征子集,现有方法大多在模型训练中需要事先学习领域信息并预设给定参数值。实际应用中,由于不同的数据集数据结构和来源不同,在模型学习过程中研究人员无法提前获取相关领域知识且针对不同类型数据集指定一个统一参数存在巨大挑战。基于此,提出一种基于自适应密度邻域关系的多标签在线流特征选择方法(multi-label online stream feature selection based on adaptive density neighborhood relation,ML-OFS-ADNR),基于邻域粗糙集理论,所提方法在特征依赖计算时无需任何先验领域信息。此外,提出了一种新的自适应密度邻域关系,使用周围实例的密度信息,可以在流特征选择过程中自动选择适当数量的邻域,不需要事先指定任何参数。通过模糊等价约束,ML-OFS-ADNR可以选择高依赖低冗余度的特征。实验表明在10种不同类型的数据集上,所提方法在特征数量相同的情况下优于传统特征选择方法和先进的在线流特征选择方法。

基于特征交互的层次分类在线流特征选择

在开放动态环境下的分类学习任务中,数据特征空间具有动态性,标记空间存在层次化结构.现有的层次分类在线流特征选择算法可以选择较优的特征子集,但这些算法忽略了特征之间存在的交互作用.基于此,提出了一种基于特征交互的层次分类在线流特征选择算法.首先,设计了一种基于层次邻域依赖度去判断特征交互的计算方法;其次,针对层次化结构数据,根据层次结构中不同节点间的兄弟关系定义邻域粗糙集模型;最后,设计了具有在线重要性分析、在线冗余性分析以及在线交互性分析的层次分类在线流框架,用于选择强相关和存在交互作用的特征子集.在6个层次数据集上的实验验证了所提算法具有较优的综合性能.

基于自适应领域粗糙集的多标签在线流特征选择

多标签特征选择指在多标签场景下选出代表性属性.已有的多标签特征选择方法大多集中在事先获得全部特征空间,而没有考虑流式特征情况.随着时间的推移,这些特征不断地流入模型中.此外,一些流方法需要在学习之前指定参数.因此,在训练不同类型数据集之前,如何选取统一和最优参数成为一种难题.基于此,本文定义自适应邻域粗糙集关系-Gap,并提出自适应领域粗糙集多标签在线流特征选择方法(Multi-Label Online stream Feature Selection based on Adaptive Neighborhood Rough Set,ML-OFS-ANRS).其中邻域粗糙集的数据挖掘不需要任何特征空间结构的先验知识,在处理混合数据时也不会破坏数据的邻域和顺序结构.在第一阶段,根据动态最大依赖将相关和重要的特征选择到已选子集中.为过滤冗余特征,计算每个特征的重要性,并在已选子集中执行并行归约作为第二阶段.因而,采用"动态最大依赖、在线冗余减少"评价标准,ML-OFS-ANRS可以选择高相关性、低冗余的特征.实验表明,在10种不同类型的数据集上,ML-OFS-ANRS在特征数量相同的情况下优于传统特征选择方法和先进的在线流特征选择算法.

基于ReliefF的层次分类在线流特征选择算法

在图像标注、疾病诊断等实际分类任务中,数据标记空间的类别通常存在着层次化结构关系,且伴随着特征的高维性。许多层次特征选择算法因不同的实际任务需求而提出,但这些已有的特征选择算法忽略了特征空间的未知性和不确定性。针对上述问题,提出一种基于ReliefF的面向层次分类学习的在线流特征选择算法OH_ReliefF。首先将类别之间的层次关系融入ReliefF算法中,定义一种新的面向层次化数据的特征权重计算算法HF_ReliefF;其次,利用特征对决策属性的划分能力动态选择重要特征;最后,基于特征之间的独立性对特征进行动态冗余分析。实验结果表明,与五种先进的在线流特征选择算法作对比,OH_ReliefF算法在K最邻近(KNN)分类器和拉格朗日支持向量机(LSVM)分类器的各个评价指标中都取得较优的结果,准确率最少提高7个百分点。

基于邻域粗糙集的大规模层次分类在线流特征选择

在分类学习任务中,数据的类标记空间存在层次化结构,特征空间伴随着未知性和演化性.因此,文中提出面向大规模层次分类学习的在线流特征选择框架.定义面向层次化结构数据的邻域粗糙模型,基于特征相关性进行重要特征动态选择.最后,基于特征冗余性进行鉴别冗余动态特征.实验验证文中算法的有效性.

基于层次类别邻域粗糙集的在线流特征选择算法

在开放动态环境中,在线流特征选择是降低特征空间维度的有效方法 .现有的在线流特征选择算法能够有效地选择一个较优的特征子集,然而,这些算法忽略了类别中可能存在的层次结构.基于此,提出基于层次类别邻域粗糙集的在线流特征选择算法:首先,在邻域粗糙集中引入层次最近异类的邻域关系,避免邻域粒度的选择,借助层次结构计算特征对标记的层次依赖度,推广邻域粗糙集模型以适应层次类别数据;其次,基于层次依赖度提出三个在线特征评价函数,设计了在线相关选择、在线重要度计算和在线冗余更新的层次特征选择框架;最后,在六个层次类别数据集和八个扁平单标记数据集上的实验表明,提出的算法优于现有最先进的在线流特征选择算法.

基于邻域决策误差率的层次分类在线流特征选择

在实际应用领域中,存在许多特征空间无法预先给定的场景,数据以特征流的形式随时间动态流入特征空间,而样本数量是固定不变的.同时,数据的类别中往往存在丰富的层次化结构关系,传统的特征选择算法在性能上已无法满足需求.基于此,本文提出一种面向层次分类学习的在线流特征选择算法.首先,利用兄弟节点之间的关系设计了一种基于最大近邻的决策误差率计算公式.其次,设计在线重要性选择和在线冗余更新两种在线评估准则,用于选择决策误差最小的特征子集.最后,在6个层次数据集上的实验结果表明,所提算法优于一些现有的在线流特征选择算法.

面向长尾分布数据的在线流特征选择

在开放动态环境下分类学习的任务中,数据通常存在类别长尾分布的特点,且数据标记空间存在层次化结构关系以及动态性.针对实际任务中不同的需求,许多特征选择算法被提出,但是这些已有的特征选择算法忽略数据的长尾分布特点和特征空间的不确定性.针对上述问题,文中提出基于邻域粗糙集的长尾分布数据在线流特征选择算法.借助邻域粗糙集模型,并考虑邻域内样本间的关系后,定义了自适应邻域关系,设计基于稀有类样本重要性的依赖度计算公式.同时,利用层次结构降低类别不平衡性,提出在线冗余度分析和在线重要度分析两种在线特征评价指标,用于选出具有高可分离性和强区分性的特征子集.实验结果表明所提算法优于其它先进算法.