一种不平衡数据流集成分类模型

针对不平衡数据流的分类问题,结合基于权重的集成分类器与抽样技术,本文提出了一种处理不平衡数据流集成分类器模型.理论分析与实验验证表明,该集成分类器具有更低的计算复杂度,更能适应存在概念漂移的不平衡数据流挖掘分类,其整体分类性能优于基于权重的集成分类器模型,能明显提升少数类的分类精度.

数据流挖掘分类技术综述

数据流挖掘作为从连续不断的数据流中挖掘有用信息的技术,近年来正成为数据挖掘领域的研究热点,并有着广泛的应用前景.数据流具有数据持续到达、到达速度快、数据规模巨大等特点,因此需要新颖的算法来解决这些问题.而数据流挖掘的分类技术更是当前的研究热点.综述了当前国际上关于数据流挖掘分类算法的研究现状,并从数据平稳分布和带概念漂移两个方面对这些方法进行了系统的介绍与分析,最后对数据流挖掘分类技术当前所面临的问题和发展趋势进行了总结和展望.

基于信息熵的数据流自适应集成分类算法

数据流分类模型是面向连续变化的实时分析的基本问题.目前大多数的数据流算法只针对突变式或渐变式概念漂移进行处理的,并未充分考虑概念会重现的特点.为此提出了一种具有概念漂移检测机制的自适应集成算法.从信息熵的角度出发,用Jensen-Shannon散度度量相邻两个窗口间数据分布的距离,不仅能检测出不同类型的概念漂移,且能有效地发现重现的概念;采用分类器池机制来保存历史概念,从而实现对概念的重用.将所提出的算法与几种经典的学习算法在人工合成和真实数据集上进行了广泛的对比实验.实验结果表明,所提出的算法在平均分类准确率上具有明显的优势,比其他集成算法消耗更少的时间,适合多种类型概念漂移的环境,并具有较高的抗噪性.

数据流上概念漂移的检测和分类

挖掘带有概念漂移的数据流对于许多实时决策是十分重要的.本文使用统计学理论估计某一确定模型在最新概念上的真实错误率的置信区间,在一定概率保证下检测数据流中是否发生了概念漂移,并将此方法和KMM(核平均匹配)算法引入集成分类器框架中,提出一种数据流分类的新算法WSEC.在仿真和真实数据流上的试验结果表明该算法是有效的.

数据流滑动窗口方式下的自适应集成分类算法

针对基于数据块的集成算法,存在数据块大小影响分类效果,且不能及时应对完整式概念漂移的问题,提出了一种考虑数据流局部特征的和能应对多种类型概念漂移的集成分类算法.用滑动窗口作为概念漂移检测器,当检测到概念漂移时,则建立新的分类器并加入到集成分类器中.本文提出的算法在人工合成和真实数据集上与经典算法进行了广泛的对比实验.结果表明:提出的算法在分类准确率上具有明显优势,消耗更少的内存,更适合多种类型概念漂移的环境.

基于相反分类器的数据流分类方法

目前挖掘概念流动的数据流已经成为研究的热点。概念流动的数据流分类在预防信用卡欺诈,网络入侵发现等应用中具有重要的应用。本文定义了一种相反分类器来从错误中学习,提出了训练一个集合分类器来对具有概念流动的数据流进行分类的算法I WB。通过在合成数据集和benchmark上的实验,与Weighted Baggging算法13比较,表明我们的算法具有更高的准确度,更快地收敛到新的目标概念的性能。

基于实例加权方法的概念漂移问题研究

数据流上的漂移概念发现已成为数据挖掘领域的研究热点之一。针对存在概念漂移的数据流分类问题,提出一种基于实例加权方法的数据流分类算法(EWAMDS),根据基分类器在训练实例上的分类结果调整该实例的权值,以增强漂移实例在新分类器中的影响,同时引入动态的权值修改因子以提高算法的适应性。实验结果表明,动态地调整实例的权值时算法的适应性更强;与weighted-bagging相比,EWAMDS的时间开销显著降低、分类正确率显著提高。

基于串行交叉混合集成的概念漂移检测及收敛方法

概念漂移处理大多采用集成学习策略,然而这些方法多数不能及时提取漂移发生后新分布数据的关键信息,导致模型性能较差。针对这个问题,本文提出一种基于串行交叉混合集成的概念漂移检测及收敛方法(Concept drift detection and convergence method based on hybrid ensemble of serial and cross,SC_ensemble)。在流数据处于平稳状态下,该方法通过构建串行基分类器进行集成,以提取代表数据整体分布的有效信息。概念漂移发生后,在漂移节点附近构建并行的交叉基分类器进行集成,提取代表最新分布数据的局部有效信息。通过串行基分类器和交叉基分类器的混合集成,该方法兼顾了流数据包含的整体分布信息,又强化了概念漂移发生时的重要局部信息,使集成模型中包含了较多“好而不同”的基学习器,实现了漂移发生后学习模型的高效融合。实验结果表明,该方法可使在线学习模型在漂移发生后快速收敛,提高了模型的泛化性能。

An ensemble method for data stream classification in the presence of concept drift

One recent area of interest in computer science is data stream management and processing. By ‘data stream', we refer to continuous and rapidly generated packages of data. Specific features of data streams are immense volume, high production rate, limited data processing time, and data concept drift; these features differentiate the data stream from standard types of data. An issue for the data stream is classification of input data. A novel ensemble classifier is proposed in this paper. The classifier uses base classifiers of two weighting functions under different data input conditions. In addition, a new method is used to determine drift, which emphasizes the precision of the algorithm. Another characteristic of the proposed method is removal of different numbers of the base classifiers based on their quality. Implementation of a weighting mechanism to the base classifiers at the decision-making stage is another advantage of the algorithm. This facilitates adaptability when drifts take place, which leads to classifiers with higher efficiency. Furthermore, the proposed method is tested on a set of standard data and the results confirm higher accuracy compared to available ensemble classifiers and single classifiers. In addition, in some cases the proposed classifier is faster and needs less storage space.

一种不平衡噪声数据流集成分类模型

针对不平衡噪声数据流的分类问题,本文利用基于平均概率的集成分类器AP与抽样技术,提出了一种处理不平衡噪声数据流的集成分类器(IMDAP)模型。实验结果表明,该集成分类器更能适应存在概念漂移与噪声的不平衡数据流挖掘分类,其整体分类性能优于AP集成分类器模型,能明显提升少数类的分类精度,并且具有与AP相近的时间复杂度。

基于堆叠集成的数据流分类

对数据流分类分析的常用方法是集成学习。为了得到更好的分类效果,给出一种基于堆叠集成的数据流分类分析方法。该方法通过构造一个分类器对基分类器进行集成。实验结果表明,与基于投票或加权投票的集成方法相比,基于堆叠集成方法对概念漂移的快速适应能力以及预测准确率得到了提高。

基于动态分类器集成的MEMS气体传感器阵列的气体定性识别方法

气体识别研究中,传感器的性能漂移问题始终是最具挑战的问题之一。为了减少漂移对气体识别的影响,利用动态分类器集成技术,针对基于MEMS技术的气体传感器阵列,提出了气体识别方法。主要关注对气体样本在任意浓度下的定性分析。该方法基于支持向量机(SVM)分类器,首先利用在不同时间段采集的数据分别训练SVM分类器,再利用各分类器对不同时期数据的最优权值,估计拟合函数的参数;然后利用拟合函数,根据数据的采集时刻,预测各分类器的权值;最终利用预测的权值,对所有分类器的识别结果进行集成,得到最终识别结果。利用累积三年的测量数据,对该方法与已有类似方法的性能进行了比较。结果显示,该方法可以在较长时间内具有更高的准确率,而且,该方法可以通过选择更合理的拟合函数,提高识别性能。

基于单类别学习的自适应数据流分类算法

目前挖掘概念流动的数据流已经成了研究热点。文章提出了一种既能很好地处理概念漂移又能从单类别中学习的算法UP-AB。通过在超平面数据集和标准数据集上的实验,与PNB[1]算法比较,表明该算法具有更高的准确度,能更快地适应概念漂移。

带重现概念漂移的不平衡数据流分类研究

数据流广泛存在于现实应用中,重现概念漂移和数据分布不平衡性是其重要特性,它们会导致传统数据流分类器负偏离、性能下降及学习时间倍增。针对重现概念漂移和数据分布不平衡的特点,本文提出重现概念漂移不平衡数据流的随机平衡采样集成分类算法(RBSRISEA),首先用随机平衡采样算法重新平衡数据分布,之后对预处理的数据流再进行重现概念漂移探测。实验表明,RBSRISEA对重现概念漂移有较强的敏感性和泛化能力。RBSRISEA可以处理带重现概念漂移的不平衡数据流分类问题。

基于情景特征的前馈动态集成分类器

集成分类器已被广泛应用于数据流分类模型以此削弱概念漂移的影响。通常当基分类器的分类准确率低于特定的阈值时,集成分类器开始学习代替分类准确率低的分类器,以此来克服概念漂移的影响。但仅当基分类器的错误率低于阈值时才开始学习会使集成分类器对当前概念的判断产生一定滞后性,所以本文在集成分类器的基础上,融入了情景特征的分析,采用信息增益的方法提取情景特征,通过动态设置情景特征的阈值来提前预测概念漂移的发生。当情景特征的变化超出情景阈值时,立即通知集成分类器重新学习产生新的基分类器,而不是等到基分类器的准确率低于集成分类器的阈值时才开始学习,这样便使集成分类器具有了一定的前馈性。通过对特定数据的实验分析,证明了本文提出的OCEC(Origin Characteristics Ensemble Classifier)模型降低了挖掘概念漂移数据流时的集成泛化误差,提高了检测概念漂移的有效性。

“惠施十事”新解读

对于“惠施十事”的含义，历来众说纷纭，了无定论，笔者从自己的解读原则出发，对“惠施十事”提出了新的解读。笔者认为，“惠施十事”不是辩题，而是一个概念体系。“惠施十事”阐述了十个概念，五对范畴，这五对范畴一方面将实在世界分为十类，另一方面又构筑了一个“名”或“名言”世界，这个“名”或“名言”世界的逻辑规则是“存在正面，必存在反面”，而这条规则就是可用以指导辩论的辩术，所谓的“辩者二十一事”也因这条规则而成立。

基于主动检测概念漂移的数据流多分类器方法

概念漂移检测技术是数据流分类研究领域的重要组成部分之一，但目前绝大多数数据流多分类器方法并没有明确提出概念漂移的检测方法。依据契比雪夫不等式，提出一种基于主动检测概念漂移检测的多分类器方法。通过实验表明该方法可以有效提高概念漂移的适应能力以及数据流多分类器方法的分类精度。

基于贝叶斯混合集成的概念漂移数据流分类

为有效解决概念漂移数据流分类问题,提出一种基于混合集成学习的概念漂移数据流分类方法。考虑数据分布特性与概念漂移速率这两个因素,将概念漂移的成因考虑到模型的构建中。采用混合集成学习框架,根据贝叶斯分类错误率来检测概念漂移,通过动态调整滑动窗口,实现不同类型概念漂移的自动识别。实验结果表明,对于不同类型概念漂移数据流的识别问题,该算法在抗噪和漂移检测方面均表现出良好的性能。

基于信息熵的动态数据流分类模型

为了有效解决因概念漂移造成的数据流分类失败问题,提高数据流分类模型分类准确率和抗概念漂移能力,提出了一种基于信息熵和分类器池的数据流分类模型。利用滑动窗口方法将动态数据流静态化,得到容量相同的数据块;采用信息熵算法对不同数据块之间进行概念漂移检测,当发生概念漂移时对分类模型进行更新,否则继续使用原有分类模型;对于历史出现的概念所对应的分类器,使用分类器池机制对其进行保存,以备后续使用。对多种数据与不同分类模型进行比较,比较结果表明了该模型的有效性。

基于特征漂移的数据流集成分类方法

为构建更加有效的隐含概念漂移数据流分类器,依据不同数据特征对分类关键程度不同的理论,提出基于特征漂移的数据流集成分类方法(ECFD)。首先,给出了特征漂移的概念及其与概念漂移的关系;然后,利用互信息理论提出一种适合数据流的无监督特征选择技术(UFF),从而析取关键特征子集以检测特征漂移;最后,选用具有概念漂移处理能力的基础分类算法,在关键特征子集上建立异构集成分类器,该方法展示了一种隐含概念漂移高维数据流分类的新思路。大量实验结果显示,尤其在高维数据流中,该方法在精度、运行速度及可扩展性方面都有较好的表现。