概念漂移检测与适应方法综述

随着数据信息的急速增长,数据流自身特征呈现多样化,这对概念漂移处理方法的研究提出了新的要求。以往基于性能退化的检测思路无法应对标签非即时可用环境,由此推动了无标签检测方法的研究。集成与增量学习的研究推动了漂移适应方法研究的进步。分别针对标签是否即时可用两种情况对漂移检测方法进行详细分析,同时以模型组成为基础,重点从集成角度对漂移适应方法进行分析说明。针对不同思路的漂移处理方法,从核心思路、对比模型、优点与局限性等方面进行全面总结,同时将不同思路的漂移处理方法进行整体对比。给出了该领域未来的研究方向,包括噪声区分、阈值设定与指标多样化的研究。

一种基于自编码器的无监督漂移检测算法

概念漂移是指现实世界中数据会随时间发生难以预见的变化,主要发生在机器学习任务中,导致预测模型的退化。为了降低概念漂移的影响,相关研究提出了一些漂移检测方法,但目前大部分方法都需要依赖真实标签来完成漂移检测,这在真实应用中很难得到保证。因此,提出了一种基于变分自编码器的无监督漂移检测算法,通过变分自编码器将计算数据分布差异的任务转换成对于重构损失的分布差异,有效降低了计算过程当中的计算开销,并且在保证检测效果的前提下,进一步降低了误检率。将之与当前的主流算法进行了对比实验,发现针对标准数据集,本算法在keystroke数据集的检测数高达3.9,同时在两个标准数据集上的误检数均为0,同时针对真实数据集,本算法使下游模型的准确率分别达到了82.8%和93.1%。用该算法对一个钢厂实际空气质量预测数据集进行测算,发现任务模型经过18次更新得到最小的均方根误差16.72,整体效果最好。

分段加权的概念漂移检测方法

针对现有漂移检测方法无法平衡检测延迟、误报与漏报以及时空效率等问题,提出一个新的阶段转换阈值参数,在概念漂移检测中引入包含“稳定阶段-警告阶段-漂移阶段”的分段加权机制,对实例分阶段地赋予权重,并将该机制应用在双层滑动窗口中;然后基于Hoeffding不等式提出一种分段加权的概念漂移检测方法(MSDDM)。在人工数据集上,相较于FHDDM、HDDM等漂移检测方法,MSDDM能够更快地检测出突变与渐变概念漂移,同时又能保持较低的误检率与漏检率;在真实数据集上,MSDDM相较于其他方法在大部分情况下都具有最高的分类准确率。实验结果表明,MSDDM能够以较高的漂移检测性能和较优的时空效率检测出数据流中的概念漂移。

基于经验模式分解的通信信号异常漂移检测

由于混合数字通信信号包含多个信道,且每个信道的特征不同,数据量相对较大,受到多种干扰的影响,信噪比较低,导致其异常漂移检测精度低。为此,提出多信道混合数字通信信号异常漂移检测方法。采用多线性主成分分析方法对通信信号展开降维处理;利用经验模式分解方法对降维后的通信信号分解,通过IMF能量确定异常漂移分量所处位置,实现通信信号异常漂移检测;建立RBF神经网络非线性滤波器,将信号漂移分量输入滤波器中,完成多信道混合数字通信信号的漂移校正。仿真结果表明,所提方法的信号降维效果好,信号异常漂移检测平均绝对误差较低,数字通信信号异常漂移校正质量高。

基于概念漂移检测的土石坝压实质量评价模型更新研究

土石坝压实质量评价模型的更新对保证其长期高精度评价压实质量具有重要的意义,然而目前对于压实质量模型的更新还缺乏相应的研究.借鉴流数据中概念漂移检测的思想,同时针对碾压施工流数据具有不平衡数据、含有噪声且流速缓慢的特点,本文提出了一种基于概念漂移检测的土石坝压实质量评价模型更新方法.首先提出基于K-means的下抽样技术处理不平衡数据;其次提出基于增强概率神经网络(enhancedprobabilisticneuralnetwork,EPNN)和可变窗口技术(variablewindowtechnique,VWT)的碾压施工流数据概念漂移检测方法;最后若检测到有概念漂移则进行压实质量评价模型的更新.工程应用表明:基于K-means的下抽样技术能保证分类器具有较高的一致性;基于EPNN与VWT的方法能有效地检测出碾压施工流数据概念漂移;同时以出现概念漂移为条件而更新的压实质量评价模型能够长期高精度评价压实质量.

无线传感器网络节点定位与漂移检测

节点定位是无线传感器网络(Wireless Sensor Networks,WSN)关键支撑技术之一,针对实际应用场景中节点漂移现象,提出了一种包含信标漂移检测和节点重定位的节点定位方法 RI-MDS.RI-MDS将基于测距的MDS和非测距的MDS方法进行整合完成节点定位,并通过比较相对坐标矩阵的差异进行漂移节点检测,并通过提升定位精度较高的普通节点为临时信标的方式解决节点重定位过程中可用信标不足的问题.RI-MDS将节点定位、漂移节点检测和节点重定位过程无缝结合.仿真实验表明RI-MDS具有较高的定位精度和漂移节点检测性能,具备有效性和实用性.

一种基于关系熵和J量值的网络事件关联模式漂移检测方法

针对传统的模式漂移检测方法无法直接适用于关联规则分析的问题,提出了一种基于关系熵和J量值的模式漂移检测方法。抽取并定义了4种特征属性:关系量RC、关系熵RE、窗口数WC和J量值,并通过对时间相邻的两个滑动窗口内的关系熵和J量值的取值分布进行假设检验,判断和定位模式漂移的发生,得到模式漂移影响较大的事件集和事件对集,它们可为关联规则的调整和更新提供支持。实验数据表明该方法准确可行。

基于VSM和LDA模型相结合的微博话题漂移检测

针对微博话题易漂移的特点,利用向量空间模型和LDA模型进行微博话题漂移检测.主要通过Gibbs采样算法获取每条微博中词汇的概率分布,基于词汇的概率分布进行微博间相关性度量,采用动态常数法实现话题边界标识,在话题域中计算词汇信息熵并抽取话题词,生成话题向量空间模型,通过话题向量空间模型在离散时间序列模型下的话题词序列比对,实现话题的漂移检测.通过实验发现,基于VSM和LDA模型相结合的微博话题漂移检测是一套行之有效的方法.

残差深度特征和漂移检测的核相关滤波跟踪

传统特征的片面性,传统跟踪模型对于模型漂移问题检测手段和补救措施的缺乏,限制着传统跟踪算法的性能.因此,本文提出了一种残差深度特征和漂移检测的核相关滤波跟踪算法.通过卷积神经网络提取分层特征,在卷积神经网络加入残差结构,连接不同的网络层,实现浅层和深层特征的融合.不需要人为设计特征融合方式,网络结构能够自动实现特征融合的功能.用深度特征区分目标和背景,比传统特征更具有分辨力,跟踪结果更精确;在预测当前帧的目标位置时,设计了一个响应强度下降计数器.计数器根据相邻连续帧响应强度的变化计数.每一帧根据计数器的数值判断是否出现模型漂移,并采取相对应的模型更新方案作为补救措施.响应强度下降计数器检测模型漂移的策略能够处理不同场景下跟踪目标的任务,实现鲁棒跟踪.在与当下的几种跟踪算法比较中,本文提出的跟踪算法在跟踪精度和鲁棒性都优于所对比的算法.

基于信息熵的概念漂移检测

文章针对概念漂移检测分类器很难维持较高的分类性能,存在错误检测和延迟检测等问题,提出了一种基于信息熵的概念漂移检测算法。首先,使用信息熵对动态数据流中的概念漂移进行检测;然后,将检测到的概念漂移信息,在概念池中进行汇总和统计;最后,使用了两种公开的真实数据和一种人造概念漂移数据进行实验,并对实验结果进行分析,验证了模型的有效性和正确性。实验结果表明,该算法可以有效地检测概念漂移和更新分类器,同时表现出较好的分类性能。

基于语义的文本数据流概念漂移检测算法

文本数据流中概念的频繁漂移导致有效信息不足,从而使得漂移检测和数据流分类准确率下降。针对该问题,引入潜在狄利克雷分布模型并考虑文本数据流隐含的语义信息,提出一种新的概念漂移检测算法。计算相邻模块中词和主题特征空间的语义相似度,其中主题的相似度根据主题-单词概率分布进行评估,当2个特征空间相似度都较低时判断为发生概念漂移。实验结果表明,与DDM、CDRDT、DWCDS、HDDM-W-Test和REDLLA算法相比,该算法对文本数据流中概念漂移的检测性能均有所提升,尤其在概念频繁漂移时可以显著减少漏检数量。

基于日志完备性的过程漂移检测方法

过程挖掘中漂移检测的目的是通过检测日志的变化来断定模型是否发生了改变,然而现有方法存在抽取特征量大、检测延迟及无法准确定位变化区域的局限。针对突发漂移检测提出一种基于完备性的漂移检测算法。首先,将突发漂移检测转换为日志中局部完备性计算问题;然后,利用切比雪夫不等式推断完备性表达式;进一步,通过可选参数的窗口来训练完备性初始值,避免选择及并发结构的干扰;最后,定义了切割操作对漂移之前的完备值进行清除,进而对日志进行迭代检测。通过多组模型数据进行了实验评估,并与已有方法进行对比,验证了所提方法的有效性。

单触发序列突发漂移检测算法

针对现有的漂移检测算法不适用于解决单触发序列的漂移问题,提出一种基于活动距离变化的突发漂移检测方法。首先,提取每个滑动窗口中活动的关系矩阵来获取关系的特征向量;其次,为了降低关系矩阵的维度,通过计算滑动窗口之间活动的杰卡德距离,将活动的关系矩阵转换为杰卡德距离分布矩阵;然后,采用KL散度比较相邻距离矩阵中概率分布的变化来定位漂移区间;最后,为了解决粒度大小引起的不确定性问题,以循环关系的位置为窗口大小依次遍历并求得漂移区间的交集来定位漂移点。通过实验对包含12种变更模式且每种模式有5个不同大小日志的模拟数据集和两个软件仓库的执行日志的真实数据集进行了评估。结果表明,该方法可以对单触发序列的突发漂移进行有效定位。

联合样本输出与特征空间的半监督概念漂移检测法及其应用

城市固废焚烧(Municipal solid waste incineration,MSWI)过程受垃圾成分波动、设备磨损与维修、季节交替变化等因素的影响而存在概念漂移现象,这导致用于污染物排放浓度的建模数据具有时变性.为此,需要识别能够表征概念漂移的新样本对污染物测量模型进行更新,但现有漂移检测方法难以有效应用于建模样本真值获取困难的工业过程.针对上述问题,提出一种联合样本输出与特征空间的半监督概念漂移检测方法.首先,采用基于主成分分析(Principal component analysis,PCA)的无监督机制识别特征空间内的概念漂移样本;然后,在样本输出空间采用基于时间差分(Temporaldifference,TD)学习的半监督机制对上述概念漂移样本进行伪真值标注后,再用Page-Hinkley检测法确认能够表征概念漂移的样本;最后,采用上述步骤获得的新样本结合历史样本对模型进行更新.基于合成和真实工业过程数据集的仿真结果表明所提方法具有优于已有方法的性能,能够在加强模型漂移适应性的同时有效缩减样本标注成本.

基于聚类分区的多维数据流概念漂移检测方法

对数据流中的潜在信息进行分析和利用是数据流挖掘工作的重要内容。然而,数据的分布会随着时间的推移发生变化,从而使学习假设发生更改,这就是概念漂移现象,它给数据流挖掘带来了巨大的挑战。检测数据分布的变化是一种直接且有效的概念漂移检测方法,目前,已有研究方法基于树型结构或网格结构建立直方图,实现对数据分布的描述,但是,此类方法在进行分布检测时容易产生检验盲点,其可解释性较差,并且在多维数据上的内存消耗较大。文中提出了一种基于等密度分区的概念漂移检测方法PUDC(Partition Based on Uniform Density Clusters),该方法基于改进的k-Means算法,对数据进行等密度分区,利用卡方检验对每个分区进行统计和计算,从而检测数据分布变化,以达到概念漂移检测的目的。为了验证方法的有效性,选取了4个人工数据集和3个真实数据集进行实验,对比分析了不同维度的数据下的I类错误率和II类错误率,实验结果表明,PUDC算法在多维数据流的概念漂移检测中相比几种较新的算法具有一定的优势。

基于漂移检测的流程变体差异分析方法

传统的流程挖掘技术通常假设过程模型在服务期间不会随时间改变,但是实际过程模型在执行中总是动态调整的。检测漂移发生的时间点并确定漂移过程中所涉及的行为变化,可以帮助业务分析人员更好地理解流程行为。目前大多数方法侧重于漂移检测和变体差异分析这两个独立的任务,但漂移检测仅能单纯定位发生变化的关键点,不能对漂移点前后流程行为的变化进行描述,因而无法有效地对流程进行配置和维护。因此,提出一种集漂移检测和流程变体差异分析于一体的综合方法,既能检测漂移又能对漂移后流程行为的差异进行具体分析。应用不同类型的控制流变化得到的事件日志来评估该方法,验证了所提方法的有效性。

流数据概念漂移检测研究进展

概念漂移检测是提高决策模型精度与性能的核心技术,能够高效快速地帮助基于流数据驱动的信息处理系统和决策支持系统适应新的分布或属性,已成为近年来的研究热点。文章介绍了流数据产生的原因、特点以及流数据概念漂移的定义和性质,针对概念漂移的重要环节——漂移检测,从基本框架、算法分类、数据集等方面进行了详细阐述,总结了漂移检测方法,并展望了将来可能的研究方向。

概念漂移检测算法综述

随着大数据时代的到来,一种区别于传统数据的流式数据大量涌入人们的生活,其特征是高速、连续、多变、无限、概念漂移.概念漂移是指数据的分布随时间发生变化的一种现象,如何检测概念漂移,即检测数据分布发生变化的时间点是数据流挖掘的研究热点.对概念漂移检测算法进行综述,首先,介绍概念漂移的定义、来源、概念漂移检测的一般框架;然后,按照概念漂移类型将现有概念漂移检测算法划分为主动检测和被动适应两大类,分别对比了每一类主要算法的优缺点;最后,展望了概念漂移检测算法的未来研究工作.

一种检测兴趣漂移的图结构推荐系统

协同过滤是构造推荐系统最有效的方法之一.其中,基于图结构推荐方法成为近来协同过滤的研究热点.基于图结构的方法视用户和项为图的结点,并利用图理论去计算用户和项之间的相似度.尽管人们对图结构推荐系统开展了很多的研究和应用,然而这些研究都认为用户的兴趣是保持不变的,所以不能够根据用户兴趣的相关变化做出合理推荐.本文提出一种新的可以检测用户兴趣漂移的图结构推荐系统.首先,设计了一个新的兴趣漂移检测方法,它可以有效地检测出用户兴趣在何时发生了哪种变化.其次,根据用户的兴趣序列,对评分项进行加权并构造用户特征向量.最后,整合二部投影与随机游走进行项推荐.在标准数据集MovieLens上的测试表明算法优于两个图结构推荐方法和一个评分时间加权的协同过滤方法.

基于小波包分析的激磁信号相位漂移检测方法

提出了一种基于小波包分析的激磁信号相位漂移检测方法,能够以较高的精度检测出相位信号的瞬时漂移。仿真结果验证了方法的有效性。