基于投影数据库的序列模式挖掘增量式更新算法

针对序列模式挖掘中的增量挖掘问题,提出一种序列模式更新算法ISPBP.算法引入序列数据库结构来存储从原始数据库中挖掘出的所有项、最大频繁模式以及它们的支持数,采用间接拼接方法,只需处理增量数据库,避免了对更新后数据库的重新计算.对于因增量数据库新产生的频繁模式,利用了在增量数据库中出现的频繁项集来减小投影数据库,进一步提高了算法的效率.理论分析和实验表明,算法是有效可行的,并且增量数据库越大,算法在效率上的优越性越明显,算法ISPBP优于传统增量式更新算法.

无重复投影数据库扫描的序列模式挖掘算法

序列模式挖掘在Web点击流分析、自然灾害预测、DNA和蛋白质序列模式发现等领域有着广泛应用.基于频繁模式增长的PrefixSpan是目前性能最好的序列模式挖掘算法之一.然而在密数据集和长序列模式挖掘过程中会出现大量的重复投影数据库,使得这类算法性能下降.算法SPMDS通过对投影数据库的伪投影做单项杂凑函数,如MD5等,检查是否存在重复的投影数据库,避免大量重复数据库的扫描,并采用一些必要条件简化投影数据库的搜索,进而提高算法的性能.实验和分析都表明SPMDS性能优于PrefixSpan.

基于投影数据库的改进单向COFI-tree关联分类

针对关联分类算法面对大数据集事务库时的候选集庞大、难以生成挖掘数据结构和高资源消耗等问题,提出了一种基于投影数据库的改进单向COFI-tree频繁项集生成算法,结合相关性度量等剪枝操作提取高效的分类规则,通过分治数据库有效降低整个数据库对资源的需求,减小对频繁项集的搜索空间和非频繁项集的数量,从而实现对频繁项集生成的优化过程.实验结果表明该算法通过生成初始投影数据库,并利用单向COFI-tree挖掘频繁项集的时间远小于同类算法对数据集进行直接挖掘,为大数据集的关联分类挖掘提供了一种新的解决途径.

缩减投影数据库规模的增量式序列模式算法

在增量式序列模式挖掘算法中,数据库更新只有插入和扩展2种操作,未考虑序列删除的情况。为此,提出一种基于频繁序列树的增量式序列模式更新算法(IUFST)。在数据库和支持度发生变化时,IUFST算法分不同情况对频繁序列树进行更新操作,缩减投影数据库的规模,提高算法效率。实验结果表明,该算法在时间性能上优于PrefixSpan算法和IncSpan算法。

重复投影数据库下的优化挖掘方法研究与仿真

进行重复投影会使数据库中出现大量冗余数据,使得数据特征之间出现相似性干扰。传统的挖掘方法,遇到特征相似性情况时,以模糊规则建立挖掘关联规则,在建立模糊规则时,一旦特征过于接近,需要加入很多的约束条件,计算过程较为繁琐,导致数据挖掘准确性差、效率低的问题。提出基于贝努里模型的大量重复投影数据库下优化挖掘方法,依据等级分组识别重复投影数据,建立贝努里模型。根据冗余属性的贡献及区分能力的不同,确定两个分类贡献系数。依据两个先验概率值,依次放大两个分类贡献系数倍。通过改进贝努里事件模型中条件概率中的估计方法,划分大量重复投影数据库下的重复数据,实现大量重复投影数据库下的优化挖掘,提高数据搜索效率。仿真结果表明,改进方法不仅具有较优的挖掘性能,而且挖掘效率高。

基于有序FP-tree结构和投影数据库的最大频繁模式挖掘算法

OPFP-MAX是基于有序FP-tree结构和投影数据库的最大频繁模式挖掘算法。有序FP-tree结构不仅可以减少空间的浪费,而且由于树结构的有序性,在挖掘数据时可以减少挖掘事务项的数量,从而加快挖掘效率。算法采用垂直投影方案实现数据分解,基于投影数据库创建局部树结构,从而进一步减少对系统空间资源的浪费。采用优化策略加快挖掘效率。实验验证了算法的可行性和优越性。

挖掘RFID数据库中多维频繁路径的研究

针对应用于物流和供应链管理的射频识别（RFID）系统产生的海量路径数据集中的多维频繁路径挖掘的问题进行了深入的研究，提出了Dim-path与Path－dim两种不同的顺序处理非路径维数据和路径数据的多维频繁路径挖掘算法。这两种算法根据RFID路径数据自身的特点，将RFID数据划分为非路径维数据、位置数据、停留时间数据，将多维路径挖掘问题分解为多维模式分析与序列模式挖掘问题处理，来提高算法的效率。买验结果与算法分析都表明，Dim－path算法与Path－dim算法能够有效快速地挖掘多维频繁路径。

改进PrefixSpan的行为轨迹数据挖掘算法

针对用户行为轨迹数据挖掘PrefixSpan算法构造投影数据库过程中重复扫描而造成时空开销过大的问题,提出一种改进的序列模式挖掘算法TDM-PrefixSpan(trajectory data mining based on prefixSpan algorithm)。依据时间序列分布特征,采用具有轨迹数据预处理的SMM(statistical mobility model)算法,通过分段合并和自适应调整方法去除异常数据,解决轨迹数据存在大量pingpong效应的问题。采用频繁项集逆序挖掘序列模式,通过已挖掘序列模式集迭代去除冗余项集得到待挖掘序列模式集,缩短扫描候选数据库时间。数据集测试结果表明:SMM算法预处理后,原始数据库数据规模减小;通过对比可知,TDM-PrefixSpan算法能够有效降低时间复杂度,提升挖掘效率。

一种改进的LIPI数据挖掘算法的仿真分析

在传统LIPI数据挖掘算法中,需要反复扫描投影数据库寻找局部频繁项并重复构造大量重复投影,造成数据挖掘耗时,效率低下的不足。为了提高算法的计算速度,提出改进的LIPI数据挖掘算法。算法借助连接2-序列位置信息表(LIPI)找到序列模式的下一项,完成K-1序列位置信息与2-序列位置信息的连接,实现序列模式放缩式增长,得出K-序列与K-序列相应的位置信息数据,避免对投影数据库反复扫描;引入了BIDE算法的前后向剪枝策略,检查相同末项序列位置信息表进行前向剪枝,消除大量重复投影的构建,提高挖掘算法的效率。实验结果表明,改进后的算法能快速的寻找到局部频繁项,有效提高了数据挖掘的效率。

基于PrefixSpan的快速交互序列模式挖掘算法

为了克服序列模式挖掘过程中重复运行挖掘算法而产生的时空消耗,提出了一个快速、简单而有效序列模式的交互式算法FISPM,利用前次挖掘得到的序列构造序列模式数据库用来存储挖掘出来的所有序列,通过缩减本次挖掘所要构造投影数据库的频繁项的数量来减少构造投影数据库所需的时间以及投影数据库的大小,从而减少时间和空间消耗,提高挖掘效率.通过设置全局最小支持度来减少算法迭代次数.实验结果证明在交互挖掘过程中FISPM效率优于Pre-fixSpan.

基于改进PrefixSpan的序列模式挖掘算法

针对PrefixSpan算法构造投影数据库开销大的问题,提出一种基于改进PrefixSpan的序列模式挖掘算法SPMIP。该方法通过添加剪枝步和减少某些特定序列模式生成过程的扫描,来减少投影数据库的规模及扫描投影数据库的时间,提高算法效率,并最终得到需要的序列模式。实验结果证明在获得序列模式不受影响情况下,SPMIP算法比PrefixSpan算法效率更高。

基于位置信息的序列模式挖掘算法

PrefixSpan算法在产生频繁序列模式时会产生大量的投影数据库,其中很多投影数据库是相同的。提出了基于位置信息的序列模式挖掘算法——PVS,该方法通过记录每个已产生投影数据库的位置信息,避免了重复产生相同的投影数据库,从而提高了算法的运行效率。通过实验证明,该算法在处理相似度很高的序列数据时比PrefixSpan算法有效。

一种基于序列末项位置信息的序列模式挖掘算法

针对PrefixSpan算法中反复扫描投影数据库寻找局部频繁项并重复构造挖掘大量重复投影数据库的不足,提出一种基于序列末项位置信息的序列模式挖掘算法SPM-LIPT。通过连接2-序列位置信息表(LIPT)找到序列模式的下一项,实现序列模式增长,避免对投影数据库反复扫描;同时通过检查相同末项序列首位置信息表(SLIFPT)进行前向剪枝;消除大量重复投影的构建。最后通过实验证明了算法的有效性。

基于PrefixSpan的序列模式挖掘改进算法

针对序列模式挖掘算法PrefixSpan在挖掘过程中需要构造大量投影数据库的不足,提出IPMSP算法,在递归挖掘过程中,通过检查序列数据库关于前缀的前缀,避免对同一频繁前缀模式构造重复投影数据库,同时舍弃对非频繁项的存储并在投影序列数小于最小支持度时停止扫描投影数据库,从而提高PrefixSpan算法的时空性能。实验结果证明,IPMSP算法在时间和空间性能上优于PrefixSpan算法。

序列模式挖掘研究

为了更好地分析购物篮数据,挖掘出潜在客户,序列模式挖掘应运而生。序列模式挖掘是数据挖掘一个重要研究内容,近年来在很多领域得到广泛运用。概述序列模式挖掘的发展现状,研究基本挖掘框架的经典挖掘算法与扩展模型挖掘算法,特别针对近年来出现的新数据形式序列模式挖掘,以及基于零压缩二叉决策图(ZBDD)结构的挖掘算法做了阐述,最后对序列模式挖掘发展趋势进行了展望。

基于序列树的增量式序列模式更新算法

在序列数据库更新时,现有的增量式序列模式挖掘算法只提到序列的插入操作和序列的扩展操作两种情况,没有针对序列删除操作。提出了一种基于序列树的增量式序列模式更新算法(ISPST)。当数据库更新时,ISPST算法只需要对与删除序列有关的序列构造投影数据库,实现对序列树的更新操作,通过深度优先遍历序列树得到更新后数据库中的所有序列模式。实验结果表明,当支持度发生变化时,ISPST算法在时间性能上优于PrefixSpan算法和IncSpan算法。

一种高效的增量式序列模式挖掘算法

现有的增量式挖掘算法在支持度发生变化时,需要对序列数据库进行重复挖掘,为减少由此产生的时空消耗,提出一种高效的增量式序列模式挖掘算法。算法采用频繁序列树作为序列存储结构,当序列数据库和最小支持度发生变化时,通过执行更新操作,实现频繁序列树的更新,利用深度优先遍历频繁序列树找到序列数据库中所有的序列模式。实验结果表明,与IncSpan算法和PrefixSpan算法相比,该算法的挖掘效率较高。

一种基于频繁序列树的增量式序列模式挖掘算法

针对目前现有的增量式序列模式挖掘算法没有充分利用先前的挖掘结果,当数据库更新时,需要对数据库进行重复挖掘的问题。本文提出一种基于频繁序列树的增量式序列模式挖掘算法(ISFST),ISFST采用频繁序列树作为序列存储结构,当数据库发生变化时,ISFST算法分两种情况对频繁序列树进行更新操作,通过遍历频繁序列树得到满足最小支持度的所有序列模式。实验结果表明,ISFST算法在时间性能上优于PrefixSpan算法和IncSpan算法。

基于改进的Prefixspan算法的中文文本新词提取方法研究

该文尝试将序列模式挖掘算法Prefixspan应用于中文文本新词提取中,针对Prefixspan算法挖掘出的序列模式不连续、挖掘出的序列模式项相互间存在包含关系等问题,对算法进行改进,采用语义特征与统计相结合的方法,实现了从中文语料中有效提取新词。实验结果表明,该方法对于专业领域新词的识别具有较高的准确性。

基于PrefixSpan 序列模式挖掘的一种改进算法

PretixSpan算法解决了类Apriori算法的不足,但产生的投影数据库花费了较多的存储空间及扫描时间.本文基于PretixSpan算法提出PSD算法,舍弃了对非频繁项的存储及对投影序列数小于最小支持数的投影数据库的扫描,减少了不必要的存储空间,提高了查询速度.实验证明,PSD算法比PretixSpan算法具有更好的时空性能.