用变异FP-树改进CLOSET算法

频繁闭项集提供了频繁项集的一种完整、最小表示,对频繁闭项集的挖掘是近年来数据挖掘领域研究的热点,研究人员从不同角度对算法改进以提高算法的效率。基于频繁项集中共生项集的性质,提出无须进行子集检查的频繁闭项集挖掘方法,并设计一种变异的FP-树结构,利用FP-树结构来存储结点共生项集信息,以改进CLOSET算法,算法无须遍历结果集进行闭合性检查。实验表明,在支持度阈值减小,结果集变大时,改进算法的时间增长率比原有算法小。

微阵列数据中Top-k频繁闭合项集挖掘

现有大部分微阵列数据中频繁闭合项集的挖掘需要事先给定最小支持度,但在实际应用中该最小支持度很难确定。针对该问题,提出top-k频繁闭合项集挖掘算法,基于自顶向下宽度优先搜索策略挖掘项集长度不小于min_l的top-k频繁闭合项集,并对搜索空间进行有效修剪,从而提高搜索速度。实验结果表明,该算法的时间性能在多数情况下优于CARPENTER算法。

利用数据变换与并行运算的闭频繁项集挖掘方法

针对传统闭频繁项集(CFI)挖掘方法耗时长、效率低的问题,提出一种基于数据变换与并行运算(DTPC)的新型挖掘方法:设计基于质数对数运算的数据变换方法,将大量数据转换成简单的数字;利用Spark并行框架中的平方/开方运算将这些数字转换成频繁项集.3 000万篇文章的大数据集实验结果表明,提出的DTPC算法可以大幅度提升数据挖掘效率,同时减少计算资源的不必要浪费.

基于频繁闭项目集的关联规则挖掘算法

提出一种有效的基于频繁闭项目集的关联规则挖掘算法RIFCI.该算法采用挖掘频繁项目闭集取代传统的频繁项目集,同时在项目集和事务集中展开搜索.通过对UCI机器学习库中10个数据集的测试,与工业标准C4.5比较,错误率低于19.48%,在准确度不变的情况下,生成规则数目低于传统算法,提高了算法的效率.

基于关联分析的高维空间异常点发现

异常点发现是从大量数据对象中挖掘少量具有异常行为模式的数据对象,很多情况下,这些数据对象较之正常行为模式包含了更多用户感兴趣的信息.该文针对某些具体应用领域中的数据对象具有高维性的特点,利用关联分析知识,提出一种高维空间异常点发现算法,理论分析和实验表明,算法是有效可行的.

频繁项集快速挖掘算法研究

为了进一步提高频繁项集挖掘算法的可扩展性,对频繁项集的搜索空间以及FP-tree的操作方法进行了研究.提出了通过FP-tree的操作实现频繁项集快速挖掘的相关性质和新的搜索策略,在此基础上提出了基于FP-tree的频繁项集挖掘的改进算法.算法运用递增构建候选项集模式树的策略缩小搜索空间,运用FP-tree的部分遍历操作简化搜索过程.在多个标准测试数据集上的实验结果表明,该算法的执行时间比同类算法减少了一个数量级,且占用较少的内存空间,因此该算法对于提高频繁项集和频繁闭项集的挖掘效率具有明显的效果.

基于频繁闭项集压缩方法的郭淑云教授用药经验挖掘

目的通过对郭淑云教授2018年门诊处方数据进行分析,总结郭淑云教授用药经验。方法通过门诊HIS系统提取郭淑云教授2018年中药处方数据,经过预处理之后,应用基于最小覆盖的频繁闭项集压缩方法进行分析,从中总结郭淑云教授用药经验。结果 4936个中药处方中包含287味中药,通过344个频繁闭项集可以覆盖所有数据,从中进一步筛选出74个出现频次较高、更具有代表性的频繁项集。结论郭淑云教授临证常用小方,常用药对多为两三个药物的组合,例如枳实与白术,山药与茯苓,海螵蛸与煅瓦楞子,白芍与甘草等,研究方法有助于对名老中医经验进行挖掘。

基于频繁闭项集压缩方法的小儿脑瘫穴位配伍规律研究

目的利用西安中医脑病医院住院病历针灸穴位处方数据,分析治疗小儿脑瘫穴位配伍规律。方法从住院电子病历数据中提取诊断及针灸穴位处方信息,经过预处理之后,应用基于最小覆盖的频繁闭项集压缩方法进行分析,从中发现治疗小儿脑瘫的穴位配伍规律,并进一步分析穴位组合与证候诊断的相关性。结果701个针灸穴位处方中包含77个穴位,通过88个频繁闭项集可以覆盖所有数据,从中进一步筛选出15个更具有代表性的项集,覆盖了85%的数据。结论西安中医脑病医院治疗小儿脑瘫用穴相对固定,每个证型有对应的穴位基本方,在此基础上进行少量的加减,本研究方法可以应用于临床针灸处方数据的挖掘分析和名中医的经验传承。

基于频繁闭模式的故障状态简洁关联规则挖掘

利用关联规则建立故障与故障表象之间的关系,对故障进行分析和预测是一种重要的故障检测手段.然而普通关联规则具有表达冗余量大和计算复杂的缺点,为此,提出采用频繁闭模式的方法来挖掘故障特征间的关联关系,并以此建立故障分析过程.由于频繁闭模式挖掘剔除冗余复杂,计算量大,在挖掘简洁故障状态关联规则过程中,采用搜索空间提前剪枝的方法直接生成频繁闭模式,避免了保存频繁模式并反复扫描原始数据和过滤候选频繁闭模式的过程.同时整个挖掘结构在挖掘过程中由于不断被删除回收,占用内存会越来越少,最终在枚举出的基于闭模式简洁规则的基础上,建立故障事件转换图,进行故障诊断.实验部分验证了方法的有效性.

一种改进的线性时间封闭项集挖掘算法

主流数据挖掘算法不能有效解决大规模数值数据集挖掘问题。提出了一种应用于大规模数值数据集改进的线性时间封闭项集挖掘(improved linear time closed item sets mining,ILCM)算法。ILCM算法使用能够提取属性共同变化量的渐进模式挖掘方法,借鉴LCM算法的前缀保留闭合扩展思想,通过深度优先搜索输出频繁封闭渐进项集结果。实验证明,相比传统挖掘算法,ILCM能够显著提高算法运行效率和降低内存空间占用;并且能够有效处理如DNA微阵列等实际大型数值数据集挖掘。

基于概念格的频繁闭项集增量挖掘算法研究

近年的研究表明,概念格可以应用于解决频繁闭项集的挖掘问题.针对已有渐进式概念格构造算法中存在的问题,提出了一种基于概念格的频繁闭项集增量挖掘新算法——FIPT-I算法.新算法利用模式树对概念格进行组织,并利用模式树压缩数据库中的事务,在渐进式构造概念格的同时实现了事务的批处理,减少了概念格的调整操作时间.实验结果表明,与其他同类算法相比,FIPT-I算法对于增量挖掘频繁闭项集来说具有更高的效率.