多层关联规则挖掘算法的研究及应用

针对商业银行业务系统中海量数据的分析和研究问题,提出了一种改进频繁项集挖掘算法FP-growth的多层关联规则数据挖掘算法。在对大量商业银行业务交易处理内在规律研究的基础上,依据利润度进行划分,使得该算法在满足用户需求的基础上,有效的缩小了层次结构树的规模,又加快了搜索的速度,从而提高了数据挖掘的效率。模拟算例表明,该算法有效可行,能够更好地适应商业银行交易系统层次结构在大型数据集的数据挖掘。

基于GEP的多层关联规则挖掘算法及其应用

为了在Web使用挖掘中挖掘网站服务器日志数据库的热点Web页面访问集及发现其关联规则,提出了一种新的基于GEP(gene expression programming,基因表达式编程)的适用于挖掘多层关联规则的算法。将泛化技术应用于GEP作为它的适应性函数度量,引入GEP强大的自搜索功能,进化到较优的种群后,再利用传统的支持度-置信度的方法在子数据库的多个层及层间挖掘频繁项及关联规则。该算法改进了传统多层关联规则挖掘框架,实验结果表明了该算法在大数据库中的有效性和高效性。

一种高效的多维多层关联规则挖掘算法

关联规则是数据挖掘中一个重要的研究方向。文章提出了一种基于遗传算法的多维多层关联规则挖掘算法。算法针对现有多维多层关联规则挖掘中存在阈值定义不合理的缺点,依据多维和多层数据的共同特点,提出了一种启发式的阈值自定义方式,来提高挖掘效率和结果的准确性。实验结果证明这种算法是有效。

数据立方体上多维多层关联规则挖掘算法

重点结合联机分析挖掘的思想,讨论了数据立方体上的多维多层关联规则挖掘。基于数据立方体和FP算法提出并构建了体现概念层次的Hib＆Dim FP树和其挖掘算法Hib＆Dim FP算法,并把此算法应用于数据立方体上的多维多层关联规则挖掘。最后的实验证明了该算法的有效性。

一种改进的多层关联规则挖掘算法

在传统的多层关联挖掘算法中,概念层次树只提供项目的概念分层信息,导致项目查找效率不高。为此,提出一种改进的多层关联规则挖掘算法。在概念层次树的节点中增加2个域,以获取各层的频繁1-项集,通过增加1个基于Hash表的辅助存储结构,以提高项目的查找效率。实验结果表明,与传统算法相比,改进算法的挖掘时间能缩短10%左右。

分布式数据库多层关联规则挖掘算法研究

对分布式数据库多层关联规则挖掘的理论和方法进行了研究,提出了一种基于频繁模式树FP-tree(FreguentPatterntree)的快速挖掘算法DMAML_FPT(DistributedMiningAlgorithmofMultipleLevelbasedonFP-tree)。与类Apriori算法相比较,该算法最多只需扫描数据库三遍,不需产生和传输大量的候选项集,减少了数据通信量,从而提高了数据挖掘的效率。实验结果表明算法DMAML_FPT是可行和有效的。

一种模糊多层关联规则挖掘算法

针对传统数据挖掘中的"尖锐边界"问题,采用将模糊理论和关联规则挖掘技术相结合的思想,在改进传统Apriori算法的基础上,结合多层关联规则挖掘的方法,提出了一种模糊多层关联规则挖掘算法。对模糊多层关联规则挖掘的基本概念进行了定义,详细描述了模糊多层关联规则挖掘算法。最后用Visual FoxPro 6.0语言实现了该算法程序,通过交易数据库挖掘实验表明算法是有效的。

一种改进的基于商品分类信息的多层关联规则挖掘算法

对基于商品分类信息的多层关联规则挖掘进行了深入研究,提出了一种改进的基于商品分类信息的多层关联规则挖掘算法,该算法可以有效提高其挖掘性能。

一种优化的生物数据多层关联规则挖掘算法

关联规则挖掘技术是寻找基因间关系的有效手段,但现有算法未针对高通量生物数据的特点进行优化,而存在着效率低下等缺点。提出的MAGO-FP算法,使用Gene Ontology(GO)的概念分层结构,通过对FP-Growth算法的扩展,具有一定的性能优势。在此基础上,应用该算法分析了一组由S.cerevisiae酵母菌cDNA微阵列芯片产生的实验数据,发现了一些候选关联规则。并针对其中一些重要的关联规则,通过相关文献证实了其真实性,表明该算法在基因表达分析等研究中具有应用价值。

基于关联规则的局部离群数据挖掘算法设计

针对现有挖掘算法在对局部离散数据挖掘时,存在挖掘结果关联度低、挖掘效率低的问题,引入关联规则,开展对局部离群数据挖掘算法设计研究。对需要挖掘的局部离散数据预处理,包括数据清洗、数据集成等。针对局部离散数据中的高维数据,提出一种基于属性相关分析方法,实现聚类。确定挖掘算法中的离群因子与链距离。最后,结合关联规则,实现对局部离散数据的并行挖掘。通过对比实验证明,新的挖掘算法挖掘结果关联度更高,且挖掘效率高,具备极高应用价值。

基于关联规则算法的电力企业财务信息异常数据智能挖掘方法

常规的电力企业财务信息异常数据挖掘方法以集群挖掘与分段挖掘为主,同一类别的异常数据挖掘效率较低,影响财务数据整合效果。因此,本文设计了基于关联规则算法的电力企业财务信息异常数据智能挖掘方法。此方法标注电力企业财务信息数据挖掘异常点,建立电力企业财务信息数据集,逐步探查数据集中的异常数据,并将异常数据汇总到一个数据单元中,形成财务信息数据异常点。本文基于关联规则算法挖掘电力财务异常频繁项集,在电力财务数据异常点中,挖掘出存在价值的信息,确保异常数据挖掘的准确性。采用对比实验,验证了该方法的数据挖掘准确性更高,能够应用于电力企业财务管理工作中。

基于Apriori算法的大学生体测项目关联规则挖掘

大学生身体素质是力量、速度、耐力、柔韧和灵敏的综合表现,为了测量大学生的身体素质情况并分析改善大学生的身体素质,本文分别测量了大学生中男生的各项指标(引体向上、50 m、1000 m、坐位体前屈和跳远)和女生的各项指标(一分钟仰卧起坐、50 m、800 m、坐位体前屈和跳远)。本文使用Apriori算法分别做了3组实验,即在最小支持度为50%和最小置信度为70%,最小支持度为60%和最小置信度为70%,最小支持度为70%和最小置信度为70%的前提下对某大学近5年的男生和女生的各项指标进行关联规则挖掘。实验结果表明:体重正常的学生每项体测分别及格的最小置信度都为70%以上,在所有关联项结果中最高的最小置信度为肺活量及格与体重正常的最小置信度为87.7%,而体重异常的学生体测分别及格的最小置信度都不大于70%。在所有关联项结果中身高与各项体测之间的最小置信度差异不明显。这验证了Apriori算法在大学生身体素质关联规则挖掘中发挥着重要的作用,利用挖掘出来的频繁项集,能够很好地辅助各大高校改善大学生的身体素质。

基于轨迹数据的大规模路网交通拥挤时空关联规则挖掘

提出了K近邻RElim(K neighbor-RElim,KNR)算法和时序K近邻RElim(sequential KNbrRElim,SKNR)算法,利用大规模路网的车辆轨迹数据来挖掘路段拥挤关联规则和拥挤传播时空关联规则。其中KNR算法在RElim算法基础上拓展了空间拓扑约束,可高效从大规模车辆轨迹数据集中挖掘路网中关联性拥挤易发路段,并量化这些路段间拥挤的关联性强度。而SKNR算法进一步以滑动窗口的形式拓展时间维度,可以挖掘出大规模路网中难以直接观测的拥挤传播现象,并追溯拥挤传播路径。以成都路网和车辆轨迹数据的挖掘结果对所提出的算法进行了说明和验证,结果表明了算法的有效性和鲁棒性。

改进多维关联规则算法在多源异构数据挖掘中的应用

针对传统多源异构数据挖掘方法存在的数据处理速度慢、加速比和分类精度低的问题,研究了改进多维关联规则算法在多源异构数据挖掘中的应用。利用改进多维关联规则算法分析数据之间的关联性,建立多源异构数据特征单元集合,根据数据权重与属性之间的相似度计算多源异构数据可信度,完成多源异构数据的预处理。计算多源异构数据的优先权值,并对数据进行排序处理,采用全局极小理论计算多源异构数据的适应度,以此搭建多源异构数据对象模型。以多源异构数据对象模型为依据,搜索出具有最大先验概率的数据划分策略,根据多源异构数据优化的目标函数设计了多源异构数据挖掘算法,实现了多源异构数据挖掘。实验结果表明,本文方法可以提高多源异构数据的处理速度,在加速比和分类精度上也具有一定的优势。

面向客户个性化产品配置的关联规则挖掘研究

针对个性化产品配置中难以获取隐性配置知识等问题,提出了基于关联规则挖掘方法来获取产品配置规则的方法,从而便于在配置过程中对客户进行个性化的推荐。基于产品配置的历史销售数据,应用基于双层遗传算法来实现了关联规则挖掘算法,并设计了遗传算法的编码表示和算子操作。最后,以平板电脑的客户配置案例为例,举例说明了所提出方法的有效性。实验表明,与经典的Apriori算法相比,所提出的方法能够自适应地获得规则支持度和置信度的阈值,避免了Apriori人为设置阈值所带来的不足之处,从而能够适用于大数据环境下产品的个性化推荐。

传统关联规则算法的改进及其验证研究

针对传统的Apriori算法在处理大规模数据集时面临的计算复杂度高和内存消耗大的问题,提出了在使用二进制编码的Apriori算法并采用Ray分布式框架以及与Sample动态采样算法结合--RBE-Apriori算法。将事务、候选集、频繁项集转化为二进制,并使用Sample动态采样算法对候选集进行处理,在生成关联规则的过程中使用Ray分布式框架,可以有效的减少生成关联规则的时间,从而提高算法效率。通过实验结果表明,改进的算法相比于经典Apriori算法,在生成相同频繁项集下,组合次数减少了65%,生成关联规则的时间上减少50%。

基于关联规则改进的网络异常数据挖掘方法

传统的网络异常数据挖掘方法在计算网络异常数据与相关核心的距离时存在准确度不高的问题,导致挖掘精度有限,因此研究提出一种基于关联规则算法的改进网络异常数据挖掘方法。首先,初始化网络异常数据关联核心,采用Kmeans算法对网络异常实体数据执行局部搜索和优化;其次,运用关联规则算法精确计算网络异常数据与关联核心之间的距离;最后,确定距离关联核心最远的网络异常数据,以完成挖掘过程。研究结果显示,在挖掘相同数量的网络异常数据时,相较于传统方法,该研究方法能显著增加正确挖掘出的网络异常数据比例,提升对网络异常数据的识别精准度,具有显著优势。

一种基于关联规则挖掘的配电终端单元故障分析方法

随着配电网的发展,大量配电终端单元(DTU)应用于电力系统。DTU故障会对电力系统的安全稳定运行构成威胁,因此降低DTU装置的故障发生率、提高故障排除效率具有重要意义。本文提出一种基于关联规则挖掘算法的DTU故障分析方法,首先分析DTU故障的关键因素,然后阐述Eclat算法的相关概念,并利用不同规模的DTU故障数据库对Eclat算法与FP-Growth和Apriori算法的性能进行比较,得到一种基于Eclat算法的DTU故障分析方法。利用真实的DTU故障数据库进行实验,验证了所提方法的有效性。最后,给出所提方法的应用实例,证明了其实用性。

基于免疫遗传算法的多维多层关联规则挖掘

提出一种基于免疫遗传算法的多维多层关联规则挖掘算法。免疫遗传算法具有很好的鲁棒性及全局搜索能力,能快速有效地进行全局优化搜索。针对现有多维多层关联规则挖掘中存在阈值定义不合理的缺点,依据多维和多层数据的共同特点,给出一种启发式的阈值自定义方式,结合免疫遗传算法提高挖掘效率和结果的准确性。结果表明,挖掘效率和质量有明显提高。

多维多层关联规则有效挖掘的新算法

提出根据信息熵划分属性值区间或集合、自动生成与人机交互相结合确定层次结构的方法,将多维多层多数据类型问题转化为受约束的一维单层布尔型问题.在此基础上,对直接生成频繁模式的FPT Gen算法进行了扩展,实现了有效挖掘多维多层关联规则的新算法MDML FPT Gen,其效率与可伸缩性均优于经典方法.