一种改进的加权关联规则挖掘方法

考虑属性数量和属性权值对关联规则的影响,提出一种新的加权支持度和加权置信度计算方法,在挖掘加权关联规则时通过改进加权支持度设置模型保持Apriori算法的频繁集向下封闭特性。与Apriori算法和水平加权关联规则挖掘方法的比较结果证明该方法能快速有效地挖掘重要的关联规则。

基于加权频繁项集的文本分类规则挖掘

针对特征向量分量的权重和文本大小对分类规则产生的影响,提出一种可以提高关联文本分类性能的文本分类规则挖掘方法,提出了加权频繁项集的概念和相应的加权频繁项集挖掘算法,在分类规则中突出特征向量权重大的向量分量;提出一种特征向量预处理方法,消除文本大小对挖掘分类规则的影响。实验表明,解决上述两个问题将可以很好的提高文本分类的性能。

基于加权频繁模式树的通信网络告警规则挖掘方法

传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则自动挖掘方法,将原始告警数据按时间窗口方式进行分段处理,通过BP神经网络、支持向量机、层次分析法生成告警设备的权重信息,并采用WFP-tree算法自动挖掘加权频繁项集。实验结果表明,与传统Apriori和FP-growth算法相比,WFP-tree算法在通信网络告警分析方面具有更好的频繁项压缩效果及更强的重要关联规则发现能力。

一种加权时态关联规则挖掘算法

许多现实数据库都存在时态语义问题,因此在挖掘关联规则时附加上时态约束会使规则更具有实际意义。但目前提出的大多数时态关联规则挖掘算法,一般都认为每个数据项的重要性相同,而从决策者角度出发,往往会优先考虑利润较高的项目。提出了一种加权时态关联规则挖掘算法,以项目的生命周期作为时间特征,允许用户设定不同的项目权重。实验结果证明,该算法不仅能有效地发现加权时态关联规则,而且挖掘出的规则更有价值。

扩展WIT-树融合Diffset策略的频繁加权项集快速挖掘算法

针对当前算法从加权项事务数据库挖掘频繁加权项集(FWI)时效率不高的问题,提出了一种基于加权项集-Tidset树结构的FWI快速挖掘算法。首先,提出了一种加权项集-Tidset树结构;然后,使用最小加权项集阈值和向下闭合性质修剪非频繁节点;最后,利用Diffset策略允许以内存有效方式快速计算项集的加权支持度。实验结果表明,当输入数据库中FWI数较大时,提出的算法明显降低了FWI挖掘时间。相比基于先验的算法,算法平均可节省99.37%的耗时;相比基于位矩阵的加权频繁项集生成算法,提出的算法可节省99.06%的耗时,明显提升了频繁加权项集挖掘效率。

基于项权值变化的完全加权正负关联规则挖掘

本文提出一种基于项权值变化的完全加权正负关联规则挖掘算法,解决了基于项权值变化的负模式挖掘问题.该算法考虑项权值依赖于事务记录的特点,采用新的项集剪枝方法和模式评价框架,通过项集的项内权值比和维数比的简单计算和比较,挖掘有效的完全加权正负关联规则.实验结果表明,与现有无加权正负关联规则挖掘算法比较,本文算法能避免无效的模式出现,其挖掘时间和候选项集数量明显减少,减幅最大分别可达94.09%和88.16%.

基于项权值变化的矩阵加权关联规则挖掘

提出一种矩阵加权关联模式支持度计算方法及其相关定理,给出矩阵加权项集剪枝策略,基于该剪枝策略提出一种基于项权值变化的矩阵加权关联规则挖掘算法MWAR-Miner(matrix-weighted association rules-miner)。该算法克服现有的项无加权和项权值固定条件下挖掘关联规则的缺陷,采用新的剪枝技术和模式支持度计算方法挖掘有效的矩阵加权关联规则,避免无效的和无趣的模式产生。以中文数据集CWT200g和英文数据集NTCIR-5为实验数据,理论分析和实验结果表明,与现有矩阵加权模式挖掘算法和基于无加权的挖掘算法比较,该算法挖掘的候选项集数量和挖掘时间明显减少,挖掘效率得到极大提高。

一种挖掘加权频繁项集的改进算法

分析了New-Apriori和MWFI(Mining Weighted Frequent Itemsets)算法之不足,提出了一种挖掘加权频繁项集的New-MWFI算法。该算法按属性的权值对事务进行分类,并依次求出每个类别内的加权频繁项集。由于每个类别内的频繁项集满足Apriori性质,因而可以利用Apriori算法或其他改进算法进行挖掘,从而克服了原来算法的不合理和效率低下的缺陷。实验表明该算法能更有效地从数据集中挖掘出加权频繁项集。

一种利用差集的加权频繁项集挖掘算法

挖掘加权频繁项集是多种数据挖掘应用中的关键问题,为提高传统加权频繁项集挖掘算法的性能,在研究概念格模型和差集Diffsets理论的基础上,构建一种利用差集的加权频繁项集格结构,该格结构通过差集性质快速计算加权支持度,满足向下封闭特性,更有利于高效生成加权频繁项集.最后给出了相应的FWIL-Diffsets构造算法,该算法仅对数据库进行一次扫描,通过性质定理有效减少项集生成中的计算量.研究结果表明:该方法能显著提高生成加权频繁项集的效率.

多最小支持度的加权关联规则挖掘算法

针对数据集中交易记录和数据项的重要性不同问题,提出了一种多最小支持度的加权关联规则挖掘算法,允许用户设定多个最小支持度,给出交易记录不同的权重,从而发现有价值的关联规则。该算法按项目的最小支持度升序对交易记录进行分类,按类别依次求出每一类别内的加权频繁集。在挖掘过程中由于剔除了冗余项目并对相同项集累加计数,且不需多次重复扫描数据库,从而提高了挖掘效率。实验结果表明,新算法能有效地从数据集中挖掘出加权关联规则。

一种改进的加权关联规则挖掘算法

基于经典Apriori算法的加权关联规则挖掘算法New-Apriori存在3个问题,需要多次扫描数据库,权值定义不合理和权值的引入导致Apriori基本性质不再成立。为了解决这些问题,采用将矩阵和加权关联规则算法相结合的方法,该改进算法具有只需要扫描一次数据库,权值的定义既考虑到了权重大的项目,也没有忽略频繁出现而权重小的项目,并引入K-项支持期望作为减枝的依据的特点。

基于权值向量矩阵约简的Apriori算法

为解决数据挖掘运算过程中频繁项集丢失及其生成效率低的问题,提出一种基于权值向量矩阵约简的Apriori算法。从数据库所有集合中选择一个子集作为挖掘对象,对集合中元素赋予权值;将数据库信息用布尔矩阵表示,在运算过程中不断约简矩阵结构,提高频繁项集的生成效率。测试结果表明,该方法利用权值的引入和矩阵约简思想,实现了数据动态分析,降低了源数据和候选项集的规模,运算效率较基于压缩矩阵的Apriori算法有明显提升。

完全加权正负关联规则算法及其在评教数据中的应用

现有的完全加权关联规则挖掘算法没能解决挖掘技术问题,为此提出一种新的完全加权正负关联规则挖掘算法,并探讨了算法在高校评教数据挖掘中的应用.该算法采用新的模式评价标准挖掘有趣的频繁项集和负项集,进而从频繁项集和负项集中挖掘有效的完全加权正负关联规则模式,克服现有挖掘算法的缺陷.以真实的高校评教数据为实验数据测试集,理论和实验结果都表明,该算法比现有完全加权关联规则挖掘算法更有效、合理,具有更高的理论价值和应用前景.

一种基于Top-K查询的加权频繁项集挖掘算法

数据挖掘技术在各行各业的决策支持活动中扮演着越来越重要的角色,频繁项集挖掘作为数据挖掘最活跃的研究领域之一,具有广泛的应用。近年来,随着信息采集技术和数据处理技术的快速发展,针对不确定数据的频繁项集挖掘引起广泛的关注。然而,面向不确定数据集的加权频繁项集挖掘,由于项目权重值的引入使得加权频繁项集不再满足向下闭包特性,无法对频繁项集的搜索空间进行压缩,时间效率较低。因此,文中提出一种基于Top-K查询的不确定数据加权频繁项集挖掘算法(top-kfrequent itemset mining,TK-FIM),以减少候选加权频繁项集的数量,缩小加权频繁项集的搜索空间,提高搜索效率。最后,在真实数据集和合成数据集上的实验结果表明,TK-FIM算法具有良好的时间性能。

一种基于权重的Apriori改进算法

针对Apriori算法在频繁项集挖掘过程中的缺陷,提出了一种基于权重的改进Apriori算法。该改进算法通过一次扫描事务数据库构造出二元事务矩阵,再用各事务和各项的平均权重替代权重支持度,最终挖掘出事务库中的频繁项集。通过实例分析和性能测试,证明了改进的Apriori算法避免了重复扫描事务数据库,使得算法在性能上有了明显优化,并且挖掘出了Apriori挖掘不到的、隐藏的、有价值的规则。

一种有效的完全加权正负关联模式挖掘算法AWAPM_SPRMI

完全加权正负关联模式在文本挖掘、信息检索等方面具有重要的理论和应用价值。针对现有挖掘算法的不足,构建完全加权正负关联模式评价框架SPRMII(support-probability ratio-mutual information-interest),提出完全加权项集双兴趣度阈值剪枝策略,然后基于该剪枝策略提出一种新的基于SPRMII框架的完全加权正负关联模式挖掘算法AWAPM_SPRMII(all-weighted association patterns mining based on SPRMII)。该算法克服了传统挖掘算法缺陷并采用新剪枝方法从完全加权数据库中挖掘有趣的频繁项集和负项集,通过项集权重维数比的简单计算和SPRMII评价框架,从这些项集中挖掘有效的完全加权正负关联规则。理论分析和实验表明,该算法有效,具有良好的扩展性,与现有经典挖掘算法比较,获得了良好的挖掘性能。

基于动态贝叶斯网络的常发性拥堵传播机理分析

为精确识别常发性拥堵传播路径,分析其传播机理,以达到疏导拥堵源头,阻断传播路径的目的,提出一种基于出租车GPS数据的拥堵传播机理研究方法。首先,在城市路网时空立方体数据模型框架下,采用车辆轨迹数与速度指标识别交通拥堵区域,基于常发性拥堵的相对时空稳定性,提出分时段的常发性交通拥堵网格识别方法;其次,建立拥堵时空传播树,针对交通拥堵传播的动态性,提出以频率加权的频繁传播关系集挖掘方法,构建频繁拥堵传播子树;再次,引入动态贝叶斯网络,通过贝叶斯估计进行参数学习,获取拥堵传播概率;最后,以西安市南二环路东段区域为例,运用所提出的方法进行实证分析,探讨拥堵传播路径及其概率。研究结果表明:基于时空立方体模型,采用车辆轨迹数与行程速度指标共同识别各时间帧内常发性拥堵网格,为拥堵传播机理的准确分析奠定了基础;利用STC算法构建拥堵传播树,提出考虑拥堵传播在时间上复现性特征的频繁项集挖掘方法,用以重构频繁拥堵传播子树、明确常发性拥堵传播路径;基于动态贝叶斯网络量化分析网格间拥堵传播可能性,为动态寻找拥堵传播网络中的关键路段,科学合理的制定缓堵方案及任务时序提供理论依据。

基于位矩阵的加权频繁k项集生成算法

提出一种基于位矩阵的加权频繁k项集生成算法。该算法引入加权支持度和最小支持期望的概念,对数据库仅进行一次扫描,通过构建筛选条件对基于频繁2项集位矩阵的加权频繁k项集生成过程进行剪枝,有效提高了加权频繁项集的生成效率。

一种基于最大加权频繁项目集的数据库相似性判别算法

在引入最大加权频繁项目集之后 ,给出一种新的数据库相似性度量模型 ,并提出基于最大加权频繁项目集的数据库相似性度量算法 该算法可有效地改进基于最大频繁项目集的数据库相似性度量方法 ,提高数据库相似性度量准确性 在实际应用中 ,改进模型为分布多库环境下数据挖掘的数据准备提供有效的框架 。

基于动态数据的加权频繁项集挖掘算法

为解决在挖掘频繁项集过程中,因忽略不同项目间的重要程度而导致的挖掘有效性低以及忽略数据的动态更新而造成的挖掘效率低的问题,通过引入新的加权规则,从权值与频数两方面去体现项目间的重要性差异,并通过引入树形结构与关系矩阵提高数据动态变化时频繁项集的挖掘效率。创新性地提出基于动态数据的加权频繁项集挖掘算法weighted dynamic date mining(WDDM)。实验结果表明,WDDM算法较以往算法挖掘效率与有效性显著提高,有利于发现更多有研究价值的信息。