基于格的频繁数据项集发现算法

求频繁数据项集是挖掘关联规则的主要步骤 ,许多算法需要多次扫描数据集。本文提出了一个基于格理论的频繁数据项集发现算法 ,该算法最多只需对数据集扫描 3次 ,有效地降低了 I/O开销。

基于XML缓存文件频繁数据挖掘的简单改进算法

介绍XML缓存现状和Apriori算法的情况,在分析Apriori算法的基础上,通过对经典Apriori算法的改进,提出一种改进算法,该算法在计算候选大项集支持度所涉及的记录数目将小于事务数据库中原始的记录数目,实验证明该算法能够有效提高执行效率.

基于改进大数据频繁项集挖掘算法的中深层地热能供热潜力评估方法

为了提高中深层地热能供热潜力评估性能,提出了一种基于改进大数据频繁项集挖掘算法的中深层地热能供热潜力评估方法。利用普通类间距离和准则、加权类间距离和准则,挖掘出用于供暖潜能评估的频繁项集条件模式基,将条件FG-tree视为一种递推处理过程,挖掘中深层地热能供热潜力数据的频繁项集。利用单位供热量能量消耗指标和能量效率指标,分析了地热能供热的能量,通过[火用]效率指标和能级平衡系数指标,实现中深层地热能供热潜力评估。实验结果表明,所提出的方法能够评估中深层地热能供热潜力,并具有更高的评估效率。

基于有序树的不确定数据最大频繁项挖掘算法

针对UF-tree中项集存在的数据和路径冗余的问题,设计了有序的压缩不确定树SCUF-tree,在节点中存储元素的不同支持度,达到压缩存储空间和方便移植已有的确定数据最大频繁项集算法的目的。结合最大频繁项集挖掘算法MMFI的设计思想,提出了一种挖掘不确定最大频繁项集算法UMMFI算法,并采取逐层逐个的NBN策略挖掘不确定最大频繁项集。实验结果表明,UMMFI算法具有较好的时空效益和适应性。

复杂网络数据流频繁项集人工智能挖掘仿真

针对传统的复杂网络数据流频繁项集人工智能挖掘方法存在数据挖掘时间较长、准确性较低等问题,提出一种基于时间戳的复杂网络数据流频繁项集人工智能挖掘方法。在训练阶段,利用贝叶斯分类算法找到所有复杂网络数据流频繁项集,并计算不同复杂网络数据流频繁项集的概率估值,在测试阶段,针对不同的测试样本构造不同的分类器,集成分类器,获取分类结果。通过分类结果,构建时间戳的滑动窗口模型,根据滑动窗口的大小对项集进行延迟处理,当项集的类型变化界限超过一定的阈值时,需要重新计算支持度,根据计算结果更新变化界限,完成复杂网络数据流频繁项集人工智能挖掘。实验结果表明,所提方法能够快速、准确地对数据流频繁项集进行人工智能挖掘。

基于差分隐私的不确定数据频繁项集挖掘算法

基于不确定数据的频繁项集挖掘算法已经得到了广泛的研究。对于记录用户敏感信息的不确定数据,攻击者可以利用自己掌握的背景信息,通过分析基于不确定数据的频繁项集从而获得用户的敏感信息。为了从不确定的数据集中挖掘出基于期望支持度的前K个最频繁的频繁项集,并且保证挖掘结果满足差分隐私,提出了FIMUDDP(frequent itemsets mining for uncertain data based on differential privacy)算法。FIMUDDP算法利用差分隐私的指数机制和拉普拉斯机制确保从不确定数据中挖掘出的基于期望支持度的前K个最频繁的频繁项集和这些频繁项集的期望支持度满足差分隐私。通过对FIMUDDP进行理论分析和实验评估,验证了FIMUDDP算法的有效性。

最小支持度变化时分布式数据库中频繁项目集更新

讨论分布式数据库系统中最小支持度变化时频繁项目集如何高效更新问题,提出了一种基于最小支持度变化的局部频繁项目集的更新算法ULFS和全局频繁项目集的更新算法UGFS.该算法能够充分利用已挖掘的结果,并且产生较少数量的候选频繁项目集,在求解全局频繁项目集过程中,候选局部频繁项目集支持数的通信量为O(n).将文章提出的算法用Java加以实现,并对算法性能进行了研究.实验结果表明这些算法是可行、有效的,并且具有较快的速度.

基于Spark框架的大数据局部频繁项集挖掘算法设计

目前研究大数据局部频繁项集挖掘一般采用深度挖掘数据信息的算法设计,但其挖掘成本过高,挖掘效率过低,因此,基于Spark框架提出一种新式大数据局部频繁项集挖掘算法设计。筛选大数据局部频繁项集挖掘算法,结合框架结构分析方式处理挖掘信息,根据筛选的算法分析数据挖掘的深层内容,并不断调节数据挖掘与挖掘空间之间的矛盾,缓解挖掘算法的挖掘压力,结合先前研究,调整挖掘状态,完成大数据局部频繁项集挖掘算法设计。实验结果表明,基于Spark框架的大数据局部频繁项集挖掘算法设计能够更迅速地提高数据挖掘效率,在降低成本投入的情况下具备更高的挖掘效率。

基于fg-growth算法的大数据频繁项集挖掘方法

针对大数据中频繁项集挖掘方法存在的问题,提出一种基于fg-growth算法的大数据频繁项集挖掘方法。该方法首先使用最大最小标准化线性函数,对大数据进行离散化、归一化、异常值检测等相关性处理;然后,基于贪心策略均衡节点负载和通信量,完成节点优化;最后,经过数据库和TID表格之间的转化得到高频项集数据库用于数据供给,以确定最大合并候选项目阶次和产生候选项目,并对其进行分类累加,将结果与支持度之间进行判断,从而得到高频项集。实验结果表明:在相同实验条件下,设计方法的F1值、可扩展性以及算法运行时间均优于传统方法。

一种分布式数据流有效数据识别方法研究

针对分布式数据流应用中,如何在高速、海量的输入数据中识别重要数据单元的问题,给出了有效数据的概念,并提出了1种有效数据识别算法。该算法以缩略图技术为基础,能够在用户给定的误差范围内,以接近1的概率输出有效数据,而且占用较少内存。实验和算法分析验证了算法的有效性。

快速统一挖掘超团模式和极大超团模式

超团模式是一种新型的关联模式,这种模式所包含的项目相互间具有很高的亲密度.超团模式中某个项目在事务中的出现很强地暗示了模式中其他项目也会相应地出现.极大超团模式是一组超团模式更加紧凑的表示,可被用于多种应用.挖掘这两种模式的标准算法是完全不同的.提出一种基于FP-tree(frequent pattern tree)的快速挖掘算法——混合超团模式增长(hybrid hyperclique pattern growth,简称HHCP-growth),统一了两种模式的挖掘.算法采用递归挖掘方法,并应用多种有效的剪枝策略.提出并证明几个相关命题来说明剪枝策略的有效性和算法的正确性.实验结果表明,HHCP-growth算法相对于标准的超团模式挖掘算法和极大超团模式挖掘算法都具有更高的效率,尤其对于大数据集或在低支持度条件下更为显著.

无线传感器网络流量的冗余抑制机制研究

冗余抑制是一种通过在接收节点缓存频繁传输的内容以避免多次发送重复数据的网络流量抑制技术。现有的解决方式需要有大量的内存,用于分析当前冗余流量并维持缓存。由于硬件的限制,无线传感器节点在同一时刻不能够提供相应的资源;协议和通信模式的多样性还使得通信中冗余发生的频率及其所占比例难以预测。因此,给出了一种改进的冗余抑制协议,通过概率流量分析以确定和缓存那些造成最多流量储存的冗余传输子集,实现性能表现接近于建立在全面分析和无约束缓存基础上的冗余抑制解决方案。

采掘关联规则的算法及优化处理概述

本文对关联规则采掘中的主要方法进行了概述 ,指出了关联规则采掘中的不足 。

计算机管理

Y2000-62514 01065992000年第9届模糊系统国际会议录,卷1=2000 theninth IEEE international conference on fuzzy systems,