图数据领域的频繁项集挖掘

本文对图数据中的频繁子图挖掘算法进行了综述。追溯了从传统非图数据频繁项集挖掘技术到图数据频繁子图挖掘的演化,详细阐述了经典算法如类Apriori方法和gSpan算法的原理与应用。也对近年来兴起的基于图表示学习的先进算法,如SPMiner、NSIC、LSS和NeurSC进行了系统的介绍和比较。本文不仅回顾了算法的历史演进,还对各类算法进行了详细的分析与讨论,通过分析这些算法的性能和特点,揭示了它们的优势与局限。最后,展望了图神经网络在频繁子图挖掘领域的未来发展方向,并指出了这些技术在生物网络分析、社交网络分析等领域应用的广阔前景。

考虑频繁项集的智能电网统一数据模型构建

在构建的智能电网数据模型中,存在模型类型纷杂、计算耗时较长等问题,对此构建一种考虑频繁项集的智能电网统一数据模型。提出了频繁项集设计改进的Aprioro算法,改进时考虑4个方面:通过矩阵思想映射事务数据库;优化连接步;优化剪枝步;压缩事务数据库,实施智能电网在线分析系统中文件数据的挖掘。对于挖掘到的文件数据内容,对其实施一系列预处理,包括时序数据修复、时序数据甄别。通过分布式内存数据网格技术实施智能电网统一数据模型的构建,在模型设计中,序列化方法选用writeData方法,反序列化方法选用readData方法,通过3个步骤实现模型的搭建。测试结果:模型分析计算时间为0.35 s,当更新数据的母线个数达到70条,模型能够保持60 000次/min左右的更新频率,当更新数据的节点个数达到800个,模型能够保持110 000次/min以上的更新频率;模型的未来态潮流计算与灵敏度计算耗时均较低。

基于差分隐私的不确定数据频繁项集挖掘算法

基于不确定数据的频繁项集挖掘算法已经得到了广泛的研究。对于记录用户敏感信息的不确定数据,攻击者可以利用自己掌握的背景信息,通过分析基于不确定数据的频繁项集从而获得用户的敏感信息。为了从不确定的数据集中挖掘出基于期望支持度的前K个最频繁的频繁项集,并且保证挖掘结果满足差分隐私,提出了FIMUDDP(frequent itemsets mining for uncertain data based on differential privacy)算法。FIMUDDP算法利用差分隐私的指数机制和拉普拉斯机制确保从不确定数据中挖掘出的基于期望支持度的前K个最频繁的频繁项集和这些频繁项集的期望支持度满足差分隐私。通过对FIMUDDP进行理论分析和实验评估,验证了FIMUDDP算法的有效性。

基于局部重构树的数据流频繁项集挖掘方法

针对传统的数据流频繁项集挖掘方法缺乏对事务数据的压缩,导致挖掘效率较低的问题,提出基于局部重构树的数据流频繁项集挖掘方法。通过构建局部重构树,对事务数据进行压缩,并对频繁项集数据进行滤波处理,调整支持度的最大值与最小值,实现对挖掘函数的构建与优化。利用对比实验对提出的方法进行了挖掘效率的验证,实验结果表明,在采用所提出的方法对数据流频繁项集进行挖掘时,算法执行耗时较少,挖掘效率较高,具有一定的应用价值。

不确定数据频繁项集挖掘方法综述

近几年来,不确定数据广泛出现在传感器网络、Web应用等领域中。不确定数据挖掘已经成为了新的研究热点,主要包括聚类、分类、频繁项集挖掘、孤立点检测等方面,其中频繁项集挖掘是重点研究的问题之一。综述了传统的频繁项集挖掘的两类基本算法,分析了在此基础上提出的适用于不确定数据以及不确定数据流的频繁项集挖掘的方法,并探讨了今后可能的研究方向。

基于隐结构模型联合频繁项集的针灸治疗弱精子症不育患者的辨证取穴规律

目的:探讨针灸治疗弱精子症不育患者的辨证取穴规律,为临床治疗弱精子症不育患者提供帮助。方法:检索国家知识基础设施数据库(CNKI)、中国生物医学文献数据库(CBM)、中国学术期刊数据库(CSPD)及中文科技期刊数据库(CCD)等数据库有关针灸治疗弱精子症的相关文献,提取症状、取穴处方信息构建医案数据库,采用隐结构模型、频繁项集的数据挖掘方法,分析针灸治疗弱精子症的辨证取穴规律。结果:纳入文献35篇,涉及症状62种,穴位49个。高频症状包括腰酸、神疲乏力等,高频腧穴包括关元、肾俞等。对症状、腧穴、证型进行频繁项集分析,挖掘出症状-腧穴频繁项集4项,包括耳鸣+头晕+腰酸+关元+肾俞等;证型-症状频繁项集4项,包括肾精亏虚证+健忘+性欲淡漠+神疲乏力+脉细等;证型-症状-腧穴频繁项集4项,包括肾精亏虚证+性欲淡漠+神疲乏力+头发易脱+关元等。结论:针灸治疗弱精子症多以关元、肾俞、足三里为主穴。

不确定性数据流上频繁项集挖掘的有效算法

在很多应用中,不确定性数据都是以流的形式产生,例如传感器网络数据,移动对象跟踪数据等等.已有的基于不确定性数据流的频繁项集挖掘算法往往具有数据流储存结构繁琐、维护困难以及算法的计算量大等缺点.针对这种情况,提出了一种有效的数据结构SRUF-tree用于储存不确定性数据事务流的项集,该结构由全局树SRtree、临时表Table和窗口队列Queue三部分组成,其中全局树压缩着最近窗口容纳的所有的项集,临时表存储着每批项集的信息.基于该结构设计了一种新的算法SRUF-mine,它挖掘流频繁项集时只需要深度遍历全局树,动态维护SRUF-tree结构只需要处理窗口队列中最旧一批项集的临时表.理论和实验结果表明,SRUF-mine算法是一种有效的挖掘不确定性数据流频繁项集的算法,时空效率和扩展性均优于UF-streaming算法.

基于隐结构模型和频繁项集的针刺治疗慢性前列腺炎辨证取穴规律

目的:探讨针刺治疗慢性前列腺炎的辨证取穴规律,为临床治疗慢性前列腺炎提供帮助。方法:检索国家知识基础设施数据库(CNKI)、中文科技期刊数据库(CCD)等数据库中关于针刺辨证论治慢性前列腺炎的文献,构建包含症状、证型、穴位处方的慢性前列腺炎病历数据库,运用隐结构模型分析、频繁项集等方法,分析针刺治疗慢性前列腺炎的辨证取穴规律。结果:共纳入文献64篇,涉及穴位91个,症状248项。高频穴位如三阴交、中极等;高频症状包括舌体瘀点瘀斑、苔黄腻、滴白、尿急等;构建隐结构模型,得出慢性前列腺炎主要证型有湿热下注、肾阳不足等;挖掘出症状-穴位频繁项集、症状-证型-穴位频繁项集各4项。症状-穴位频繁项集如“尿急+滴白+阳痿+早泄+肾俞+足三里”,症状-证型-穴位频繁项集如“尿频+尿急+苔黄腻+滴白+舌体瘀点瘀斑+湿热瘀阻+三阴交+会阴”,提示治疗时可根据相应症状判定证型及选择对应穴位。结论:针刺治疗慢性前列腺炎多以三阴交、中极、关元等为主要穴位,穴位配伍依据临床情况辨证选穴,此可为临床治疗慢性前列腺炎提供参考。

不确定性数据上频繁项集挖掘的预处理方法

传统频繁项集挖掘技术无法高效获取不确定性数据中有价值的信息。通过研究频繁模式增长树的算法原理,根据不确定性数据的特点提出了一种有效的不确定性数据预处理方法PCAFP-Growth。利用主成分分析的方法进行数据的降维,并使用模糊关联分析法将数据概率进行分类,实现数据剪枝。在理论研究基础上,通过实验对数据集进行了验证。结果表明,基于主成分分析法的剪枝策略在稠密数据集上能够有效提高运算速度,减少内存的使用。

有效的不确定数据概率频繁项集挖掘算法

针对已有概率频繁项集挖掘算法采用模式增长的方式构建树时产生大量树节点,导致内存空间占用较大以及发现概率频繁项集效率低等问题,提出了改进的不确定数据频繁模式增长(PUFP-Growth)算法。该算法通过逐条读取不确定事务数据库中数据,构造类似频繁模式树(FP-Tree)的紧凑树结构,同时更新项头表中保存所有尾节点相同项集的期望值的动态数组。当所有事务数据插入到改进的不确定数据频繁模式树(PUFP-Tree)中以后,通过遍历数组得到所有的概率频繁项集。最后通过实验结果和理论分析表明:PUFP-Growth算法可以有效地发现概率频繁项集;与不确定数据频繁模式增长(UF-Growth)算法和压缩的不确定频繁模式挖掘(CUFP-Mine)算法相比,提出的PUFP-Growth算法能够提高不确定数据概率频繁项集挖掘的效率,并且减少了内存空间的使用。

一种有效的不确定数据概率频繁项集挖掘算法

针对PFIM算法中频繁概率计算方法的局限性,且挖掘时需要多次扫描数据库和生成大量候选集的不足,提出EPFIM(efficient probabilistic frequent itemset mining)算法。新提出的频繁概率计算方法能适应数据流等项集的概率发生变化时的情况;通过不确定数据库存储在概率矩阵中,以及利用项集的有序性和逐步删除无用事物来提高挖掘效率。理论分析和实验结果证明了EPFIM算法的性能更优。

不确定数据流最大频繁项集挖掘算法研究

对于大型数据,频繁项集挖掘显得庞大而冗余,挖掘最大频繁项集可以减少挖出的频繁项集的个数。可是对于不确定性数据流,传统判断项集是否频繁的方法已不能准确表达项集的频繁性,而且目前还没有在不确定数据流上挖掘最大频繁项集的相关研究。因此,针对上述不足,提出了一种基于衰减模型的不确定性数据流最大频繁项集挖掘算法TUFSMax。该算法采用标记树结点的方法,使得算法不需要超集检测就可挖掘出所有的最大频繁项集,节约了超集检测时间。实验证明了提出的算法在时间和空间上具有高效性。

基于滑动窗口的不确定性数据流频繁项集挖掘算法

为了提高频繁项集挖掘算法的准确性,在不确定性数据流频繁项集挖掘算法SRUF-mine的基础上引入最大可能误差,提出一种基于滑动窗口的false-positive挖掘算法UFIM。UFIM算法对数据流进行分块处理,在内存中维护一个存储滑动窗口内频繁项集的概要数据结构,随着窗口的滑动对该概要结构进行增量更新。实验表明,与SRUF-mine相比,UFIM算法能获得较高的频繁项集挖掘的准确性。

基于矩阵的不确定数据频繁项集快速挖掘算法

针对CUF-growth算法中项集的期望支持度估算值过大,且挖掘过程中需要反复递归构造条件CUF-tree导致挖掘效率降低这一问题,提出UFIM-Matrix(Uncertain frequent itemset mining-matrix)算法。该算法不需要建立树结构,而是利用计算项集估算期望支持度的新方法和矩阵结构来产生规模更小候选项集,能在一定程度上减少计算开销,提高挖掘效率。最后的实验结果也表明了新算法性能更优。

不确定数据频繁闭项集挖掘算法

由于不确定数据的向下封闭属性,挖掘全部频繁项集的方法会得到一个指数级的结果。为获得一个较小的合适的结果集,研究了在不确定数据上挖掘频繁闭项集,并提出了一种新的频繁闭项集挖掘算法——NA-PFCIM。该算法将项集挖掘过程看作一个概率分布函数,考虑到基于正态分布模型的方法提取的频繁项集精确度较高,而且支持大型数据库,采用了正态分布模型提取频繁项集。同时,为了减少搜索空间以及避免冗余计算,利用基于深度优先搜索的策略来获得所有的概率频繁闭项集。该算法还设计了两个剪枝策略:超集修剪和子集修剪。最后,在常用的数据集(T10I4D100K、Accidents、Mushroom、Chess)上,将提出的NA-PFCIM算法和基于泊松分布的A-PFCIM算法进行比较。实验结果表明,NA-PFCIM算法能够减少所要扩展的项集,同时减少项集频繁概率的计算,其性能优于对比算法。

基于约束的不确定数据频繁项集挖掘算法研究

针对基于约束的不确定数据频繁项的经典挖掘算法——U-FPS算法的不足,提出了适用于基于约束的不确定数据的新算法——UC-Eclat挖掘算法。该算法不需要构建频繁模式树,而采用了数据库垂直模式求交集的方式来计算支持度的方法,提高了挖掘效率。

基于隐结构模型与频繁项集探讨特发性肺纤维化的辨证用药规律

目的:探讨中医治疗特发性肺纤维化(IPF)的辨证用药规律,为临床治疗IPF提供参考。方法:在中国知网、万方数据知识服务平台、PubMed、Embase等数据库中,检索建库至2021年8月8日辨证应用中药汤剂治疗IPF的相关文献,提取证型、症状及中药处方信息,构建IPF医案数据库,采用隐结构模型、频繁项集等数据挖掘方法分析中药汤剂内服治疗IPF的辨证用药规律。结果:共纳入文献39篇,包含病例1497例。纳入文献共包含症状163个,如咳嗽、乏力、气短等,将频次3的53个症状作为显变量构建IPF的隐结构模型,该模型提示气虚血瘀是IPF的常见证型。纳入文献包含的处方中共涉及中药163味,其中高频药物包括黄芪、甘草、丹参、当归、党参等;挖掘出“症状-中药”频繁项集5项,如“胸痛乏力+舌有瘀斑+脉沉细+丹参+桃仁+党参”;“证型-症状-中药”频繁项集4项,如“气虚血瘀+胸闷乏力+舌有瘀斑+黄芪+丹参+当归”。结论:气虚血瘀是IPF的临床常见证型,中药汤剂治疗IPF多以黄芪、甘草、丹参为主要药物,药物配伍根据临床辨证选择。

频繁项集挖掘研究前沿及展望

频繁项集挖掘是数据挖掘领域的核心任务之一,其目标是发现在数据库中频繁出现的模式。这些模式对于关联规则、分类、异常检测等多个数据挖掘任务都具有重要作用。由于随着项集大小的增加,项集的组合数量呈指数级增长,导致计算复杂性急剧上升,研究人员一直在努力开发高效的算法来解决这一问题。面向频繁项集挖掘的算法、紧凑表示和前沿应用,深入探讨不同技术的的工作原理、优势和局限性,从而对这一领域的研究现状进行全面总结。最后,进一步探讨了该领域的前沿发展趋势,指出计算效率、基于约束的频繁项集挖掘、模式的可解释性以及算法在不同领域的创新应用等未来潜在研究方向。

一种基于预裁剪的不确定数据流频繁项集挖掘算法

随着交通、网络流量监控等应用的涌现,不确定数据流频繁项集挖掘成为近年来的研究热点。通常在不确定数据流中,频繁项集所占的比例较小,导致挖掘中无效操作较多。基于这种情况,提出了一种基于预裁剪的不确定数据流频繁项集挖掘算法Prep-UF-Streaming;该算法,不仅能裁剪掉大部分非频繁项集,提高了算法的平均运行时间;而且能够检测到非频繁项集成为频繁项集的可能性,尽量不丢失频繁项集,从而尽可能地提高算法的性能。

一种不确定性数据中最大频繁项集挖掘方法

不确定性数据挖掘已经成为数据挖掘领域的新热点,频繁项集挖掘是重点研究的问题之一.但是目前出现的挖掘算法大多集中在完全频繁项集,而用于最大频繁项集和频繁闭项集的算法尚不多见.文中研究了一种基于UF-Tree的用于不确定性数据中挖掘最大频繁项集的算法,该挖掘过程分为两个步骤,第一步先得到以频繁1-项集为后缀的局部最大频繁项集,第二步得到所有的全局最大频繁项集,实验证明该算法性能良好且特别适用于稠密型、事务长度较小的数据集.