An Efficient Hybrid Algorithm for Mining Web Frequent Access Patterns

We propose an efficient hybrid algorithm WDHP in this paper for mining frequent access patterns. WDHP adopts the techniques of DHP to optimize its performance, which is using hash table to filter candidate set and trimming database. Whenever the database is trimmed to a size less than a specified threshold, the algorithm puts the database into main memory by constructing a tree, and finds frequent patterns on the tree. The experiment shows that WDHP outperform algorithm DHP and main memory based algorithm WAP in execution efficiency.

一种基于有向树挖掘Web日志中最大频繁访问模式的方法

提出了一种基于Apriori思想的挖掘最大频繁访问模式的s-Tree算法。该算法使用有向树表示用户会话,能挖掘出最大前向引用事务和用户的浏览偏爱路径;使用一种基于内容页面优先的支持度计算方法,能挖掘出传统算法不能发现的特定的用户访问模式;使用频繁模式树连接分层的频繁弧克服了图结构数据挖掘算法中直接连接两个频繁模式树要判断连接条件的缺点,同时采用预剪枝策略,降低了算法的开销。实验表明,s-Tree算法具有可扩展性,运行效率比直接采用图结构数据挖掘算法要高。

Web日志中时态约束浏览模式挖掘算法研究

为了有效地从海量的Web日志中挖掘出有用的用户浏览模式,将顺序约束和时态约束加入到快速关联规则挖掘算法中,给出了一种基于时态约束的浏览模式挖掘算法FPMBTC.该算法简化了挖掘过程中候选模式的生成操作,对数据库扫描一次,求出所有事务的连续子序列集,利用集合交差运算求得支持度,同时逐步修正会话事务时间得到浏览模式的有效时间,根据网站结构及Web日志不断变化的特点,给出了增量更新挖掘算法.实验结果表明:与类Apriori算法相关工作相比,运行时间少,扩展性好,并且挖掘出的模式具有时效性,适合于不断变化的且有时态特点的Web日志信息的挖掘.此研究对于学习和研究Web挖掘技术具有很好的参考价值,对建造实际的Web挖掘系统具有重要的理论意义和实用价值.

基于Web挖掘的过程模型及算法

针对Web信息的结构特点设计了一个发现用户访问模式的PDAS系统,并以关联规则为理论基础提出了发现单一用户K 序列频繁访问模式的过程模型及算法。经实验证明,通过该算法获得的频繁访问模式对商业网站的营销决策有一定辅助意义。

一种新的Web频繁访问模式挖掘算法

提出了一种基于有向图的从Web日志中挖掘用户频繁访问模式的新算法,与传统使用基于关联规则挖掘的序列模式挖掘技术相比,本算法采用有向图来记录Web访问序列和它的计数,在挖掘过程中只需要扫描数据库一次,不产生数量庞大的候选模式,即可直接挖掘出所有的Web频繁访问路径,大大提高了Web访问模式的发现效率。

Web挖掘中基于GITC算法发现用户频繁访问模式

用户频繁访问模式的发现是Web日志挖掘的重要研究内容。提出了一种先求两两用户访问模式的交集结果再生成候选频繁访问模式,然后扫描数据库,统计各个候选频繁访问模式的支持度计数的GITC算法。经过理论分析和实验验证,该算法能有效地发现用户频繁访问模式。

一种基于Close模式发现用户频繁访问路径的方法

Web日志挖掘的一个主要任务是获得用户的浏览模式,这对Web站点的改进和为用户提供个性化服务提供了非常有价值的潜在信息。该文在分析用户访问模式的特点后,提出了Close模式的概念,基于此概念提出了一种挖掘用户频繁访问模式的Close算法。该算法利用频繁访问模式的封闭特性,挖掘出既是频繁的又是封闭的访问模式,在一定程度上减少了下一阶段“寻找最大频繁访问模式”的工作量。用实际数据对算法的性能进行了验证和分析。

基于过滤器的Web访问模式挖掘

针对传统Web访问模式挖掘系统中用户识别和会话识别的复杂性和不准确性,该文提出了基于过滤器的Web访问模式挖掘系统。它能够准确地识别用户和会话,为挖掘算法提供优质的数据。给出了日志过滤器的实现和部署,提出了Web访问模式的挖掘算法。目前该方法已经广泛地应用于科学数据库系统中。

改进的基于Web的频繁访问路径挖掘算法

对于连续频繁访问路径的挖掘如果采用常见的序列模式挖掘算法,挖掘效率是比较低的,而且只能得到频繁访问路径.本文在研究访问路径性质的基础上给出了一种能从普通Web日志中挖掘出连续频繁访问路径的算法.设计了一种新颖的数据结构压缩存储空间及存储所需挖掘信息.同时采用分区搜索的方式,为每个频繁节点构造一棵后缀树,通过遍历该后缀树挖掘出连续频繁访问路径.采用这种方法进行挖掘,无需生成候选集,而且一次就可以挖掘出所有以根节点为后缀的连续频繁访问路径.

存储系统中的频繁访问模式挖掘

研究、分析了影响经典的模式挖掘方法挖掘频繁访问模式的效率,使其难以被存储系统接受的主要因素——噪音的产生原因和表现类型,提出一种具有噪音过滤能力,适应存储系统频繁访问序列模式挖掘的新方法——Z-Miner。Z-Miner使用全局分支裁剪和分支聚类方法来过滤噪音,对实际系统工作负载的模拟结果显示,Z-Miner指导的预取可以使缓存失效率降低40%～66%,平均响应时间降低26%～66%。相对经典挖掘方法,Z-Miner的挖掘开销有1～2个数量级的下降,而预取优化效果提高了1倍。

一种分布式Web使用模式挖掘模型及算法

给出了一种分布式Web日志挖掘模型DWLMS.根据对挖掘过程及算法进行分析,提出了一种基于DWLMS的局部频繁路径的更新算法LFP和全局频繁路径的更新算法GFP,较好地解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.在实验室对该方法进行了简单实现和实际日志数据的测试,结果表明了算法的有效性.

基于关联规则的Web使用挖掘系统

通过分析Web日志记录来发现用户访问行为等,进而识别电子商务中的潜在客户,提高网络信息服务的质量,优化站点结构以及得到对于个性化系统有用的信息.提出一个Web使用挖掘系统的设计方案,包括系统的体系结构、功能结构及每个功能点的详细设计.为Web使用系统开发人员提供有价值的参考信息.

基于MFP方法的Web用户访问模式的模式发现

针对Web用户访问模式问题,采用最大频繁访问路径(MFP)方法可以挖掘出更有普遍意义的模式。给出一种新的用户访问模式树WUAP-tree结构,并采用E-OEM模型,综合考虑了页面拓扑结构及用户浏览路径等多个数据源,进一步提出了一种Web访问模式挖掘算法WUAP-mine。该算法不用产生候选集和递归,只对事务数据库进行一次扫描,对WUAP-tree结构进行深度优先遍历一次,就可从WUAP-tree结构上直接查询出Web用户频繁访问模式。最后,从理论和实践上推导和验证了它的有效性和高效性。

Web挖掘中基于RD_Apriori算法发现用户频繁访问模式

从Web日志数据中发现用户的频繁访问模式,可分为两步进行。首先把经过预处理后的日志数据转换为最大前向引用的集合,然后使用Apriori算法挖掘出频繁访问模式。本文针对挖掘的第二步提出了一种基于缩减数据库(ReducedDatabase)的RD_Apriori算法,此算法能够准确、高效地挖掘各种长度不同的频繁访问模式。

面向Web活跃用户的树型访问模式挖掘算法

传统Web挖掘技术面向所有Web用户,而访问网站时活跃用户与非活跃用户表现特征不同.基于此,提出一种面向活跃用户的访问模式挖掘方法,包括活跃用户会话提取算法(AUSM)和树型访问模式挖掘算法(WAP-BUM).AUSM扫描一遍日志数据即可挖掘Web活跃用户并提取会话信息,在提取的用户会话信息基础上,利用网站拓扑结构给出了一种基于树结构的频繁访问模式挖掘算法(WAPBUM).WAPBUM针对Web日志挖掘特点,通过对子树构造等价类,自下而上产生频繁子树.人工数据集和真实数据集上的实验都证明AUSM算法的运行时间与Web日志数据量成线性关系,且运行过程中内存保持稳定;WAPBUM在处理带根子树挖掘时明显快于FREQT算法,所挖掘结果可有效应用于网站结构分析.

Web日志挖掘中GITC算法的改进

GITC算法和Tree-DM算法都是基于交集关系的挖掘算法。文章分析这2个算法的性能特点,提出一种GITC算法的改进算法:GI算法。该算法利用适当的数据结构来保存支持数信息,省去了扫描原数据库来统计支持数耗费的大量时间,并解决了Tree-DM算法在二次求交、冗余求交等方面存在的问题。经过实验验证,较GITC算法而言,GI算法可以更高效地挖掘用户频繁访问模式。

基于日志的富语义ABAC 策略挖掘

为了解决大规模环境下的细粒度访问控制问题,挖掘出易于人工阅读、契合主体行为模式、精确完备的基于属性的访问控制(ABAC)策略,从而为安全管理员进行策略构建、维护和优化提供有力支撑,提出基于日志的富语义ABAC策略挖掘方法.该方法基于频繁模式挖掘算法,从访问日志和属性数据中挖掘契合主体行为模式的ABAC策略.对策略进行正确性和语义质量分析获得富语义ABAC策略集.通过交叉验证方法对策略集的精确性和完备性进行验证,算法在公开数据集上的F1得分为0.8375,在手写数据集上的F1得分为0.9394.在手写数据集上的验证表明,算法可以在较小训练集上得到比现有算法更高质量的策略集,所得授权规则在易读性方面有所提升.

基于Web使用挖掘的负载测试方法

作为保证Web应用系统稳定性和可靠性的重要手段,Web负载测试逐渐成为软件开发生命周期中很重要的一个环节。然而,区别于传统的软件测试,Web应用系统的复杂性及其用户行为的不可预见性使得Web负载测试变得很困难。针对上述问题,提出一种Web使用频繁模式子树挖掘算法,从用户的访问日志中挖掘出频繁访问的Web页面,分析用户的行为特征,使得负载环境尽可能与真实世界接近。最后利用性能测试工具LoadRunner对实际项目案例进行负载测试,验证了该方法的有效性和实用性。

Web挖掘中基于交集算法发现用户频繁访问模式

文章提出了一种基于交集关系原理的算法叫做交集算法,它与类Apriori算法本质上互补。这种算法的最大优势是不需要产生大量的候选频繁访问模式,就可以直接生成最大频繁访问模式,因此在挖掘过程中也就不需要反复扫描原始数据库来计算各个候选频繁访问模式的支持度计数;经理论分析和试验证明,交集算法具有一定的理论意义和应用价值。

基于BIPL的Web频繁访问模式挖掘

挖掘频繁访问模式是Web日志挖掘的一个重要任务。针对类Apriori算法和GITC算法的不足,提出了基于双亲链的单次扫描求交的Web频繁访问模式挖掘算法—BIPL,该算法首先对用户的访问模式两两进行交集运算,生成候选访问模式,并在求交集过程中保存各个候选访问模式的双亲模式,然后通过简单的求和运算,计算出各个候选访问模式的支持数。最后通过理论分析和实验验证,该算法是稳定的和高效的。