Web日志挖掘中的数据预处理技术研究

在Web数据挖掘研究领域中,Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用。文中深入探讨了数据预处理环节的主要任务,并介绍这个过程中一些特殊情况的处理方法。

一个简单的Web日志挖掘系统

在分析 Web日志挖掘的困难及对策的基础上 ,给出了一个简单的 Web日志挖掘系统( SWLMS)的体系结构 .具体介绍了 SWLMS中日志的预处理过程 ,包括数据净化、用户识别、会话识别、路径补充的主要任务及其实现 ,并着重介绍了预处理之后的序列模式识别过程和算法 ,包括最大向前路径的识别和频繁遍历路径的发现 。

Web日志挖掘技术进展

用户访问Internet时,服务器、客户机日志会记录下大量的用户访问信息。通过挖掘这些日志信息所得到的用户访问模式,在个性化信息服务、改进门户站点设计和服务、开展有针对性的电子商务、构建智能化Web站点、提高网站的声誉和效益等方面都将起到重要的作用。概述了Web挖掘的概念、分类及其主要应用领域,详细介绍了Web日志挖掘的主要方法和用户访问模式挖掘算法及国内外最新研究进展。最后提出了Web用户访问信息挖掘研究的发展方向和趋势。

结合网站内容和结构进行的Web日志挖掘

提出一种以聚类为基础的Web日志挖掘方法:从Web日志事务、Web站点内容和Web站点结构3个不同方面来聚类页面集合,并通过将用户的访问记录和页面聚集进行匹配和相关度计算,来预测用户感兴趣的页面。

Web日志挖掘中数据预处理的研究

针对框架式页面存在的问题,对数据预处理过程进行了改进,在数据清洗和用户识别部分添加了页面过滤部分,同时对预处理过程中的页面过滤算法和用户识别策略也进行了改进。

Web日志挖掘中的数据预处理技术

数据预处理是Web日志挖掘中的重要步骤,一般分为数据清理、用户识别、会话识别和路径补充。为消除代理服务器、防火墙和本地缓存对Web日志带来的影响,采用基于引用的分析方法完成用户会话识别和路径补充。实验结果表明,在Web访问日志中的记录引用信息较完整的情况下,该方法可以高效地获得用户的访问路径。

Web日志挖掘技术的研究与应用

介绍了目前世界上两种主要的日志挖掘技术基于事务和基于数据立方体。同时,提出了一个基于日志挖掘技术的应Web (Web)Web用,即用户自适应的站点,介绍了这一系统的实现方法和主要特色。

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。

Web日志挖掘中的用户序列模式识别

为研究W eb日志挖掘中的序列模式识别问题,针对传统关联规则算法中阈值固定不变,大序列的数目与序列长度成反向增长的问题,对传统的关联规则算法进行改进,提出IAx算法,使长序列只需较小的支持度技术就能达到阈值,从而发现更多有意义的序列模式,同时运用理论证明该方法的正确性.

一种适用于Web日志挖掘的关联规则发现算法

Apriori算法是一种经典的关联规则发现算法。针对Web日志挖掘的特点,在Apriori算法基础上给出一种适用于动态事务数据库挖掘的关联规则发现算法,并对比该算法与Apriori算法的区别。将该算法应用到网站的日志挖掘中,实验证明该算法的性能较原算法有一定的提高。

基于Web日志挖掘的网页推荐方法

针对传统单纯聚类算法实现网页推荐精确度欠缺的问题,提出一种基于Web日志挖掘的个性化网页推荐模型,并实现了相应的网页推荐算法,算法结合聚类分析和关联规则挖掘,能有效实现网页推荐.实验结果表明,在保障网页页面推荐覆盖率的条件下,该方法有较高的精确度、有效性和实用性.

Web日志挖掘中数据预处理技术的研究

在Web日志挖掘中数据预处理是整个挖掘过程的基础,由于客户端缓存的存在,在已往的预处理过程中都是通过路径补充技术得到用户完整的访问路径之后,才能进行事务识别。提出了一种只需根据网站的拓扑结构,不需要使用路径补充技术,由用户访问序列直接生成事务的算法。

基于Hadoop的并行PSO-kmeans算法实现Web日志挖掘

互联网技术的迅速发展,使得基于单一结点的Web日志挖掘变得十分困难,而Hadoop云平台的出现,为这类问题提供了新的解决方案。但传统的Web日志挖掘聚类k-means算法对初始聚类中心的选择敏感等缺点,容易影响聚类准确率。针对这个问题,提出基于粒子群算法(PSO)的k-means算法,使得k-means算法不受初始聚类中心的影响,并且在Hadoop平台上实现了算法的MapReduce编程。实验结果证明:提出的改进算法,与传统的k-means算法相比,具有更高的聚类准确率;与串行单机算法相比,运行效率也有很大的提升。

基于模糊聚类的Web日志挖掘

本文使用模糊聚类的方法对Web日志进行数据挖掘,实现用户聚类和页面聚类,并设计与实现了一个基于模糊聚类的Web日志挖掘系统。

基于Apriori改进算法的Web日志挖掘支撑工具的实现

Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理,以发现相似客户群体、相关Web页面和频繁访问路径等,其目的在于从用户访问Web系统的行为中发现用户的访问模式.在对Web日志挖掘的原理和技术进行讨论的基础上,重点探讨了如何将Apriori改进算法应用于对Web日志的挖掘,提出了一种基于该算法的Web日志挖掘实现方法,实验结果表明了算法的有效性.

基于MapReduce的Web日志挖掘

针对单一CPU节点的Web数据挖掘系统在挖掘Web海量数据源时存在的计算瓶颈问题,利用云计算的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点,设计一种基于Map/Reduce架构的Web日志挖掘算法。为进一步验证该算法的高效性,通过搭建Hadoop平台,利用该算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,充分利用了集群系统的分布式计算能力处理大量的Web日志文件,可以大大地提高Web数据挖掘的效率。

Web日志挖掘数据预处理研究

数据预处理在Web日志挖掘过程中起着至关重要的作用.论文分析了Web日志挖掘数据预处理的主要步骤,设计了用户识别、访问操作识别和路径完善三个步骤的关键算法.实验结果表明,设计的关键算法是有效的.

基于Web日志挖掘和相关性度量的电子商务推荐系统

基于Web日志挖掘的个性化推荐技术已在电子商务网站中广泛应用,针对现有推荐系统的准确性不高等问题,提出一种基于Web日志挖掘和相关性度量的个性化推荐系统.首先,提取用户的访问日志,并对其进行预处理,以获得精简的结构化数据.然后,对日志进行分析,提取出特征序列.再后,根据特征的出现频率和页面停留时间,计算出页面与交易文本文档的相关性.最终,利用夹角余弦公式计算出用户与页面的相关性,并以此形成推荐列表.实验结果表明,该方案能够根据用户偏好精确的给出个性化推荐.

基于用户访问树的Web日志挖掘数据预处理

在Web日志挖掘中数据预处理是整个挖掘过程的基础,直接影响日志挖掘的质量和结果。提出了一种基于用户访问树的Web日志挖掘数据预处理方法,该方法在处理过程中根据Web日志建立用户访问树,并利用用户访问树进行用户和事务识别,从而可以在缺乏网站拓扑结构的情况下准确地对Web日志进行预处理。

Web日志挖掘的预处理及路径补全算法的研究

Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用。文章详细介绍了Web日志挖掘的预处理过程。通过实例分析了预处理方法,着重分析其中的路径补全方法,并给出了路径补全的算法实现。