基于专家系统的Web日志数据处理方法研究

企业员工访问网站的记录在企业服务器中形成了大规模日志数据,从这些海量数据中发掘出有意义的信息是管理企业员工重要的环节,并成为大数据时代关注的重点。完成数据挖掘的核心工作之一就是对原始数据的预处理,它影响到数据分析结果的准确度。但由于web日志是Apache、Nginx和IIS等web服务器运行时产生的系统日志,web日志格式根据使用web服务器的不同而不同。所以,传统的日志数据清洗方式难以应对目前如此复杂的日志格式。由于专家系统其技术特点能应对复杂的日志格式,所以通过结合专家系统,推理出对应的web日志格式,从而自动进行日志数据清洗,可以使得当下复杂海量web日志数据预处理更加高效,智能。首先,介绍了专家系统;其次,介绍了web日志数据一般的数据预处理流程;最后,结合专家系统对海量复杂的web日志数据进行数据预处理,并通过实验验证了该方法的可行性。

挖掘高校图书馆Web日志数据库的意义和方法

The library Web log databases in colleges and univeristies contain rich and valuable knowledge To discover and extract this knowledge by the use of OLAP and DM technologies plays an important role in providing decision support for library administration This paper discusses the significance and method of mining library Web log databases in colleges and

Web日志数据挖掘的数据预处理方法研究

主要介绍了Web用户访问日志数据挖掘数据预处理过程,综述了国际上的研究现状,流行的预处理方法。在对用户访问行为的合理假定基础上,最后提出了基于综合最大前向参引模型和时间窗口模型的新方法。

Web日志数据挖掘的个性化推荐系统的探析

本文阐述了web日志挖掘应用到个性化推荐系统中的研究的意义,并从Web日志数据挖掘技术理论知识展开分析研究,对进行研究个性化推荐系统的研究提供理论支持。

web日志数据挖掘在服务器安全方面的应用探讨

随着科学技术的快速发展,各种网络犯罪行为时有发生,为个人和国家带来了严重的损失,因此加强计算机网络及服务器安全,确保信息的完整性和保密性至关重要。服务器在计算机操作系统中发挥着重要的作用,其安全涵盖物理安全、病毒防护、网络安全、数据库安全、操作系统安全等,这就需要认真研究服务器的安全保护措施,利用web日志来了解系统面临的潜在威胁,以免系统数据受到破坏或修改。本文就对web日志数据挖掘在服务器安全方面的应用进行分析和探究。

基于主题序列模式的旅游产品推荐引擎

旅游产品推荐是当前推荐系统研究领域中的新兴议题之一.由于旅游产品描述信息维度多样复杂、"用户-产品"关联矩阵极为稀疏且冷启动问题突出,已经在电子商务领域获得成功的协同过滤推荐往往难以直接被应用于旅游产品推荐.提出基于主题序列模式的旅游产品推荐引擎SECT,试图通过在线旅游网站点击日志的挖掘产生推荐.首先,从页面语义描述文本中挖掘主题,以在泛化层面捕捉用户行为模式;其次,从页面访问时间序列数据中挖掘频繁序列模式及其候选产品集,形成序列模式库;最后,提出Markov n-gram模型,完成用户实时点击流与模式库匹配计算.为了提升在线匹配计算的效率,设计一种新的多叉树数据结构PSC-tree用于存储历史模式库,并与在线计算模块无缝衔接.在真实旅游数据集上的实验结果表明:该推荐引擎比传统推荐算法具有更优越的性能,而且能有效提升冷启动用户的推荐率和准确率.此外,针对长尾物品的推荐,SECT也优于基准算法.

基于关联图的改进关联规则在推荐系统中的应用

提出了推荐模型中的关联规则挖掘方法的改进,给出了自定义的页面权值的定义,并改进了基于关联图的关联规则挖掘算法,将页面权值应用于关联规则的挖掘中。此算法是利用Web日志中经过预处理后得到的数据进行规则挖掘,将处理后的数据应用正态分布函数来得到页面权值。用页面权值重新计算支持度,最后将得到的支持度应用于改进的规则挖掘算法中,形成一种基于权值的关联图的关联规则算法。