基于混合人工免疫算法的流程挖掘事件日志融合方法

流程挖掘是流程管理和数据挖掘交叉领域中的一个研究热点.在实际业务环境中,流程执行的数据往往分散记录到不同的事件日志中,需要将这些事件日志融合成单一事件日志文件,才能应用当前基于单一事件日志的流程挖掘技术.然而,由于流程日志间存在着执行实例的多对多匹配关系、融合所需信息可能缺失等问题,导致事件日志融合问题具有较高的挑战性.对事件日志融合问题进行了形式化定义,指出该问题是一个搜索优化问题,并提出了一种基于混合人工免疫算法的事件日志融合方法:以启发式方法生成初始种群,以人工免疫系统的克隆选择理论作为基础,通过免疫进化获得"最佳"的融合解,从而支持包含多对多的实例匹配关系的日志融合;考虑两个实例级别的因素——流程执行路径出现的频次和流程实例间的时间匹配关系,分别从"量"匹配和"时间"匹配两个维度来评价进化中的个体;通过设置免疫记忆库、引入模拟退火机制,保证新一代种群的多样性,减少进化早熟几率.实验结果表明:该方法能够实现多对多的实例匹配关系的事件日志融合的目标,相对于随机方法生成初始种群,启发式方法能够加快免疫进化的速度.另外,针对利用分布式技术提高事件日志融合性能,探讨了大规模事件日志分布式融合中的数据划分问题.

Web日志挖掘中数据预处理的研究

针对框架式页面存在的问题,对数据预处理过程进行了改进,在数据清洗和用户识别部分添加了页面过滤部分,同时对预处理过程中的页面过滤算法和用户识别策略也进行了改进。

Web日志挖掘中的数据预处理技术研究

在Web数据挖掘研究领域中,Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用。文中深入探讨了数据预处理环节的主要任务,并介绍这个过程中一些特殊情况的处理方法。

Web日志挖掘预处理中的用户识别技术

1引言 互联网技术和应用的迅速发展使得可以从因特网获取的信息量日益剧增,因此迫切需要一种新的技术从这些信息中快速、及时地发现有用的知识,提高信息的利用率.作为数据挖掘技术[1]研究的一个重要领域,Web日志挖掘(Web L0gMining)是从服务器日志文件内大量的用户访问记录中抽取有用信息的过程.通过对Web日志的分析,可以构造出用户的行为模式,对于分析改进网络性能、优化网站的设计和拓扑结构以及改善企业的市场营销决策等会有极大的帮助[2,3].

基于Web日志的用户访问路径提取与分析

线上购物相对线下购物的一个特点是可以将用户的购物过程记录到网站的Web日志中,为研究用户网上行为特征提供必要的数据支持。本文详细介绍了对Web日志数据进行预处理的一系列步骤和方法,并以某出版社网站18天的日志数据为实证,提取出用户的访问路径（访问页面的先后次序）,分析路径信息得到用户在不同页面之间访问的转换概率,从而定量地衡量购物流程中各步骤之间的转换率和贡献率,提炼出用户最有可能的前向转换路径和后向转换路径,以期对网站流程优化和商品促销设置提供决策支持。

测井资料一致性处理在井震联合反演中的应用

在油气勘探开发过程中,地震勘探是油气田勘探开发的重要手段,测井资料的综合分析和解释是勘探开发的关键环节,以地质学、沉积学为基础开展井震联合反演是提高勘探开发的重要途径。地震反演是测井与地震信息融合的过程,其结果往往得不到理想的效果,问题的关键是测井信息与地震信息未能有效统一。重点阐述了井震结合过程中,测井资料一致性处理问题,提出利用标准泥岩段频率分布一致性法对测井曲线进行校正,以消除测量环境差异导致的测井曲线误差,使测井资料与地震资料达到最佳匹配,从而提高地震反演效果。

一种Web日志会话识别的优化方法

会话识别是Web日志挖掘的关键步骤,然而很多方法所得到的会话不够精确。该文对此提出优化算法,并对最常用的Timeout方法识别的会话进行优化,通过实验证明会话质量得到了提高。

Web日志挖掘中的数据预处理技术

数据预处理是Web日志挖掘中的重要步骤,一般分为数据清理、用户识别、会话识别和路径补充。为消除代理服务器、防火墙和本地缓存对Web日志带来的影响,采用基于引用的分析方法完成用户会话识别和路径补充。实验结果表明,在Web访问日志中的记录引用信息较完整的情况下,该方法可以高效地获得用户的访问路径。

Web日志挖掘预处理中的Frame页面过滤算法

Web日志挖掘是将数据挖掘技术应用到Web服务器的日志中，发现Web用户的行为模式。在介绍了典型的数据预处理技术的基础上，指出Frame页面降低了挖掘结果的兴趣性，并提出相应的解决方法--Frame页面过滤算法消除其影响。通过实验数据对该算法进行验证，说明Frame页面过滤算法可以显著地提高Web日志挖掘结果的兴趣性。

基于协作过滤的Web日志数据预处理研究

协作过滤是当今应用较为成功的个性化服务技术,Web日志可以为个性化服务技术提供重要的数据源,只要对日志数据进行高效预处理,就能提高协作过滤算法有效性和个性化服务质量。结合实际日志数据的处理,给出了基于协作过滤的Web日志数据预处理过程结构图和一种可行的数据预处理方法,该方法不仅可以提供更加干净、规则的数据源,而且在用户兴趣度量方面,弥补了以往诸多兴趣度量方法的不足,为协作过滤算法提供了更加准确的数据支持。

基于概率潜在语义分析的Web用户聚类

Web用户聚类知识可以为改进信息搜索效率和提供个性化服务提供帮助。通过对海量日志记录分析,构建会话-页面矩阵;根据信息论理论,在会话-页面矩阵中权值计算中考虑局部和全局权值贡献;利用概率潜在语义分析将隐式变量Z对页面P的条件概率转换为隐式变量Z对会话S的条件概率,然后在聚类分析中以此作为相似度计算依据。聚类算法采用了基于距离的k-medoids算法,以进一步改善聚类精度。实验结果验证了该算法的有效性和局限性。

Web日志挖掘中的会话识别方法

为更好地实现会话识别,从而为后续模式发现提供准确的挖掘数据,在分析现有常用的会话识别方法后,提出一种基于待挖掘站点首页的用户会话识别方法。该方法根据用户浏览站点的习惯,以站点首页作为用户新会话开始标识,并增强了用户会话的定义。最后利用数据库编程实现该方法,将识别出的会话存储在数据库中,便于后续数据挖掘使用。实验结果表明,该方法能识别出更多的用户会话,且识别会话的准确率也更高。

Web日志挖掘中数据预处理方法的研究

Web日志挖掘是目前网上智能信息检索和电子商务的主要研究课题之一。而数据预处理在Web日志挖掘中起着很重要的作用,直接影响日志挖掘的质量和结果。介绍了Web日志挖掘数据预处理过程,综述了国际上的研究现状,及流行的处理方法。针对预处理步骤中的用户会话识别和路径填充进行了相应的改进。根据评估会话构造方法的标准,通过实验对给出的新方法与其他方法进行了分析比较。

Web日志分析中数据预处理的设计与实现

Web日志数据预处理是Web日志分析的重要步骤,是通过Web日志数据获取有价值信息的基础和前提。本文介绍了对商务部主办的《中俄经贸合作网》大量Web日志数据进行预处理时所采用的算法和处理过程,即先将已知IP地址与物理地址的对应关系保存在HashMap中,然后综合运用折半与顺序查找算法,可显著减少查询次数,提高查询效率。实验结果证明这种方法具有好的应用效果,能极大改善数据预处理软件的性能。

Web日志挖掘中数据预处理技术的研究

在Web日志挖掘中数据预处理是整个挖掘过程的基础,由于客户端缓存的存在,在已往的预处理过程中都是通过路径补充技术得到用户完整的访问路径之后,才能进行事务识别。提出了一种只需根据网站的拓扑结构,不需要使用路径补充技术,由用户访问序列直接生成事务的算法。

Web日志预处理的Clementine方案

利用Clementine完成Web日志预处理数据流的初步构建,实现了数据清洗、用户识别、会话识别、路径补充4大过程,同时具备日志合并、数据审核、规范编码、外部信息关联等辅助功能。实验研究表明,利用Clementine对Web日志进行预处理是完全可行的,这为在该平台上进一步完成挖掘工作奠定了基础,从一定程度上解决了Web日志挖掘与预处理交由不同工具处理的困境,提高了Web日志挖掘的自动化程度。

改进的Web日志数据预处理技术

介绍Web日志挖掘预处理过程中一些特殊情况的处理方法,在会话识别阶段给出一种基于过滤框架网页与会话重组相结合的会话识别方法,在会话识别之前进行框架网页的过滤,根据传统的会话识别方法构造初始会话集,使用会话重组算法对初始会话集进行优化。实验结果显示,该方法提高了会话识别的质量。

改进的Web访问日志会话识别算法

针对Web日志挖掘中的会话识别问题,分别对Timeout方法、参引长度法进行改进,提出了一种改进的会话识别方法。该方法运用网站的拓扑结构信息,动态设定各页面的时间间隔阀值,使页面时间间隔阀值同页面的重要程度结合起来。同时通过灵活界定内容页,并针对内容页,提出了一些启发式规则,突破了"参引长度法"所固有的一个会话中只包含一个内容页的瓶颈。该方法提高了会话识别的准确度,实验结果表明是有效的。

基于Web日志挖掘的客户访问兴趣分析

数据预处理是Web日志挖掘中的一项关键技术,如何分析客户访问兴趣是Web挖掘中的一个重要研究课题。概述了Web日志挖掘的概念、方法和步骤,重点分析了数据预处理的主要步骤及其实现技术,考虑客户访问路径和浏览时间长度等因素,给出并计算分析了网站用户的访问兴趣的方法。汽修之家网站日志的实际测试结果表明了该方法的有效性。

Web日志挖掘的预处理及路径补全算法的研究

Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用。文章详细介绍了Web日志挖掘的预处理过程。通过实例分析了预处理方法,着重分析其中的路径补全方法,并给出了路径补全的算法实现。