Web日志挖掘的预处理及路径补全算法的研究

Web日志挖掘是Web数据挖掘研究领域中一个最重要的应用方面。而数据预处理在Web日志挖掘过程中起着至关重要的作用。文章详细介绍了Web日志挖掘的预处理过程。通过实例分析了预处理方法,着重分析其中的路径补全方法,并给出了路径补全的算法实现。

一种基于个性化推荐的用户访问路径补全算法

路径补全是Web日志数据预处理的重要阶段,目前的路径补全技术大多基于静态网站结构实施。个性化推荐技术的广泛应用,使站点结构由静态结构转变为动态结构。针对目前各种路径补全算法无法解决动态站点结构下用户访问路径中页面缺失的问题,提出动态站点结构的概念、构造方法及站点结构的图结构存储策略。在此基础上,提出一种在动态站点结构下的基于页面类型的用户访问路径补全算法PCBPS(Path Complement Based on Page Sort)。实验证明在动态站点结构下,这种方法能较准确地恢复用户访问路径中的缺失页面,较好地提高了路径补全的准确率。

基于站点结构和浏览时间的路径补全算法

路径补全旨在提高Web使用挖掘的准确性。在网页结构复杂的情况下,两个页面之间可以补充的路径可能有多条,传统的补充方式准确率较低。对此,分析了影响路径选择的因素,提出了用户浏览时间的概念,并结合动态站点结构提出一种基于站点结构和用户浏览时间的路径补全算法。该算法使用有向图结构存储了用户浏览时间和站点结构信息,并根据二者找出最合适的路径。实验结果表明,与传统方法相比,该方法提高了路径补充的准确率。

不确定性车辆路口的轨迹预测

在城市道路中,实时、准确、可靠地对移动车辆进行轨迹预测具有极高的应用价值,不仅可以提供准确的基于位置的服务,而且可以帮助过往车辆预知前方的交通状况。目前,移动车辆的轨迹预测方法主要基于历史轨迹的欧氏空间进行,并未考虑在受限路网中采用不确定性历史数据的车辆轨迹预测。针对这一问题,提出一种补全路径的基于马尔科夫链的轨迹预测方法,其优势在于:重新定义了补全路径算法,弥补了不确定性历史数据的不完整性,利用马尔科夫链低时间复杂度、高预测准确度的优势实现预测,避免了因频繁模式挖掘带来的查询时间过长而影响预测效率以及存在多余噪声影响轨迹预测准确率的问题。通过真实数据和实验分析表明:在参数设置相同的情况下,该方法比挖掘频繁轨迹模式算法的预测准确率平均提高了18.8%,预测时间平均缩减了80.4%。因此,该方法对于车辆路口的轨迹预测具有较高的预测准确率,并且能预测一系列的车辆未来轨迹。

利用图片类日志信息改进会话识别质量

数据预处理是Web日志挖掘的基础,而会话识别则是数据预处理的关键步骤,其质量严重影响Web日志挖掘的结果。在分析现有会话识别方法的基础上,提出了利用数据预处理中废弃的图片等日志数据,并结合扩展Web图结构,从页面分组规则和路径补全算法两个方面改进会话识别质量,并通过实验证实该方法对改善会话识别质量是有效的。

一种改进的Web日志数据预处理研究

Web日志中包含大量的冗余信息,这给挖掘带来了不便。数据预处理就是处理这些冗余信息,经过数据净化、用户识别、会话识别、路径补全操作后得到能够用于挖掘的数据。本文详细介绍了预处理过程,同时对传统的会话识别算法加以改进。本文提到的实际系统是基于SQL语句的,能够显著缩短预处理时间。