基于引用启发式和URL语义相结合的会话识别方法

会话识别是Web日志的用户行为分析的关键步骤,精准的会话识别是有效进行用户行为分析的基础。已有的会话识别方法不能有效地动态适应不同的用户(如多IP单用户、单IP多用户)行为,在Web日志分析的基础上,提出了一种基于引用启发式和URL语义相结合的会话识别方法。实验结果表明,改进后的会话识别方法能更有效地识别出用户的真实会话。

基于主题语义URL的信息搜索方法研究

为提高主题网络爬虫的效率及收获率,提出一种基于主题语义URL的信息搜索方法。该方法将种子URL映射到主题树的主题结点上,以主题路径上的主题文本扩充种子URL的语义,引导爬虫高效准确地抓取主题页面,并利用链接重要度与页面重要度因子在抓取过程中自动选育新的URL优良种子。重点阐述上述搜索方法的原理及其在系统中的实现。实验结果表明,该搜索方法能有效改善网络爬虫的搜索效率及收获率,且种子链接的选育性能良好。