基于文档相关度计算的网页预测模型

基于网络日志挖掘的网页预测系统可以有效地分析用户未来的网络访问请求,从而达到智能推荐、改善网络性能等目的。针对目前的预测模型缺乏有效的语义处理的问题,将词语语义信息和统计语言模型相结合,提出一种基于文档相关度计算的网页统计预测模型。通过词频信息和知网(HowNet)中词的概念计算模型计算网页文档间的主题相关度,再将该语义信息与统计模型计算的条件概率值相结合,以此作为预测的依据。实验表明,该技术使预测模型的性能获得了较大的提高。

Nutch中网页更新预测研究与优化

Nutch的网页更新预测方法采用的是邻比法,相关更新参数需要人为设定,不能自适应调整,无法应对海量网页更新的差异性.为解决这个问题,提出动态选择策略对Nutch的网页更新预测方法进行改进.该策略在网页更新历史数据不足时,通过基于MapReduce的DBSCAN聚类算法来减少爬虫系统抓取网页数量,将样本网页的更新周期作为所属类其他网页的更新周期;在网页更新历史数据较多时,通过对网页更新历史数据进行泊松过程建模,较准确地预测每个网页的更新周期.最后在Hadoop分布式平台下对改进该策略测试.实验结果表明,优化后的网页更新预测方法表现更优.

网页更新预测算法研究现状

互联网的一个重要性质是网络中的网页信息随时发生着更新。在Web信息迅速增长的今天,网页更新的预测和确定成为了一个备受关注的课题。介绍了作为网页更新预测模型的泊松模型,并根据该模型的各种缺陷分析对网页更新预测算法的现状进行了阐述,同时对未来的研究方向进行了展望。

基于聚类克隆技术的Markov预测算法的改进

为解决传统一阶Markov模型算法的预测准确率较低问题,改进算法在动态的基于聚类克隆的Markov模型算法的基础上,通过限制克隆条件实现对状态的过滤,减少了需克隆的状态数,减小了计算量,从而提高了运算速度.实验表明,这种策略能有效地提高Markov模型在网页预测中的效率.

搜索引擎增量式搜集的实现与评测

针对传统的周期性集中式搜索(Crawler)的弱点和增量式Crawler的难点,提出预测更新策略,给出判别网页更新的MD5算法、URL调度算法和URL缓存算法,描述系统各个模块的分布式构架的实现,建立测试集数据对算法进行评测。该系统在北大天网搜索引擎上运行半年多,更新周期缩短了20天,变化预测命中率达到79.4%,提高了时效性、扩展性和稳定性。

大学图书馆学科服务专项搜索引擎关键技术研究

以承担"黑龙江省原料乳生产生物性风险来源分析与防控"研究的东北农业大学食品学院、黑龙江省疾病预防控制中心和哈尔滨市生牛奶监督检验所为学科服务对象,建立专项信息资源搜索引擎。描述了专项信息资源搜索引擎中的关键技术:即面向增量爬虫的网页更新频率预测技术,该技术使用泊松分布来预测特定网页更新变化情况,并通过实验验证了该技术的优越性能,为后续研究提供了基础。

基于模式探测的Web预取方法

随着移动互联网及OTT等应用的迅猛发展,手机用户每月需要支付较多的网络资费,为了帮助用户节省手机流量,很多应用软件提供了无图模式等功能,但是仍不能帮助用户节省较多的流量费用。通过分析用户浏览网页的习惯和手机网络连接状态,从而对用户浏览网页进行预测,在Wi Fi网络环境下对不同时间段的预测结果进行预取,提出了一个新的预测算法——时间序列矩阵算法。通过对用户信息的预处理,从而建立时间序列矩阵,每个用户的时间序列矩阵都不相关的。实验验证,提出的方法能够准确地预测用户的浏览需求,从而帮助用户节省手机流量。