搜索服务响应时间异常诊断

较低的网络服务响应时间对提升用户体验至关重要.以搜索引擎这一典型的网络服务场景为例,服务提供商应确保网络服务(搜索)响应时间在1 s以内.在实践中,服务响应时间会受到用户浏览器、运营商、页面加载方式等诸多服务属性的影响.为了进行针对性的优化,服务提供商需要找出使服务响应时间过长的规则,即一些属性的组合.然而现有研究工作遇到了3方面挑战:1)搜索日志数据量大;2)搜索日志数据分布不平衡;3)要求泛化度高的规则.因此设计了Miner(multi-dimensional extraction of rules),一种新型服务响应时间异常诊断框架.Miner使用自步采样机制应对第1个挑战和第2个挑战.针对第3个挑战,Miner使用Corels算法挖掘出泛化率高且召回率高的规则.使用2家国内顶级搜索引擎服务提供商的响应时间日志数据评估了Miner性能,结果显示Miner的泛化率和召回率均高于现有方法,并证明了Miner挖掘出的规则可被运维人员采纳并做针对性的优化.

网站评价中的样本选取及链接测度

网站评价越来越多地引起了人们的重视,而样本网站的选取关系着网站评价指标体系的构建和评价的顺利实施。文章从网站评价的研究现状出发,探讨了网站评价样本的初选和最终确定,总结出了若干网站选取经验。

一种评价搜索引擎信息覆盖率的模型及其验证

搜索引擎的网页搜集子系统通常以WWW的网页构成的有向图结构为依据 ,循着网页间的链接进行搜集从而扩大信息覆盖面 .本文针对这种信息覆盖能力 ,建立量化模型从多个角度考察搜集系统对WWW信息资源的覆盖程度 .文章首先分析了网页搜集不完全性的若干因素 ,在指出信息覆盖率的研究意义后提出了三类重要的信息覆盖率概念 ,然后围绕其中的数量和质量覆盖率展开研究工作 .在建立“采样 -权值计算 -验证”的覆盖率评测模型之后 ,以北大“燕穹”网页信息博物馆为考察对象并获得其网页数据 ,用不同的方式对中国Web进行采样 ;然后分别采用PageRank和HITS两种网页权值算法算出其中的重要网页作为样本 ,从量和质的角度考察“燕穹”系统的信息覆盖率 ,得到合理的数量和质量覆盖率值 ,从而验证了“燕穹”系统信息覆盖率结论的合理性和该信息覆盖率评测模型的可靠性 .

智能搜索引擎如何应用WEB信息挖掘技术

介绍网络信息挖掘技术定义、关键技术 ,以Google为例 ,剖析网络信息挖掘技术在搜索引擎的应用。

一种面向不确定图的SimRank算法

针对以往的搜索引擎日志分析都主要集中在用户行为分析、查询推荐及搜索引擎评价等方面,采用社会网络分析法对搜索引擎进行日志分析。以不确定图的方式逻辑表示搜索引擎的日志中查询词和网页的链接关系,通过基于不确定图的SimRank算法,计算查询词与网页的相似度,最终以相似度和查询词的加权方式建立网页描述库。针对概率抽样的3点基本要求,提出一种渐进式的抽样策略,从而保证采用抽样技术对于不确定图中SimRank值计算的准确性。实验表明该算法具有较好的准确率和可行性。

一种基于样本加权的位置文本排序算法

为有效解决元搜索引擎结果排序的问题,提出了一种基于样本加权的位置文本排序算法。分析了现有基础算法,并在充分考虑结构信息的基础上将记录的PageRank值转化为权值。结合文本信息及其在结果列表中的位置信息实现局部相似度的调整,对排序位置的相关分值进行了规范化处理。对摘要排序算法进行了改进,提出了查询词条匹配度和词条间关联度的概念。最后将各相关分值进行合并得到搜索结果的最终相关度。实验结果表明该方法的可行性和有效性。

基于混合核函数HS-RVM的边坡稳定性分析

传统计算方法难以准确地描述边坡稳定问题高度复杂的非线性特征,为此提出基于和声搜索(HS)与相关向量机(RVM)的边坡稳定性分析模型。由于边坡安全系数预测存在小样本、非线性、高维数等特征,采用RVM可以快速得出准确率更高的预测值,以及预测值的后验概率分布,并建立置信区间。由于RVM预测效果取决于核函数类型及参数选取的合理性,引入了泛化能力、插值能力均较强的混合核函数;并利用拉丁超立方抽样(LHS)初始化和声记忆库;后采用HS算法对混合核函数的参数组合进行全局寻优。通过编写Matlab程序,以预测值的平均绝对误差(MAE)最小化为寻优目标,建立基于HS-RVM的边坡稳定性分析模型。应用实例证明:HS-RVM充分挖掘了两算法的计算能力;模型不仅精度高,而且计算速度快,简单易用;在实际工程计算中有良好的应用前景。

一个基于Web资源采样特征的元搜索引擎

随着Internet的快速发展,Web信息量急剧增加,Web信息检索也相应地越来越困难。本文提出利用查询采样、Web资源分类等技术,自动创建类似Yahoo!的分类层次资源特征,建立一个树型的Web资源特征检索系统。由于采样时只需采集同类信息的一部分,避免了全部采集带来的大量物力浪费。利用创建的资源特征,在检索时选择需要的资源。然后再利用互操作机制,远程调用该资源的全文索引机制进行检索,提高了检索的查全率和查准率。同时由于要检索的Web资源特征是通过选择相关和抛弃不太相关的Web资源,也提高了查询的效率。