分布式信息搜集系统中URL存储检索的设计与分析

URL的存储检索效率是构建大规模分布式信息搜集系统的关键 ,其决定了系统搜集 Web文档的效率 .对 URL存储检索性能做定量分析 ,分别得出 URL存储及检索所需要达到的速度指标 .在此基础上 ,提出了两种 URL存储检索原型 ,即集中 URL服务器存储检索和分布 URL存储检索 ,并对这两种原型系统的检索速度、性能价格比、可扩展性以及可靠性进行了分析比较 .实际应用中 ,可以根据优化目标选择相应的

高效的基于段模式的恶意URL检测方法

提出一种高效的基于段模式的检测恶意URL的方法,该方法首先解析已标注的恶意URL中的域名、路径名和文件名3个语义段,然后通过建立以三元组为词项的倒排索引快速计算恶意URL每个语义段的模式,最后基于倒排索引查找到的段模式来判定给定的URL是否是恶意URL。不仅如此,该方法还支持基于Jaccard的随机域名识别技术来判定包含随机域名的恶意URL。实验结果表明,与当前先进的基准方法相比,该方法具有较好的性能和可扩展性。

一种应用于搜索引擎URL检索的hash算法设计与实现

针对MD5在搜索引擎URL检索中的应用,指出其不足之处,设计一种应用于搜索引擎URL索引的消息摘要算法,与MD5算法比较,该算法生成了较短的hash值,可以节约内存空间、提高检索效率,并且该算法可以充分利用可用的hash值域空间。

基于链路预测的iSchools联盟院校URL共引潜在关联识别研究

目的:探索iSchools联盟院校关联特征及潜在演进态势,为网络时代背景下iSchools联盟院校间交互结构性能的优化、互联互通引导机制的健全、国际交流与合作策略的完善以及协同创新与发展战略的制定提供可资借鉴的理论和实践参考。方法:以iSchools联盟院校的URL共引网络结构信息为基础,采用10项基于局部信息的相似性指标分别对无权和加权URL共引网络进行链路预测分析,对比各指标的预测性能。引入权重调节系数,剖析强弱连接对预测精度的影响。利用无权PA指标对iSchools联盟院校在网络空间中的潜在关联进行预测识别。结果:不同链路预测指标在无权和加权iSchools联盟院校URL共引网络中的适用性存在一定差异,iSchools联盟院校URL共引链路预测过程中存在一定程度的强弱连接效应。结论:我国高校信息学院与国际院校的联系将日益密切,在iSchools联盟网络中的地位具有较大的提升空间。

一种轻量级中文搜索引擎模型的设计与实现

首先详细介绍了一种建构在PC Windows平台上的轻量级中文搜索引擎系统模型的总体设计,然后采用基于多线程技术的广度优先遍历法及最大匹配法和最小匹配法相结合的中文分词法等技术进行了各个主要功能模块的具体设计和实现,对模型进行了基于多线程的网络爬虫、用户接口等测试。测试实验结果表明:构建并实现的轻量级中文搜索引擎系统模型能较好地实现一个简单中文搜索引擎所具有的基本功能,系统界面简单实用,具有较高的资源检索率并能够保证检索结果的准确性。

互联网上食品科技信息的开发与利用

互联网蕴藏着极其丰富的食品信息,本文介绍了利用浏览、分类、关键词等方式检索网上食品资料的方法,并提供了部分网址。

用于评价推荐系统的多样性指数的研究

针对当今数据量的庞大导致用户获取所需信息困难以及推荐系统评价体系缺乏多样性评价指标的问题,提出基于三部图校准的Herfindahl多样性指数,通过该指标来量化推荐系统的多样性。首先,根据设定好的分类方式进行URL分类;进而设计形成“类别URL用户”的三部图;其次,对原本的Herfindahl指数进行改良,减少数量的差异对多样性的影响;最后,结合改良的Herfindahl多样性指数,得到推荐系统的多样性指数。多样性指数的出现有助于在评价推荐系统时,不仅关注推荐的准确与否,而且考虑推荐信息是否全面。实验表明,基于此实验提出的方法所得的改良后的Herfindahl指数可以对推荐系统类别受众多样性进行准确的量化。

高放废物处置地下实验室建设期风险接受准则

为了开展高放废物(HLW)处置地下实验室(URL)建设施工阶段的安全风险管理,建立相应的风险接受准则。根据URL工程建设施工阶段不确定性因素众多、社会敏感性强等特点,考虑现有风险相关规范、标准应用的局限性,在借鉴既有相关风险接受准则的研究成果及确定方法的基础上,结合专家调研方法,从人员伤亡、经济损失、工期延误、社会影响、环境影响5个方面初步建立基于最低合理可行(ALARP)准则的风险接受准则。研究对比发现,所建各准则均可被连续量化,且相比于现有风险接受准则,部分标准更加严格,符合URL建设施工阶段安全风险管控的目标。