Deep Web数据采集查询构造方法研究

网络大数据的大规模、多源异构、动态更新、高噪声给知识的获取带来了很大的挑战。特别地,很多网站隐藏在HTML表单后端的Web数据库中的Deep Web数据,只能通过提交表单查询的方式进行动态访问,网络爬虫难以通过页面之间的链接关系采集到这些数据,影响了获取到的知识资源的覆盖率,如何高效地采集这些数据并加以利用非常具有挑战性。为此对现有的Deep Web数据采集的查询构造方法进行了详细分析,分别介绍了针对不同类型的表单对应的Deep Web数据采集查询构造方法;总结了现有表层化方式的Deep Web数据采集查询构造方法的优缺点,并对Deep Web数据采集查询构造方法的未来工作进行了展望,以推动Deep Web数据采集技术的进一步发展。

基于本体推理的终端用户数据查询构造方法

基于数据分析的智能决策对提升企业竞争力具有重要意义.根据待分析的问题,从内部信息系统的数据库中查询并获取与问题密切相关且信息完整的数据,是企业数据分析过程中的关键环节.基于本体的可视化数据查询系统为不掌握计算机专业技能的终端用户提供了高效获取数据的手段,近年来成为研究热点.然而现有工作仅采用简单的映射规则,将数据库中的表、字段、外键关系等元素直接映射为本体中的概念、属性和关系,向终端用户暴露了过多数据库设计的技术细节,增加了用户理解的难度,降低了系统的可用性.而通过人工编写映射规则来屏蔽数据库细节,既低效又缺乏通用性.针对这一问题,提出了一种基于推理的终端用户本体查询构造方法.该方法利用本体模型的语义表达能力和推理能力,在原有基于数据库简单映射所生成的本体模型基础上注入领域知识,从而优化查询构造流程,使终端用户得以从其更为熟悉的业务知识的视角,而非数据库设计的视角来看待和操纵数据,提高系统可用性;同时,增加了对分组统计的支持,扩展了方法的适用范围.最后,通过对"餐饮前台信息管理"领域真实案例的分析,验证了该方法相对于已有方法,其可用性提高了53.44%,表达能力提高了20.43%.

基于XQuery的XML查询

XML数据本质上是一种自描述的半结构化数据,不同于以往的关系模型,现有的数据库技术和查询语言都不能用来直接处理XML数据。XQuery是W3C的一个候选标准,专门用于处理XML数据的查询。文章通过研究XQuery,设计了一种基于XQuery的通用的XML查询。

从Web获取部分整体关系语料的方法

部分整体关系获取是知识获取中的重要组成部分。Web逐步成为知识获取的重要资源之一。搜索引擎是从Web中获取部分整体关系知识的有效手段之一,我们将Web中包含部分整体关系的检索结果集合称为部分整体关系语料。由于目前主流搜索引擎尚不支持语义搜索,如何构造有效的查询以得到富含部分整体关系的语料,从而进一步获取部分整体关系,就成为一个重要的问题。该文提出了一种新的查询构造方法,目的在于从Web中获取部分整体关系语料。该方法能够构造基于语境词的查询,进而利用现有的搜索引擎从Web中获取部分整体关系语料。该方法在两个方面与人工构造查询方法和基于语料库查询构造查询方法所获取的语料进行对比,其一是语料中含有部分整体关系的语句数量;二是从语料中进一步获取部分整体关系的难易程度。实验结果表明,该方法远远优于后两者。

2005年863信息检索评测哈尔滨工业大学信息检索研究室技术报告

首先用向量空间模型工具Lucene从全部网页正文信息中检索，再用语言模型工具Lemur对结果集进行重排序，然后将两次的结果进行融合，远回融合结果的前1000篇文档作为最终结果集。构造查询输入时，从主题的〈title〉字段和〈dese〉字段选择关键词，并依据tf＊idf的思想对关键词赋予权值。时正式评测的50个主题集检索，获得的三项评价指标为：程序自动构造查询时，MAP=0．3107，P@10=0．624，R-Preeision=0．3672；人工构造查询时，MAP=0．3538，P@10=0．684，R-Preelsion=0．4078。

大学生用户移动搜索策略研究

在移动互联网迅速发展的背景下,移动搜索日趋普遍,搜索策略成为用户行为研究的一个重要方面。现有用户搜索策略研究包含查询式和搜索会话的统计分析,以及结合用户的信息需求、搜索情境来分析原因。本研究通过非受控实验的方式,对大学生用户在移动环境下的查询式构造、搜索会话中的查询式及搜索会话的其他特征进行分析。研究发现:在移动环境下大学生用户习惯使用多种语言组配进行搜索;搜索信息的主题类型存在聚焦现象;移动搜索更加便捷,大学生用户通过更短的查询式、搜索会话便可满足其信息需求;大学生用户会通过多种策略,在手机上执行较为复杂的搜索任务;其搜索活动会引发其他后续活动。研究大学生用户在移动环境下的搜索策略,可了解其搜索行为特征,有助于搜索引擎服务商提供更符合其搜索习惯的服务,更好地满足其信息需求,提高搜索效率。

移动图书馆用户查询式构造行为分析

[目的 /意义]揭示移动图书馆用户的查询式构造行为特征,并为移动图书馆的检索功能改进提出建议。[方法/过程]采用系统日志挖掘法,根据某高校移动图书馆为期一个月的用户日志,通过统计分析方法,利用互信息值、查询式多样性、查询式丰富性、学科分布、持续时间等指标考察移动图书馆用户的查询式关联性、查询重构模式、查询式主题等方面。[结果 /结论]移动图书馆用户的查询式互信息值普遍较低,即查询式在内容上的关联性较弱;重复模式和直线模式是最常见的重构模式,即移动图书馆用户反复搜索同一查询式;移动图书馆用户的搜索兴趣集中在人文社科领域,用户对相同主题查询式的搜索行为具有持续性。建议增加查询推荐功能、自动纠错功能和高级检索功能,以提高移动图书馆检索服务的查全率和查准率。

语码转换视角下汉藏双语查询式构造研究

[目的/意义]针对我国汉藏双语用户在网络信息搜寻中的语码转换现象,对汉藏双语查询式的构造进行研究,为汉藏双语用户和搜索引擎提供语码转换搜索场景下的搜索策略与检索系统优化建议。[方法/过程]采用受控用户实验的方法,采集语码转换情境下汉藏双语用户的查询式,对双语查询式集进行文本分析、聚类分析,获取汉藏语码转换情境下的查询式构造特征,归纳查询重构模式。[结果/结论]对比汉-藏与藏-汉语码转换方向,发现用户在语码转换前后的查询式长度、语法复杂度与语义相似度上均体现出明显的差异。汉藏双语语码转换的查询重构表现出偏离、邻近、扩展与简缩4种模式。

跨设备搜索中设备转移前后查询式语义变化研究

【目的】研究用户跨设备搜索中查询式的变化,以支持用户的跨设备搜索。【方法】通过用户实验、日志分析、聚类分析等方法分析用户跨设备搜索前后查询式的长度、关键词词数和查询式多样性等基本特征以及查询式语义变化模式。【结果】用户在电脑端构造查询式的长度和关键词数量显著多于移动端,但跨设备前后查询式多样性差异不明显;用户在跨设备搜索中构造的查询式在语义相似上有"W型"、"M型"和"V型"变化模式。【局限】用户数量限制了查询式获得数量。【结论】查询式语义变化模式在一定程度上能反映用户的搜索策略,识别用户查询式语义变化模式对判断用户搜索策略、从而支持用户跨设备搜索具有帮助。