文本检索的统计语言建模方法综述

统计语言建模技术(statisticallanguagemodeling,SLM)已逐渐成为当前语言信息处理的主流技术之一·近几年的研究和实验表明,SLM技术在文本检索领域有着广阔的发展前景和拓展空间·对基于SLM的文本检索方法(SLMTR)进行了综述,重点论述SLMTR的主要方法和关键技术·首先对查询似然检索模型进行形式化的描述;然后详细论述语言模型的估计和数据平滑问题;并讨论了平滑对检索性能的影响;之后简要介绍了对查询似然模型的一些主要的扩展和改进工作;最后的总结部分讨论了SLMTR所面临的一些挑战·

一种改进的自适应文本信息过滤模型

自适应信息过滤技术能够帮助用户从Web等信息海洋中获得感兴趣的内容或过滤无关垃圾信息.针对现有自适应过滤系统的不足,提出了一种改进的自适应文本信息过滤模型.模型中提供了两种相关性检索机制,在此基础上改进了反馈算法,并采用了增量训练的思想,对过滤中的自适应学习机制也提出了新的算法.基于本模型的系统在相关领域的国际评测中取得良好成绩.试验数据说明各项改进是有效的,新模型具有更高的性能.

基于统计语言模型的信息检索

本文对基于统计语言模型的信息检索进行了综述,介绍了目前基于统计语言模型信息检索中比较有代表性的模型,给出了语言模型估计中常用的几种平滑技术,将语言模型同目前流行信息检索模型进行了比较,在此基础上,指出了基于统计语言模型信息检索的研究方向。

结合本体论和统计方法的跨语言信息检索模型

为了更有效地提高跨语言信息检索的性能,结合本体论和统计方法的特性,提出一种混合的跨语言信息检索模型.在该语言模型的结构上,提出一种本体描述框架,构造了一个形式化的语言本体知识表示,通过典型语料学习,融合了语法、语义、句法等多元信息,建立了源语言本体知识库.在跨语言信息检索的实际应用中,利用本体表示,获得初始的检索文档集,再基于源语言本体知识库,对全部候选文档重新排序,以提高TopN排列的精确度.利用NTCIR-3Workshop中的中英文跨语言信息检索数据集对该语言模型进行了评价,相关实验结果表明,该方法取得了较满意的实验效果.

跨语言信息检索可视化研究

语言的多样性限制了人们利用信息的自由,也影响了信息价值的充分发挥。因此,跨语言信息检索成为当今的研究热点。本文将信息可视化的相关方法和技术应用到跨语言信息检索领域当中,提出了跨语言信息检索可视化模型,并介绍了一个实例——澳门法律信息可视化系统。

语言模型在信息检索中的应用

基于语言模型的检索方法为信息检索领域开辟了一个很有前景同时也具有相当挑战性的方向。与传统检索模型相比，语言模型不仅具有良好的理论基础，而且非常灵活，经过简单的变换很容易推演出其他经典的检索模型。此外，大量的实验结果表明，该方法的检索效果优于其他检索模型，因而一经提出便受到了广大研究人员的青睐。然而当前语言模型方法的研究主要集中在单语检索任务中，很少有研究关注语言模型方法在跨语言检索中的应用，针对这个问题，本文在系统介绍基于语言模型检索方法的基础上，将语言模型方法扩展到跨语言检索任务中，介绍了两个跨语言检索模型：统计翻译模型和跨语言相关语言模型。

利用平行网页建立中英文统计翻译模型

建立翻译模型的目的是试图从平行文本 (或翻译例句 )中自动抽取翻译关系。本文将描述我们在建立中英文统计翻译模型上的尝试。我们所用的平行文本是从万维网上自动获得的半结构性平行文本。在训练过程中 ,我们尽量利用文本中的HTML结构信息。实验表明 ,所训练的翻译模型能达到 80 %的准确率。对于象跨语言信息检索这样的应用 ,这样的准确率已经能大致满足需要。这一工作表明 。

应用于信息检索的统计语言模型研究进展

统计语言模型作为一种自然语言处理的工具,已经被证明有能力处理大规模真实文本。而统计语言模型和IR相结合后所形成的SLM-IR模型的提出,是信息检索模型研究上的重大进展。本文介绍了统计语言模型在信息检索领域的基本模型及相关问题,重点分析了Lemur工具箱和标题语言模型的原理及模型,最后从整体上介绍了该领域的国际动态和研究进展情况。

基于统计语言模型的信息检索演进探析

将自然语言处理技术——统计语言模型引入信息检索领域产生了一系列全新的检索模型,典型包括查询似然模型、生成相关性模型、词项依赖模型、统计翻译模型、泊松分布模型以及风险最小化框架等。本文从统计学模型以及N-gram技术的角度重点解析这些信息检索模型的演进过程。最后对基于统计语言模型的信息检索模型的发展过程以及未来发展趋势和挑战进行了总结。

基于统计机器翻译模型的查询扩展

在搜索引擎等实际的信息检索应用中,用户提交的查询请求通常都只包含很少的几个关键词,这会引起相关文档与用户查询之间的词不匹配问题,对检索性能有较严重的负面影响。该文在分析了查询产生模型的基础上,提出了一种新的基于统计机器翻译的查询扩展方法。通过统计机器翻译模型提取文档集中与查询词相关联的词,用以进行查询扩展。在TREC数据集上的试验结果表明:基于统计翻译的查询扩展方法不仅比不扩展的语言模型方法始终有12%～17%的提高,而且比流行的查询扩展方法-伪反馈也具有可比的平均准确率。

基于跨语言信息检索的数字图书馆系统模型

本文主要论述跨语言信息检索(CLIR)技术与数字图书馆(D-Lib)技术相结合的系统模型。首先介绍CLIR和D-Lib的概念及涉及的相关技术;然后讨论CLIR技术在D-Lib中应用的必然性和可行性;将CLIR的技术平台与D-Lib的系统结构相结合,设计基于CLIR的D-Lib系统模型;最后关于CLIR技术和D-Lib相结合的应用目前存在的问题提出自己见解。

基于Web的跨语言信息检索研究综述

回顾了近年来基于Web的跨语言信息检索技术的理论研究和发展现状,针对跨语言信息检索中基于语料库的方法,就其中语料库的构建和使用问题进行了阐述。比较分析和总结了两方面的技术:一是利用互联网上丰富的双语资源来建立大规模双语语料库的技术,二是目前运用较多的几种查询翻译模型构建技术。最后,展望了该领域的研究前景和发展方向。

信息检索模型及其在跨语言信息检索中的应用进展

信息检索发展中的一个重要理论问题是如何对查询与文档进行匹配,由此形成了不同的信息检索模型。跨语言信息检索是信息检索研究的一个分支,也是近年来的热点问题。本文主要对信息检索模型的研究进展,及其在跨语言信息检索中的应用进展进行分析与综述。

统计语言模型在信息检索中的应用

首先介绍了统计语言模型(SLM)的发展及常用的N元(n-gram)模型,对信息检索过程中的主要模型作了公式化描述并比较了不同模型,指出了它们之间及与传统概率检索方法的异同,分析了统计语言模型的弱点,最后介绍了对其可能的改进方法及最新研究进展,讨论了在中文信息检索中的应用和面对的挑战。

基于联合媒体相关模型的图像自动标注改进算法

为了充分利用标注词间的相关性,提高图像标注精度,解决图像检索中的语义鸿沟问题,提出了一种基于联合媒体相关模型的图像自动标注改进算法.该算法将标注词和图像的联合概率求解过程转换成在标注词条件下图像出现的概率和标注词的先验概率的求解过程,减少了高频候选标注词对概率统计模型的影响,同时引入语义相似语言模型,利用上下文关联词矢量表示每个标注词,通过估计1幅图像的1组相关性最大的标注词来实现对图像的标注.与基于联合媒体相关图像自动标注算法相比,在标注过程中,本算法不再假设模型中各标注词之间是相互独立的,充分考虑标注词上下文的相关性信息,提高了图像标注精度;对标准的Corel图像集实验结果表明,基于联合媒体相关模型的图像自动标注改进算法是有效的.

基于双语主题模型和双语词向量的跨语言知识链接

跨语言知识链接是指在描述相同内容的不同语言的在线百科文章之间建立联系。跨语言知识链接可分为候选集选择和候选集排序两部分。首先,把候选集选择问题转换为跨语言信息检索问题,提出一种将标题与关键词相结合从而生成查询的方法,该方法将候选集选择的召回率大幅提高至93.8%;在候选集排序部分,提出一种融合双语主题模型及双语词向量的排序模型,实现了英文维基百科和中文百度百科之间军事领域的跨语言知识链接。实验结果表明,该模型取得了75%的准确率,显著提高了跨语言知识链接的性能,并且提出的方法不依赖于语言特性和领域特性,因此可以很容易地扩展至其他语言和其他领域的跨语言知识链接。

基于跨语言信息检索的企业竞争情报收集系统模型的研究

目前,随着企业全球化的竞争日益加剧,那些参与国外竞争的企业不仅要知道自己企业本身的情况,也要了解国外竞争对手的情况,这需要有效的收集企业情报。本文分析了企业竞争情报的特点以及情报收集存在的问题,并且将跨语言信息检索引入到企业竞争情报收集。本文构建了基于跨语言信息检索的企业竞争情报收集系统的模型,并对其进行了具体分析。

跨语言交互式检索在数字图书馆中的应用

在现有数字图书馆信息检索系统的基础上,针对检索结果的查准率和查全率偏低等问题,将智能交互式检索技术与CLIR技术相结合,设计基于跨语言交互式检索模型,并将其引入到数字图书馆系统进行应用。

基于多任务学习的跨语言信息检索方法研究

跨语言信息检索是信息检索领域的重要任务之一。现有的跨语言神经检索方法通常使用单任务学习,单一的特征捕捉模式限制了神经检索模型的性能。为此,本文提出一种基于多任务学习的跨语言检索方法,利用文本分类任务作为辅助任务,使用共享文本特征提取层同时捕捉2个任务的特征信息,使其学习不同任务的特征模式,然后将特征向量分别输入到神经检索模型和文本分类模型中完成2个任务。另外,文本分类任务引入的外部语料也在一定程度上起到了数据增强的作用,进一步增加了特征信息的层次。在CLEF 2000-2003数据集的4个语言对上进行的实验表明,本方法明显改善了文本特征提取的效果,从而增强了神经检索模型性能,使神经检索模型的MAP值提高0.012~0.188,并使模型收敛速度平均提高了24.3%。

中文问答系统中基于SLM的信息检索及其平滑技术研究

为适应中文问答系统中汉语语言的特点,本文对信息检索模块进行了深入分析,相对于传统的主流信息检索模型,找到了一种更有效的检索方法——基于SLM的语言模型的信息检索技术(SLM-IR)。同时,研究了N-gram模型的参数N选取及其几种主要的数据平滑技术,并通过对各种数据平滑方法的实验对比,讨论了影响这些数据平滑方法性能的有关因素,如训练集规模等,最终给出了在不同情况下的最优选择方案。