跨语言信息检索中的双语主题相关模型

如何通过双语平行语料库提取语言之间的语义对信息,对改善跨语言信息检索的性能有着十分重要的意义.双语平行文档拥有相同的主题,这些双语主题在具体模型上可体现为语义相关.本文首先将双语平行文档看作同一语义内容的两种语言表示,从双语平行语料库构造每种语言的潜在语义空间,从而提出一种新的双语主题模型,即双语偏最小二乘主题相关模型.新模型克服了跨语言潜在语义索引模型没有充分考虑双语语义联系的不足.在中英双语新闻语料集上实验结果显示,新模型的文档配对搜索和伪查询跨语言检索性能明显优于跨语言潜在语义索引模型;在使用Google翻译得到的TREC-9双语平行语料库上,新模型也获得了较好的检索性能.

信息检索模型及其在跨语言信息检索中的应用进展

信息检索发展中的一个重要理论问题是如何对查询与文档进行匹配,由此形成了不同的信息检索模型。跨语言信息检索是信息检索研究的一个分支,也是近年来的热点问题。本文主要对信息检索模型的研究进展,及其在跨语言信息检索中的应用进展进行分析与综述。

跨语言信息检索中的多语言处理技术研究

全球化时代下,跨语言信息检索系统成为连接不同语言和文化用户的关键技术。而作为系统的技术要点,多语言处理技术则在全球化程度日益加深的进程中,表现出了更重要的科学价值。本文深入探讨了跨语言信息检索中的多语言处理技术,包括语言检测、机器翻译、词干提取、词嵌入以及深度学习模型等。通过深入分析此类技术在应对多语言复杂性,以及提高跨语言信息检索效率和准确性方面的作用,针对当前系统的性能瓶颈提出了具有参考价值的技术优化方案,为未来的进一步研究提供了方向。

结合本体论和统计方法的跨语言信息检索模型

为了更有效地提高跨语言信息检索的性能,结合本体论和统计方法的特性,提出一种混合的跨语言信息检索模型.在该语言模型的结构上,提出一种本体描述框架,构造了一个形式化的语言本体知识表示,通过典型语料学习,融合了语法、语义、句法等多元信息,建立了源语言本体知识库.在跨语言信息检索的实际应用中,利用本体表示,获得初始的检索文档集,再基于源语言本体知识库,对全部候选文档重新排序,以提高TopN排列的精确度.利用NTCIR-3Workshop中的中英文跨语言信息检索数据集对该语言模型进行了评价,相关实验结果表明,该方法取得了较满意的实验效果.

语言模型在信息检索中的应用

基于语言模型的检索方法为信息检索领域开辟了一个很有前景同时也具有相当挑战性的方向。与传统检索模型相比，语言模型不仅具有良好的理论基础，而且非常灵活，经过简单的变换很容易推演出其他经典的检索模型。此外，大量的实验结果表明，该方法的检索效果优于其他检索模型，因而一经提出便受到了广大研究人员的青睐。然而当前语言模型方法的研究主要集中在单语检索任务中，很少有研究关注语言模型方法在跨语言检索中的应用，针对这个问题，本文在系统介绍基于语言模型检索方法的基础上，将语言模型方法扩展到跨语言检索任务中，介绍了两个跨语言检索模型：统计翻译模型和跨语言相关语言模型。

跨语言信息检索模型应用研究

信息检索过程自始至终都涉及相关性问题和检索模型,跨语言信息检索(CLIR)也不例外。对检索模型进行了分类,论述了各模型在CLIR中的应用,并对各模型进行了比较。

从跨语言信息检索论日本国日中·中日机器翻译研发前沿

近年,中文信息在日本受到高度瞩目,为满足日文用户无障碍地检索中文信息的需求,以跨语言信息检索为重要目的之一的日中·中日翻译系统在日本受到了从政府到企业的高度重视,该领域的研究极其活跃.文章在重申跨语言信息检索概念、介绍日本机器翻译研究历史基础之上,论述了日本日中·中日机器翻译系统国家项目、大学研究项目和企业研究项目的整体状况.最后,给出了在跟踪、借鉴日本经验同时需要注意的相关问题.

基于跨语言信息检索的数字图书馆系统模型

本文主要论述跨语言信息检索(CLIR)技术与数字图书馆(D-Lib)技术相结合的系统模型。首先介绍CLIR和D-Lib的概念及涉及的相关技术;然后讨论CLIR技术在D-Lib中应用的必然性和可行性;将CLIR的技术平台与D-Lib的系统结构相结合,设计基于CLIR的D-Lib系统模型;最后关于CLIR技术和D-Lib相结合的应用目前存在的问题提出自己见解。

面向数字图书馆的汉英跨语言信息检索模型

以中文查询词检索英语文献,为用户提供跨语言检索服务,是目前数字图书馆信息服务研究的一个热点。针对数字图书馆跨语言信息检索中存在的问题,本文提出一种基于查询扩展和词间关联模式挖掘的数字图书馆汉英跨语言信息检索模型,阐述了该模型的设计思想及其算法,详细论述其主要模块及功能,为数字图书馆跨语言检索研究提供一种新思路。该模型采用了查询扩展和关联规则挖掘技术,可以提高跨语言信息检索性能。

面向汉越跨语言事件检索的事件预训练方法

汉越跨语言事件检索是用汉语查询检索越南语事件新闻的任务。由于越南语属于典型的低资源语言,汉越跨语言事件检索缺乏大规模的标注数据,并且现有的跨语言预训练模型无法很好地表征文本中丰富的汉越对齐事件知识,不适用于该任务。因此,为了将汉越双语对齐的事件知识融入到多语言预训练语言模型中,该文提出了两个预训练方法,即事件要素掩码预训练以及跨语言事件对比预训练。在该文构造的汉越跨语言事件检索数据集和公开跨语言问答数据集上进行了实验,比基线提升1%~3%MAP值,2%~4%NDCG值,证明了该文方法的有效性。

基于跨语言信息检索的企业竞争情报收集系统模型的研究

目前,随着企业全球化的竞争日益加剧,那些参与国外竞争的企业不仅要知道自己企业本身的情况,也要了解国外竞争对手的情况,这需要有效的收集企业情报。本文分析了企业竞争情报的特点以及情报收集存在的问题,并且将跨语言信息检索引入到企业竞争情报收集。本文构建了基于跨语言信息检索的企业竞争情报收集系统的模型,并对其进行了具体分析。

跨语言交互式检索在数字图书馆中的应用

在现有数字图书馆信息检索系统的基础上,针对检索结果的查准率和查全率偏低等问题,将智能交互式检索技术与CLIR技术相结合,设计基于跨语言交互式检索模型,并将其引入到数字图书馆系统进行应用。

基于语义图模型的跨语言网络信息检索方法研究

为了提高网络空间中信息检索的查准率和查全率,提出基于语义图模型的跨语言网络信息检索方法.构建图拓扑结构模型,根据图拓扑结构提取跨语言网络信息特征,在此基础上,采用欧式距离方法对其进行关联规则挖掘,根据语义图模型的属性分布特性进行模糊聚类处理,结合语法性的关键程度与语法性的模糊聚类原则,实现对跨语言网络信息检索优化.仿真结果表明,采用该方法进行跨语言网络信息检索的查准率较高,查全率较好,对网络空间中的信息检测和识别具有很好的应用价值.

跨语言信息检索可视化研究

语言的多样性限制了人们利用信息的自由,也影响了信息价值的充分发挥。因此,跨语言信息检索成为当今的研究热点。本文将信息可视化的相关方法和技术应用到跨语言信息检索领域当中,提出了跨语言信息检索可视化模型,并介绍了一个实例——澳门法律信息可视化系统。

完全加权模式挖掘与相关反馈融合的印尼汉跨语言查询扩展

将完全加权关联规则挖掘应用于印尼汉跨语言查询扩展,给出面向跨语言查询扩展的完全加权词间关联模式挖掘算法(AWAR-CLQE-Miner)和印尼汉跨语言查询扩展模型,提出基于完全加权关联规则挖掘的印尼汉跨语言伪相关反馈查询扩展算法(IC_CLPRF_AWAR),以及印尼汉跨语言用户相关反馈查询扩展算法(IC_CLURF_AWAR).算法将印尼语查询通过机器翻译系统翻译为中文查询进行跨语言检索,分别采用伪相关反馈和用户相关反馈技术构建跨语言初检相关文档集,调用AWAR-CLQE-M iner算法对初检相关文档集挖掘与原查询相关的扩展词实现跨语言查询译后扩展.以标准测试集NTCIR-5CLIR为实验语料,将本文算法与现有算法进行实验比较,实验结果表明,本文算法能提高和改善印尼汉跨语言信息检索性能,对长查询更有效,其中,IC_CLURF_AWAR算法比IC_CLPRF_AWAR算法获得更好的检索性能.

基于Web的跨语言信息检索研究综述

回顾了近年来基于Web的跨语言信息检索技术的理论研究和发展现状,针对跨语言信息检索中基于语料库的方法,就其中语料库的构建和使用问题进行了阐述。比较分析和总结了两方面的技术:一是利用互联网上丰富的双语资源来建立大规模双语语料库的技术,二是目前运用较多的几种查询翻译模型构建技术。最后,展望了该领域的研究前景和发展方向。

基于用户兴趣模型的个性化跨语言查询扩展研究

针对传统跨语言查询扩展方法中存在的问题,提出一种基于用户兴趣模型的个性化跨语言查询扩展方法。该方法利用用户的历史浏览日志信息建立用户兴趣模型,在该模型基础上对初始检索结果进行分析,将初始检索结果文档中与用户兴趣相关度较大的文档作为查询扩展的依据,使扩展后得到的查询关键词更能表达用户的个性化需求。在真实用户搜索日志数据上的实验结果表明,本文算法能更好地满足用户的个性化需求,有效地改善和提高跨语言信息检索的准确率,与未经过个性化查询扩展的跨语言信息检索及现有算法比较,其实验结果的MAP、P@5、P@10值都得到了提高,提高幅度最大可达26.51%。

跨语言信息检索及其相关问题

网络信息技术的飞速发展产生了丰富的海量信息资源。信息资源所采用语言的多样性和用户所掌握语言的差异性,带来了信息检索的多语言或跨语言困难。跨语言信息检索是为了适应这一发展要求而诞生的信息检索检索方法和技术。本文对跨语言信息检索的渊源、跨语言信息检索方法以及跨语言信息检索模型等进行了讨论。

基于双语主题模型和双语词向量的跨语言知识链接

跨语言知识链接是指在描述相同内容的不同语言的在线百科文章之间建立联系。跨语言知识链接可分为候选集选择和候选集排序两部分。首先,把候选集选择问题转换为跨语言信息检索问题,提出一种将标题与关键词相结合从而生成查询的方法,该方法将候选集选择的召回率大幅提高至93.8%;在候选集排序部分,提出一种融合双语主题模型及双语词向量的排序模型,实现了英文维基百科和中文百度百科之间军事领域的跨语言知识链接。实验结果表明,该模型取得了75%的准确率,显著提高了跨语言知识链接的性能,并且提出的方法不依赖于语言特性和领域特性,因此可以很容易地扩展至其他语言和其他领域的跨语言知识链接。

基于跨语言广义向量空间模型的跨语言文档聚类方法

跨语言文档聚类主要是将跨语言文档按照内容或者话题组织为不同的类簇。该文通过采用跨语言词相似度计算将单语广义向量空间模型(Generalized Vector Space Model,GVSM)拓展到跨语言文档表示中,即跨语言广义空间向量模型(Cross-Lingual Generalized Vector Space Model,CLGVSM),并且比较了不同相似度在文档聚类下的性能。同时提出了适用于GVSM的特征选择算法。实验证明,采用SOCPMI词汇相似度度量算法构造GVSM时,跨语言文档聚类的性能优于LSA。