基于LSI的代码-文档可追溯关联挖掘研究

软件过程产品间可追溯关联挖掘对软件维护及需求跟踪等众多领域至关重要。基于此,提出一种基于潜在语义索引提取程序代码和中文文档关联信息的方法,该方法是对向量空间模型的改进,通过分析文本间隐含的语义结构来确定关联度,而不依赖于词项的匹配。实验结果表明,该方法不依赖于代码和文档预先定义的同义词库和知识库,并能一定程度上提高查全率和查准率。

基于领域知识图谱和对比学习的汉越跨境民族文本检索方法

汉越跨境民族文本检索是一类面向领域的跨语言检索任务,旨在以一种语言作为问题查询,检索出另一种语言对应的民族、宗教、文化习俗等跨境民族文档.但在汉越跨境民族文本检索任务中存在大量不常见的领域实体,实体表达形式多样,且中文和越南语两种语言领域实体没有直接对应关系,导致跨语言领域词对齐和语义对齐困难,进而影响汉越跨境民族文本检索模型性能.基于此,提出一种基于领域知识图谱和对比学习的汉越跨境民族文本检索方法.首先,利用多头注意力机制将汉越跨境民族领域知识图谱融入查询和文档,丰富查询和文档中不常见的跨境民族领域实体信息;然后,引入对比学习来解决跨语言查询和文档的语义表征对齐困难问题;最后,将融入知识图谱的查询和文档表征之间的相似度计算作为相关性分数.实验表明,提出的方法和基线模型相比,性能提高了4.1%.

基于英汉机译实现跨语言信息检索

随着日益增长的大量信息成为可利用的、用户面对查询一个多语种文本集合的情形 ,变得越来越普遍 .这就产生一个非常重要的问题—以一种语言描述的用户查询与以不同语言书写的文本之间的匹配问题 ,也就是一种如何跨越语言界限的问题 ,即跨语言信息检索 (Cross- L anguage Information Retrieval,CL IR) .针对该项任务建立了一个面向英汉的跨语言信息检索系统 ,并以此为基础提交了相关的几组运行结果 .同时 ,结合所构建的汉语 IR系统 ,实现完整的英—汉 CL

跨语言信息检索研究进展

随着互联网资源的多语言性和用户所使用语言的日益多样性,跨语言信息检索成为越来越重要的研究领域。本文介绍了该领域为解决语言间的翻译障碍而研究的各种解决方法并且对汉英跨语言信息检索所面对的独特难点进行了分析,同时本文对国际上重要的跨语言信息检索系统评测会议进行了简单介绍。

近10年来国外多语言信息组织与检索研究进展与启示

近年来国外在多语言信息组织与检索研究领域取得了显著进展。本文以Wo S、ACM、Emerald、Elsevier、Pro Quest、Springer等数据库收录的文献为基础,对近10年来该领域的研究进行述评。国外研究重点关注以下问题:多语言本体构建与协调,基于关联数据的多语言语义网建设,跨语种语言资源和知识组织系统互操作,多语言文本分类与聚类,多语言环境下的用户信息行为,多语言信息检索模型,多语言信息检索方法与技术,多语言信息检索系统开发及评估,特定领域的多语言信息检索,交互式多语言信息检索。对我国的启示主要体现在:加强实证研究方法的应用,开发面向实用的多语言信息检索系统,注重基于语义的信息组织与检索研究,拓展特定学科领域应用研究。

基于伪相关反馈的跨语言查询扩展

相关反馈是一种重要的查询重构技术，本文分析了两类相关反馈技术，一是按用户是否参与可分为伪相关反馈和交互式相关反馈，二是按作用于查询的方式可分为查询扩展与检索词重新加权。在此基础上，本文重点探讨了将相关反馈技术应用于跨语言信息检索，提出了翻译前查询扩展、翻译后查询扩展、翻译前与翻译后相结合的查询扩展三种方法。最后，本文通过伪相关反馈实验对这三种方法进行了比较，实验结果显示，三种跨语言查询扩展方法都能够有效地提高检索结果的精度，其中翻译后查询扩展方法相对更优越。此外，查询式的长度对不同跨语言查询扩展方法产生着不同程度的影响。

跨语言信息检索可视化研究

语言的多样性限制了人们利用信息的自由,也影响了信息价值的充分发挥。因此,跨语言信息检索成为当今的研究热点。本文将信息可视化的相关方法和技术应用到跨语言信息检索领域当中,提出了跨语言信息检索可视化模型,并介绍了一个实例——澳门法律信息可视化系统。

跨语言信息检索技术应用与进展研究

本文介绍了跨语言信息检索技术的基本方法和相关的重要国际会议,并对跨语言信息检索的研究热点难点、应用概况、最新的中文的跨语言信息检索系统的研究情况进行了分析,最后提出其发展趋势和应用前景。

结合本体论和统计方法的跨语言信息检索模型

为了更有效地提高跨语言信息检索的性能,结合本体论和统计方法的特性,提出一种混合的跨语言信息检索模型.在该语言模型的结构上,提出一种本体描述框架,构造了一个形式化的语言本体知识表示,通过典型语料学习,融合了语法、语义、句法等多元信息,建立了源语言本体知识库.在跨语言信息检索的实际应用中,利用本体表示,获得初始的检索文档集,再基于源语言本体知识库,对全部候选文档重新排序,以提高TopN排列的精确度.利用NTCIR-3Workshop中的中英文跨语言信息检索数据集对该语言模型进行了评价,相关实验结果表明,该方法取得了较满意的实验效果.

跨语言信息检索中的命名实体识别与翻译

综述命名实体识别与翻译研究现状,提出基于信息抽取的命名实体识别与翻译方法,以及对该方法进行一系列集成优化处理,并实现了基于命名实体识别与翻译的跨语言信息检索实验。实验结果显示出命名实体识别与翻译在跨语言信息检索中的重要性,并证明了所提出的翻译加权和网络挖掘未登录命名实体方法的应用能显著提高跨语言信息检索的性能。

基于项权值排序挖掘的跨语言查询扩展

为了改善自然语言处理应用中长期存在的主题漂移和词不匹配问题,本文首先提出一种加权项集支持度计算方法和基于项权值排序的剪枝方法,给出面向查询扩展的基于项权值排序的加权关联规则挖掘算法,讨论关联规则混合扩展、后件扩展和前件扩展模型,最后提出基于项权值排序挖掘的跨语言查询扩展算法.该算法采用新的支持度和剪枝策略挖掘加权关联规则,根据扩展模型从规则中提取高质量扩展词实现跨语言查询扩展.实验结果表明,与现有基于加权关联规则挖掘的跨语言扩展算法比较,本文扩展算法能有效遏制查询主题漂移和词不匹配问题,可用于各种语言的信息检索以改善检索性能,扩展模型中后件扩展获得最优检索性能,混合扩展的检索性能不如后件扩展和前件扩展,支持度对后件扩展更有效,置信度更有利于提升前件扩展和混合扩展的检索性能.本文挖掘方法可用于文本挖掘、商务数据挖掘和推荐系统以提高其挖掘性能.

2004—2014年我国多语言信息组织与检索研究进展与启示

本文通过对国内近十年多语言信息组织与检索相关领域进行文献调研，发现该领域研究主要涉及多语言信息需求、语言转换策略、语言转换方法、辅助技术方法、信息组织与检索模型、系统评测会议、多语言信息组织及工具、跨语言搜索引擎及信息检索系统以及多语言信息组织与检索的应用9个方面。笔者认为应该加强用户需求及用户行为研究、加快研发以应用为导向的多语言信息检索平台、注重基于语义的信息组织与检索研究、合并相关性检索结果，提高检索性能、重视将可视化技术用于多语言信息组织与检索系统。

重新审视跨语言信息检索

阻碍互联网资源在世界范围内广泛共享的一个主要障碍是多语言问题,而跨语言信息检索是解决这个问题的有效方法之一。本文从定义跨语言信息检索系统开始,给出了一个标准的跨语言信息检索系统框架和评价方法,对主流研究方法进行了重新审视,进一步明确指出了跨语言信息检索中必须解决的核心问题,最后通过分析研究现状给出了未来可能的重点研究方向。

汉蒙跨语言检索系统设计与实现

[目的/意义]基于汉蒙间跨语言检索系统发展现状,设计并实现通过汉文、传统蒙古文关键词检索西里尔蒙古文文档的系统。[方法/过程]汉蒙跨语言检索系统包括机器翻译和文档检索。在机器翻译方面,实现了基于词典的汉文到西里尔蒙古文机器翻译,并实现了基于规则和统计的传统蒙古文到西里尔蒙古文转换;在文档检索方面,基于Lucene全文索引工具包对大量的西里尔蒙古文文档建立索引,并根据向量空间模型对查询和文档的相似度进行排序,得到与查询最为匹配的文档集。[结果/结论]本系统响应速度较快,准确率较高,达到可用水平。一方面促进中国与蒙古国之间的科技、文化、教育的交流;另一方面对我国西里尔蒙古文的研究有一定的促进作用。

基于Lucene的英汉跨语言信息检索

描述了一个英汉跨语言检索系统的设计与实现,其主要研究目的在于寻找更为有效的英汉查询翻译方法,以及提高汉语检索系统的性能。在英汉查询翻译方面,以英汉双语词典为基础,建立了查询翻译算法。在汉语检索方面,分析不同索引单元对于检索性能的影响,基于Lucene全文索引工具包建立了搜索引擎。在系统评测方面,提出了一种根据主题,快速构建评测数据的方法。

个性化跨语言学术搜索技术研究

学术搜索引擎是一种行业化的搜索引擎,但因其缺乏个性化的服务,使得用户的学术文献检索效率低下,海量的数字学术资源得不到充分利用。本文使用Google翻译,研究基于机器翻译的中、英、俄、法和西班牙等五个语种跨语言学术检索。在跨语言学术搜索的基础上研究个性化检索技术,提出一种基于聚类的个性化信息检索方法：通过观察用户对搜索结果聚类的点击行为,生成并更新用户实时兴趣模型,采用余弦夹角公式计算用户实时兴趣模型与搜索返回结果的相似度,根据相似度大小,为用户提供个性化重排序的搜索返回结果。实验结果证明了提出方法的有效性。

跨语言信息检索理论与应用研究

随着互联网的全球化发展趋势,跨语言信息检索日益成为信息检索领域中的重要课题,跨语言检索可用一种提问语言检索出用另一种语言书写的信息。文章主要对跨语言信息检索理论应用研究进行了探讨,并对其在专业领域数据库中的应用提出一种思路。

跨语言信息检索查询翻译词典自动构建研究

双语机读词典是基于查询翻译的跨语言信息检索中的常用资源,但是传统的手工构建词典的方法费时费力,本文利用统计方法从英汉句对齐平行语料库中自动获取翻译词典,以用于查询翻译过程中。

语言模型在信息检索中的应用

基于语言模型的检索方法为信息检索领域开辟了一个很有前景同时也具有相当挑战性的方向。与传统检索模型相比，语言模型不仅具有良好的理论基础，而且非常灵活，经过简单的变换很容易推演出其他经典的检索模型。此外，大量的实验结果表明，该方法的检索效果优于其他检索模型，因而一经提出便受到了广大研究人员的青睐。然而当前语言模型方法的研究主要集中在单语检索任务中，很少有研究关注语言模型方法在跨语言检索中的应用，针对这个问题，本文在系统介绍基于语言模型检索方法的基础上，将语言模型方法扩展到跨语言检索任务中，介绍了两个跨语言检索模型：统计翻译模型和跨语言相关语言模型。