面向汉越跨语言事件检索的事件预训练方法

汉越跨语言事件检索是用汉语查询检索越南语事件新闻的任务。由于越南语属于典型的低资源语言,汉越跨语言事件检索缺乏大规模的标注数据,并且现有的跨语言预训练模型无法很好地表征文本中丰富的汉越对齐事件知识,不适用于该任务。因此,为了将汉越双语对齐的事件知识融入到多语言预训练语言模型中,该文提出了两个预训练方法,即事件要素掩码预训练以及跨语言事件对比预训练。在该文构造的汉越跨语言事件检索数据集和公开跨语言问答数据集上进行了实验,比基线提升1%~3%MAP值,2%~4%NDCG值,证明了该文方法的有效性。

面向业务需求的知识增强大模型生成框架技术研究

近年来,大模型技术方兴未艾,在通用领域获得长足发展。然而,在军事、政务等关键领域训练数据不足导致专业领域的大模型应用能力难以满足用户的需求,特别是针对业务需求的多类型数据检索任务,通用大模型存在瓶颈。本文提出一种知识增强的大模型跨数据检索框架,设计一种知识融合生长的大模型检索能力演进机制,利用大模型的自监督信号驱动领域知识持续生成,同时利用积累的知识持续增强大模型检索能力,在典型业务场景下开展原型系统构建与试验验证,在典型场景下检验框架对用户业务信息的查询与结果生成能力,实验结果表明,高质量的知识有助于提高大模型生成结果的精准性与有效性。

跨语言信息检索可视化研究

语言的多样性限制了人们利用信息的自由,也影响了信息价值的充分发挥。因此,跨语言信息检索成为当今的研究热点。本文将信息可视化的相关方法和技术应用到跨语言信息检索领域当中,提出了跨语言信息检索可视化模型,并介绍了一个实例——澳门法律信息可视化系统。

结合本体论和统计方法的跨语言信息检索模型

为了更有效地提高跨语言信息检索的性能,结合本体论和统计方法的特性,提出一种混合的跨语言信息检索模型.在该语言模型的结构上,提出一种本体描述框架,构造了一个形式化的语言本体知识表示,通过典型语料学习,融合了语法、语义、句法等多元信息,建立了源语言本体知识库.在跨语言信息检索的实际应用中,利用本体表示,获得初始的检索文档集,再基于源语言本体知识库,对全部候选文档重新排序,以提高TopN排列的精确度.利用NTCIR-3Workshop中的中英文跨语言信息检索数据集对该语言模型进行了评价,相关实验结果表明,该方法取得了较满意的实验效果.

语言模型在信息检索中的应用

基于语言模型的检索方法为信息检索领域开辟了一个很有前景同时也具有相当挑战性的方向。与传统检索模型相比，语言模型不仅具有良好的理论基础，而且非常灵活，经过简单的变换很容易推演出其他经典的检索模型。此外，大量的实验结果表明，该方法的检索效果优于其他检索模型，因而一经提出便受到了广大研究人员的青睐。然而当前语言模型方法的研究主要集中在单语检索任务中，很少有研究关注语言模型方法在跨语言检索中的应用，针对这个问题，本文在系统介绍基于语言模型检索方法的基础上，将语言模型方法扩展到跨语言检索任务中，介绍了两个跨语言检索模型：统计翻译模型和跨语言相关语言模型。

利用平行网页建立中英文统计翻译模型

建立翻译模型的目的是试图从平行文本 (或翻译例句 )中自动抽取翻译关系。本文将描述我们在建立中英文统计翻译模型上的尝试。我们所用的平行文本是从万维网上自动获得的半结构性平行文本。在训练过程中 ,我们尽量利用文本中的HTML结构信息。实验表明 ,所训练的翻译模型能达到 80 %的准确率。对于象跨语言信息检索这样的应用 ,这样的准确率已经能大致满足需要。这一工作表明 。

基于跨语言信息检索的数字图书馆系统模型

本文主要论述跨语言信息检索(CLIR)技术与数字图书馆(D-Lib)技术相结合的系统模型。首先介绍CLIR和D-Lib的概念及涉及的相关技术;然后讨论CLIR技术在D-Lib中应用的必然性和可行性;将CLIR的技术平台与D-Lib的系统结构相结合,设计基于CLIR的D-Lib系统模型;最后关于CLIR技术和D-Lib相结合的应用目前存在的问题提出自己见解。

信息检索模型及其在跨语言信息检索中的应用进展

信息检索发展中的一个重要理论问题是如何对查询与文档进行匹配,由此形成了不同的信息检索模型。跨语言信息检索是信息检索研究的一个分支,也是近年来的热点问题。本文主要对信息检索模型的研究进展,及其在跨语言信息检索中的应用进展进行分析与综述。

基于Web的跨语言信息检索研究综述

回顾了近年来基于Web的跨语言信息检索技术的理论研究和发展现状,针对跨语言信息检索中基于语料库的方法,就其中语料库的构建和使用问题进行了阐述。比较分析和总结了两方面的技术:一是利用互联网上丰富的双语资源来建立大规模双语语料库的技术,二是目前运用较多的几种查询翻译模型构建技术。最后,展望了该领域的研究前景和发展方向。

基于双语主题模型和双语词向量的跨语言知识链接

跨语言知识链接是指在描述相同内容的不同语言的在线百科文章之间建立联系。跨语言知识链接可分为候选集选择和候选集排序两部分。首先,把候选集选择问题转换为跨语言信息检索问题,提出一种将标题与关键词相结合从而生成查询的方法,该方法将候选集选择的召回率大幅提高至93.8%;在候选集排序部分,提出一种融合双语主题模型及双语词向量的排序模型,实现了英文维基百科和中文百度百科之间军事领域的跨语言知识链接。实验结果表明,该模型取得了75%的准确率,显著提高了跨语言知识链接的性能,并且提出的方法不依赖于语言特性和领域特性,因此可以很容易地扩展至其他语言和其他领域的跨语言知识链接。

基于跨语言信息检索的企业竞争情报收集系统模型的研究

目前,随着企业全球化的竞争日益加剧,那些参与国外竞争的企业不仅要知道自己企业本身的情况,也要了解国外竞争对手的情况,这需要有效的收集企业情报。本文分析了企业竞争情报的特点以及情报收集存在的问题,并且将跨语言信息检索引入到企业竞争情报收集。本文构建了基于跨语言信息检索的企业竞争情报收集系统的模型,并对其进行了具体分析。

跨语言交互式检索在数字图书馆中的应用

在现有数字图书馆信息检索系统的基础上,针对检索结果的查准率和查全率偏低等问题,将智能交互式检索技术与CLIR技术相结合,设计基于跨语言交互式检索模型,并将其引入到数字图书馆系统进行应用。

基于多任务学习的跨语言信息检索方法研究

跨语言信息检索是信息检索领域的重要任务之一。现有的跨语言神经检索方法通常使用单任务学习,单一的特征捕捉模式限制了神经检索模型的性能。为此,本文提出一种基于多任务学习的跨语言检索方法,利用文本分类任务作为辅助任务,使用共享文本特征提取层同时捕捉2个任务的特征信息,使其学习不同任务的特征模式,然后将特征向量分别输入到神经检索模型和文本分类模型中完成2个任务。另外,文本分类任务引入的外部语料也在一定程度上起到了数据增强的作用,进一步增加了特征信息的层次。在CLEF 2000-2003数据集的4个语言对上进行的实验表明,本方法明显改善了文本特征提取的效果,从而增强了神经检索模型性能,使神经检索模型的MAP值提高0.012~0.188,并使模型收敛速度平均提高了24.3%。

基于CLIP模型的跨模态哈希检索研究

随着移动互联网的快速发展,不同种类的媒体数据在互联网上迅速增长,如何快速高效地检索不同模态数据成为了人们关心的问题。目前,预训练模型在学习文本和视觉特征上的表现让人印象深刻。使用对比性语言-图像预训练(Contrastive Language-Image Pre-Training,CLIP)模型作为主干网络执行多模态哈希检索任务,预先对齐不同模态的语义信息,再选取合适的目标函数,并使用有监督训练的方法,在此基础上提出简单、高效的CLIP2CMH模型。在两个基准数据集上的实验表明,该算法可以在跨模态哈希检索领域表现出良好性能。

中英文跨语言信息检索中平行语料库的构建及性能评价研究

【目的/意义】语料库是一种十分重要跨语言信息检索领域实现翻译的数据来源。在CLIR中对语料库进行性能评测、翻译抽取双语词典和语义消歧等工作,能够满足人们获取知识和信息需求。【方法/过程】本文通过从华尔街日报、金融时报和中国香港政府等新闻网站搜集中英文网页,使用开源软件HTML Parser过滤掉非文本内容,经过格式转换,最终生成XML文件,自行建立平行语料库,利用CL-LSI和TDS模型,并对其性能进行评价。【结果/结论】在建立CLIR评测语料库上进行的验证,TDS模型在双语配对检索过程中,能够充分客观的提取语义关联的语义双语主题特征,通过双语配对搜索,CLIR的性能上将超过CL-LSI模型检索效率。【创新/局限】本文针对语料库深入研究,提出一种基于平行语料库中对偶空间的跨语言信息检索模型(TDS),并对给定的主题分别进行中英文语料采集,对获得的关键词应用于TDS模型上,通过双语词项的共现语义信息分析,最终实现在平行语料库的构建和性能评价的目标。不足之处在于双语主题数较少时,翻译的准确率较低,而主题数量逐渐增大时,翻译的准确率更高。

基于多语言本体的中英跨语言信息检索模型及实现

[目的 /意义]构建一个基于多语言本体的跨语言信息检索模型,有助于用户通过该模型使用自己熟悉的语言来获取不同语种的信息资源。[方法 /过程]通过本体设计及检索模型功能模块设计建立一个基于数字出版领域本体的中英跨语言信息检索模型,并利用Java语言及Lucene搜索引擎架构对该模型进行编程实现。[结果/结论]多语言领域本体具有明确、形式化、共享、概念化、结构清晰等特征,可以作为语义层应用于跨语言信息检索系统之中,实现信息资源的语义表达。经测试,本文构建的模型能够较好地实现分词、查询扩展和语义关联等功能,促进跨语言信息检索向语义层次发展。

基于矩阵加权关联模式的印尼中跨语言信息检索模型

【目的】针对跨语言信息检索存在的查询漂移问题,提出一种融合用户点击下载行为与矩阵加权关联模式挖掘的印尼中跨语言信息检索模型。【方法】将矩阵加权关联模式挖掘、查询扩展以及用户点击下载行为集成应用到印尼中跨语言信息检索模型,给出模型实现的关键技术,即面向跨语言信息检索的矩阵加权关联模式挖掘算法、跨语言查询扩展模型以及印尼中跨语言信息检索算法。【结果】在NTCIR-5 CLIR数据集上的实验结果表明,该检索模型的R_prec、p@10和p@20值均达到单语言检索基准的60%以上,比跨语言检索基准提高37%以上,比现有基于伪相关反馈的跨语言检索算法提高28%以上。【局限】该模型实验在基于向量空间模型的跨语言检索系统中进行,需要探讨和研究在实际搜索引擎中的具体应用。【结论】该模型能有效地减少跨语言检索中的查询漂移问题,提高和改善印尼中跨语言检索性能,对长查询的检索效果更好,有较好的实际应用价值。