一种基于相关反馈的跨语言信息检索查询翻译优化技术研究

本文提出了一种新的基于相关反馈的跨语言信息检索查询翻译优化技术,就实现该技术的关键步骤＂估计检索词在相关文献集合中的翻译概率＂设计了4种不同的算法,并通过伪相关反馈实验比较了这4种算法,验证了查询翻译优化技术的有效性.实验结果显示,4种翻译优化算法都能够提高检索结果的精度,其中基于词对齐的翻译算法相对更优越.此外,查询式的长度和检索主题的特征对不同查询翻译优化算法产生着不同程度的影响.

跨语言信息检索中的查询翻译方法研究

文章介绍了跨语言信息检索查询翻译的四种基本方法，并且对目前查询翻译过程中所遇到的问题及现阶段的研究进展进行了总结分析，最后总结出跨语言信息检索查询翻译未来的发展方向。

一种实用型跨语言检索查询翻译接口的设计与实现

面对日益膨胀的多语种信息资源,跨语言信息检索已成为实现全球知识存取和共享的关键技术手段。构建一个实用型的跨语言检索查询翻译接口,可方便地嵌入任意的信息检索平台,扩展现有信息检索平台的多语言信息处理能力。该查询翻译接口采用基于最长短语、查询分类和概率词典等多种翻译消歧策略,并从查询翻译的准确性和接口的运行效率两个角度对构建的查询翻译接口进行评测,实验结果验证所采用方法具有可行性。

基于平行语料的查询翻译词典改进方法研究

面对基于双语词典的跨语言检索查询翻译方法中固有的一对多等翻译模糊问题,已有研究成果存在对于非组合型复合词无法进行准确翻译、双语词典和其他翻译资源联合使用引入较大计算开销等弊端。为建立英汉双向跨语言检索实用性系统,在现有的一部包含若干科技词汇和短语的双语科技词典的基础上,着重研究如何引入平行语料来改进已有的双语词典问题。目标是生成一部基于句对齐平行语料的科技类双语概率词典,为跨语言检索查询翻译消歧提供实时性支持。

实用型跨语言检索查询翻译接口性能改进研究

针对某网站在线运行的基于词典的查询翻译接口,对接口中实现的3种比较常用的查询翻译消歧算法进行改进,利用性能测试工具Loadrunner对改进前后的查询翻译接口的运行效率进行对比分析,最后总结影响基于词典的查询翻译的运行效率的3个主要因素。

跨语言信息检索查询翻译消歧方法与技术研究

文章从翻译资源消歧的角度,探讨跨语言信息检索的查询翻译的消歧方法与技术。其中,方法包括基于词典、语料库、泛众协作知识源以及本体知识库的方法;具体技术涉及词性标注与词法分析、专有名词的音译与双向翻译技术、互信息模型的应用、利用虚拟语境消除多义性、查询扩展技术、查询分类以及相关反馈等技术。并进一步讨论了翻译消歧中多种方法技术的综合利用,以期为我国此领域的研究提供借鉴。

查询翻译方法研究——以汉英跨语言信息检索为例

【目的/意义】跨语言信息检索研究的目的即在消除因语言的差异而导致信息查询的困难,提高从大量纷繁复杂的查找特定信息的效率。同时提供一种更加方便的途径使得用户能够使用自己熟悉的语言检索另外一种语言文档。【方法/过程】本文通过对国内外跨语言信息检索的研究现状分析,介绍了目前几种查询翻译的方法,包括:直接查询翻译、文献翻译、中间语言翻译以及查询—文献翻译方法,对其效果进行比较,然后阐述了跨语言检索关键技术,对使用基于双语词典、语料库、机器翻译技术等产生的歧义性提出了解决方法及评价。【结果/结论】使用自然语言处理技术、共现技术、相关反馈技术、扩展技术、双向翻译技术以及基于本体信息检索技术确保知识词典的覆盖度和歧义性处理,通过对跨语言检索实验分析证明采用知识词典、语料库和搜索引擎组合能够提高查询效率。【创新/局限】本文为了解决跨语言信息检索使用词典、语料库中词语缺乏的现象,提出通过搜索引擎从网页获取信息资源来充实语料库中语句对不足的问题。文章主要针对中英文信息检索问题进行了探讨,解决方法还需要进一步研究,如中文切词困难以及字典覆盖率低等严重影响检索的效率。

跨语言信息检索查询翻译消歧方法

查询翻译歧义性问题是影响跨语言信息检索结果的关键,因此针对查询翻译的消歧研究已成为信息检索领域的研究热点。在对现有研究与应用调研的基础上,详细分析四类自动消歧方法,分别是:对查询进行结构化处理、通过语言分析帮助消歧、借助机读化语言资源进行消歧以及通过人机交互消歧,以期为跨语言信息检索查询翻译提供较好的消歧方法。

基于数据仓库的典型图查询处理技术

向量化查询等技术的成熟为基于数据仓库(数仓)实现图查询提供了契机,但现有系统没有考虑列式存储特点和图查询语句的特点,无法高效存储图数据及支持图查询优化。同时,由于需要保持原有图查询应用的兼容性,图查询Gremlin语言翻译生成的数仓SQL语言书写复杂且性能较差。针对上述问题,提出基于数仓的图数据库系统PandaGraph。在存储方面,PandaGraph基于关系模型高效存储图数据,结合数仓列式存储的特性进行主键和属性键设计,同时考虑到图查询和数仓查询执行特点,构建出入两张边表供图查询进行选择。在查询方面,PandaGraph结合不同Gremlin步骤的特点,构建关于遍历和存储表的查询结构,实现从Gremlin语言到SQL语言的翻译转化,使用多种优化规则对生成SQL语句进行改写,提高图查询性能。实验结果表明,PandaGraph在多场景下可正确进行翻译查询工作,并且在经典的低k跳查询场景下较现有专有图数据库系统获得5.8倍性能提升,在高k跳场景下可获得18.5倍性能提升,在基于规则的优化、基于表选择的优化和基于表结构的优化下PandaGraph可获得最少1.3、1.1和1.3倍的性能提升。

查询分类在跨语言检索中的应用研究

文章旨在探讨查询分类技术和跨语言检索技术的关系,前者的应用能否改善后者的系统性能是核心问题。首先提出一种基于查询分类的标准化折扣累积增量评价指标,通过对采用查询分类技术前后信息检索系统的标准化折扣累积增量评价指标的变化进行判断,来检验该评价指标的可用性和有效性。同时,查询分类可以作为降低跨语言检索系统查询翻译的歧义性的技术手段。对大规模查询集随机抽样的查询翻译实验结果表明,本文提出的基于查询分类的查询翻译消歧方法对大部分查询有效,在一些情况下甚至可以直接通过本方法完成查询翻译。结合其他方法进一步消除翻译的歧义性则是下一步的工作内容。

跨语言信息检索翻译消歧技术发展研究

介绍跨语言信息检索的内涵与发展,详细阐述跨语言信息检索中存在的10种翻译消歧技术。从核心基础、应用状况、主要改善和发展前景4个纬度对跨语言信息检索各种翻译消歧技术进行对比分析并简要解释。在此基础上概括跨语言信息检索翻译消歧技术发展状况和趋势,提出未来研究的若干方向。

基于Web的未登录词翻译技术的分析

随着互联网的发展,多种语言之间的信息交换日益增加,跨语言信息检索技术日益发展.未登录词的查询翻译是实现跨语言信息检索的关键技术之一,直接影响跨语言信息检索系统的性能高低.对基于Web的未登录词翻译技术进行了综合阐述和分析,较全面地阐述了当前普遍采用的基于Web中的信息实现未登录词的译文挖掘的各种技术及其特点.

基于翻译检索一体化的跨语言信息检索研究

从检索方法、结果展现和评估方法三方面分析跨语言信息检索的现状,引出翻译检索一体化的跨语言信息检索方法,把翻译、检索结合在同一检索模型中。一体化将翻译和检索中的不确定性组合在一起,从而做出更全局的优化,减少跨语言信息检索与单语检索之间的差距,从而充分利用单语检索中的有用方法;并针对万方数据现有资源,构建出面向科技文献的跨语言信息检索系统框架。

跨语言信息检索理论与应用研究

随着互联网的全球化发展趋势,跨语言信息检索日益成为信息检索领域中的重要课题,跨语言检索可用一种提问语言检索出用另一种语言书写的信息。文章主要对跨语言信息检索理论应用研究进行了探讨,并对其在专业领域数据库中的应用提出一种思路。

基于网络的跨语言信息检索中OOV译文挖掘研究

查询翻译是影响跨语言信息检索(CLIR)性能的关键因素之一.查询中未登录词(OOV)译文的挖掘对改进CLIR性能具有重要意义.利用主题词译文查询扩展方法从搜索引擎自动获取有效双语摘要资源;采用频度变化信息和邻接信息从双语摘要资源中抽取多词候选单元,并与常见的基于统计的多词单元抽取方法进行了比较.实验中译文挖掘方法取得了TOP 1包含率62.02%,TOP 10包含率95.35%的效果.

基于XML的Web数据交换系统设计与实现

为了实现Web应用程序数据的共享问题,提出基于XML的数据交换方案。在该方案中采用JDOM实现XML文件的存取,采用JDBC实现数据源的访问,采用XSLT实现数据的表示。同时结合MVC模式和B/S三层结构构建数据交换系统框架,用Servlet设计XML转换器和DB转换器,用于XML与关系型数据的相互转化。为提高应用程序检索速度,设计查询翻译器,实现了XML查询到SQL查询的转换。该方法实现了应用不同DBMS的Web应用数据的共享。

基于词典的藏汉跨语言检索系统研究

针对跨语言检索中查询翻译歧义问题,文章从藏汉跨语言检索的特点出发,采用了平衡翻译(BalancedTranslation)方法,减少了歧义翻译数量,提高了翻译的准确度.在文档索引上,为了弥补藏文分词对于命名实体识别的不足,采用了4元组的索引方法,明显提高了检索的速度和准确度.

可比较语料库构建及在跨语言信息检索中的应用

本文主要研究基于网络的可比较语料库的构建以及其在跨语言信息检索(CLIR)中的应用。首先从新闻网站获取新闻文本,用Lucene进行对齐,构建可比较语料库;其次,利用上下文信息从对齐的文本中抽取翻译知识;最后,用获得的翻译知识在TDT4语料上进行CLIR性能实验。实验表明,所抽取的翻译知识可以提高CLIR的性能,取得了0.272 8的MAP值,相对于基于本地词典的方法提高了35.44个百分点。

基于词典的英汉双向跨语言信息检索方法

基于文本检索会议关于英汉跨语言信息检索的任务评价,分别以英汉双向查询翻译和英汉查询为主导策略与翻译对象,采用英汉电子词典作为获取翻译知识的知识源,结合构建的英汉单语信息检索系统,实现完整的英汉双向跨语言信息检索过程。实验结果验证了该系统的有效性。

基于文档相似度的双语文档排序学习

论文提出了一种双语文档排序学习模型。排序是信息检索系统中重要的一个环节,学者们已经对单语言环境下的文档排序学习问题进行了很多的研究,但是多语言语境下的文档排序问题并没有得到很大的重视。在双语文档集合中,文档是用两种不同语言写成的,所以我们并不能使用已有的单语言排序学习模型直接对双语言文档进行排序。在单语言排序学习模型的基础上,提出了一种基于双语文档相似度的双语文档排序学习方法。为了能够把源语言文档和目标语言文档关联起来,提出了一种基于双语word embedding的双语文档相似度计算方法。通过简单地把源语言查询翻译为目标语言,达到筛选目标语言文档的目的。实验结果表明,该方法在英汉和英越两种语境下都取得了较好的效果。