基于网络的跨语言信息检索中OOV译文挖掘研究

查询翻译是影响跨语言信息检索(CLIR)性能的关键因素之一.查询中未登录词(OOV)译文的挖掘对改进CLIR性能具有重要意义.利用主题词译文查询扩展方法从搜索引擎自动获取有效双语摘要资源;采用频度变化信息和邻接信息从双语摘要资源中抽取多词候选单元,并与常见的基于统计的多词单元抽取方法进行了比较.实验中译文挖掘方法取得了TOP 1包含率62.02%,TOP 10包含率95.35%的效果.

自动语音识别系统中的OOV快速拒识算法

在自动语音识别系统的实际应用中,词表外(Out-of-Vocabulary,OOV)语音的检测与拒识非常重要。针对语音识别的实时性要求,提出了一种新的基于支持向量机的OOV快速拒识算法,并将其应用于基于DSP实现的孤立词语音识别系统中。实验结果表明,该算法计算简单,实时性好,且效果显著,拒识率达80%以上。通过与传统神经网络方法的比较,证明该算法具有更好的性能和应用潜力。

维汉人名翻译中不雅字或OOV的前处理研究

针对维汉人名数据集稀少且难以获取等问题,提出了从常规维汉句对数据中通过Fast align对齐方法结合NER方法抽取维汉人名数据的方法.针对维吾尔人名翻译后易出现集外词(OOV)问题或不雅字、不恰当译文表示的问题,通过对维汉人名数据中汉语部分训练1—4阶N-Gram语言模型,根据语言模型对该数据进行打分后筛选出best-2结果,并结合了维汉字符级端到端的神经网络人名翻译模型.通过实验可发现,结合本文提出的前处理方法后的维汉人名翻译模型效果是BLEU提升了0.95分,并且不雅字或不恰当表示问题也得到了明显的改善.

维吾尔语语音识别语料库中的OOV研究

鉴于维吾尔语丰富的形态变化产生大量单词引起的集外词(out of vocabulary,OOV)问题,为了定量研究OOV对维吾尔语语音识别的影响,采用控制语料库测试集OOV的算法及最佳文本挑选算法对不同OOV的测试集进行实验,算法通过Python语言实现。应用该算法进行电话语音库的文本转写,构建了维吾尔语的电话语音库。实验结果表明,该控制测试集OOV的方法能够有效地提高维吾尔语语音识别率。

基于统计信息的未登录词的扩展识别方法

该文提出一种基于网络资源的未登录词的扩展识别方法。该方法以左右邻信息判断未登录词边界为基础对已识别出的二元候选未登录词种子进行扩展,从而得到不限长度的语义更完整的未登录词。实验证明该文方法可行有效。

基于动态规划和流形排序的知识库问答未登录词处理

为解决知识库问答中较多实体未被纳入到词库中以及新词层出不穷旧词库无法及时更新的问题,提出一种基于动态规划和流形排序的知识库问答模型DPQA来为未登录词选择最优表征,缓解知识库未登录词描述信息不足的问题。该方法通过动态规划获取未登录词的子词序列;使用一种基于流形排序的子词排序方法得到最优子词;使用最优子词的向量表示未登录词。实验结果表明,基于动态规划的方法在多个数据集上的问答结果表现最佳。

基于平行语料库和网络的未登录词译文挖掘

分别通过搜索引擎和本地的双语语料库挖掘OOV译文。首先,提出一种利用词汇重叠特征、词对齐特征和位置特征建立最大熵分类器的方法,借以自动从网页信息中抽取和构建双语平行语料库。其次,提出一种结合互信息的频率变化方法生成多词单元,并采用频度-距离模型和音译模型进行正确译文的选择。对这两种挖掘方法的性能进行对比,实验表明基于网络的Top10的包含率达到94.6%,而基于平行语料库的Top10的包含率为37.5%。

P-HB#:基于物理不可克隆函数的轻量级认证协议

在分析HB#协议和OOV-MIM攻击的基础上,针对HB#协议的缺陷,基于物理不可克隆函数设计了P-HB#协议,并给出具体的硬件实现结构.新协议通过引入轻量级的n-n PUF,实现在低资源占用量的情况下提供较高的安全性.文章在DET模型下通过向LPN问题的规约严格证明了协议的安全性,在GRS-MIM和OOV-MIM模型下分析表明新协议具备了抵御相应中间人攻击的能力,提供了低功耗、防篡改、可证明的安全认证.

一种针对机器阅读理解中答案获取的序列生成模型

针对机器阅读理解任务中的答案问题获取提出一种序列生成模型SGN。首先,SGN在问题矩阵空间获取问题与文章的匹配表示,并参照潜在的问题信息生成当前节点的词向量;然后使用一个选择门结构从文章或者字典中选择当前词汇,并且自发学习和归纳OOV(out-of-vocabulary)单词,解决语义表述不准确的问题;最后使用改进的覆盖机制消除生成序列中的冗余问题,从而提高可读性。实验通过人工数据集SQuAD进行验证,其结果表明,在阅读理解任务上SGN生成的目标序列与基准模型seq2seq相比可读性更加优异,并且与原文语义更贴近。

中文分词十年回顾

过去的十年间,尤其是2003年国际中文分词评测活动Bakeoff开展以来,中文自动分词技术有了可喜的进步。其主要表现为:(1)通过“分词规范+词表+分词语料库”的方法,使中文词语在真实文本中得到了可计算的定义,这是实现计算机自动分词和可比评测的基础;(2)实践证明,基于手工规则的分词系统在评测中不敌基于统计学习的分词系统;(3)在Bakeoff数据上的评估结果表明,未登录词造成的分词精度失落至少比分词歧义大5倍以上;(4)实验证明,能够大幅度提高未登录词识别性能的字标注统计学习方法优于以往的基于词(或词典)的方法,并使自动分词系统的精度达到了新高。

基于关键词的代码自动摘要

代码摘要(code summary)是对一段源代码简短的自然语言描述,代码自动摘要(code summarization)技术通过自动化地生成代码摘要辅助开发者更好地理解程序代码,该技术在许多软件开发活动中都具有重要的应用价值.代码自动摘要同时结合了机器翻译和文本摘要2个任务,如何更好地对代码建模以及如何更好地筛选代码中的关键信息是代码摘要所面临的主要挑战.受人类写摘要时的习惯和相关研究的启发,提出了一种基于关键词的代码自动摘要方法(keyword-based source code summarization,KBCoS).该方法将函数签名和API(application programming interface)调用视为关键词,并利用关键词序列来优化解码器注意力机制中的权重分布,使模型在生成摘要时更集中地关注代码中的重要信息.此外,为克服代码符号词汇表过大的问题,提出了符号部分拆分算法,即当符号不在词表中时,依据常用命名规则将符号拆成子符号的序列.该算法简单有效,能很好地平衡代码符号序列长度和未登录词数目之间的矛盾.选用了带有注意力机制的序列到序列模型作为基准模型,并在公开的Java代码摘要数据集上进行了评估.实验表明,基于关键词的注意力机制和部分拆分算法在BLEU-4,METEOR,ROUGE-L这3个评测指标上均能提升基准模型的表现.同时,在另一个Python数据集上也取得了一致的实验结果.最后,将KBCoS与现有模型相结合,在Java数据集上取得了当前最好的结果,该结果表明KBCoS也能改进现有的其他模型.评测结果和注意力权重的热力图都表明了KBCoS的有效性.

基于在线垃圾模型的语音确认方法

该文针对关键词检测和实用语音识别中OOV(Out-Of-vocabulary)问题的检测和拒绝进行研究 ,通过使用判别式分析 ,利用L -Best本地分数和N -best言语假设判别分数 ,进行言语判别 (utteranceverification) ;该文进行了两组实验 ,分别针对OOV问题 ,在小词汇量特定人孤立词识别系统、小词汇量非特定人的孤立词识别系统中进行研究。

基于网络的中文未登录词译文挖掘方法研究

为了获得较高的译文质量,提出了一种基于网络搜索的中文未登录词的翻译方法。该方法首先利用词典对未登录词进行扩展,然后将扩展查询词提交搜索引擎,从获取的中英文混合摘要中采用频度变化信息算法抽取译文候选,最后采用表层模板和频度右距离模型对译文候选进行排序。实验结果表明通过本方法进行中文未登录词译文挖掘是有效可行的。

使用无监督学习改进中文分词

针对互联网语料中的未登录词问题,提出一种基于无监督学习的中文分词改进算法.使用基准分词器对未标注的语料进行分词,选择适合于未登录词发现的模型进行无监督训练得到词向量,并使用词向量结果贪心地发现未登录词,修正分词结果.在传统中文语料上与互联网语料上,比较了基于字典的字符串匹配模型与基于字符标注的机器学习模型的分词效果.实验结果表明,改进算法可以提升中文分词效果,在互联网语料上的提升效果尤为明显.改进算法在PKU语料上取得了最多1.1%的F值提升,在MSR语料上取得了最多1.2%的F值提升,在互联网语料上取得了最多5%的F值提升.

基于维基百科的未登录词译文挖掘

未登录词(out of vocabulary,OOV)的查询翻译是影响跨语言信息检索(cross-language information retrieval,CLIR)性能的关键因素之一.它根据维基百科(Wikipedia)的数据结构和语言特性,将译文环境划分为目标存在环境和目标缺失环境.针对目标缺失环境下的译文挖掘难点,它采用频度变化信息和邻接信息实现候选单元抽取,并建立基于频度-距离模型、表层匹配模板和摘要得分模型的混合译文挖掘策略.实验将基于搜索引擎的未登录词挖掘技术作为baseline,并采用TOP1进行评测.实验验证基于维基百科的混合译文挖掘方法可达到0.6822的译文正确率,相对baseline取得6.98%的改进.

多种方法融合的中文自动分词系统的设计与实现

在分析现有几种中文自动分词算法的优劣且能实现优势互补的基础上,提出一种多种方法融合的中文自动分词算法.利用Visual-Prolog开发基于该算法的自动分词系统,并探讨了开发过程的关键技术.实验表明,采用所述算法和技术的自动分词系统的准确率较高、分词速度较快.

汉语自动分词技术研究

汉语自动分词是中文信息处理的基本问题。从分词的基本理论出发,对近年来中文分词研究的现状进行介绍,指出了能够大幅度提高未登录词识别性能的分词方法将是未来汉语自动分词技术的发展趋势,分析了分词中存在的两个困难及其解决方法。

一种增强的Good-Turing方法

在传统的图灵回退语言模型的基础上,提出了一种增强的图灵回退语言模型.这种增强的方法通过3个算法实现,包括语言模型的实现流程,以及统计语言模型中三元语法串、二元语法串和一元语法串的概率计算的方法,并将未登录词的计算结合起来.通过利用大规模语料库进行实验,验证了这种改进的N元语法语言模型能较好解决传统语言模型中的二元语法串、一元语法串和未登录词计算等问题.

基于深度学习的生成式文本摘要技术综述

在互联网数据急剧扩张和深度学习技术高速发展的背景下,自动文本摘要任务作为自然语言处理领域的主要研究方向之一,其相关技术及应用被广泛研究。基于摘要任务深化研究需求,以研究过程中存在的关键问题为导向,介绍现有基于深度学习的生成式文本摘要模型,简述定义及来源、数据预处理及基本框架、常用数据集及评价标准等,指出发展优势和关键问题,并针对关键问题阐述对应的可行性解决方案。对比常用的深度预训练模型和创新方法融合模型,分析各模型的创新性和局限性,提出对部分局限性问题的解决思路。进一步地,对该技术领域的未来发展方向进行展望总结。

基于知识增强的中文命名实体识别

基于字词联合的中文命名实体识别模型能够兼顾字符级别与词语级别的信息,但受未登录词影响较大且在小规模数据集上存在训练不充分等问题。在现有LR-CNN模型的基础上,提出一种结合知识增强的中文命名实体识别模型,采用相对位置编码的多头注意力机制提高模型上下文信息捕捉能力,通过实体词典融入先验知识降低未登录词的影响并增强模型学习能力。实验结果表明,该模型在保持较快解码速度和较低计算资源占用量的情况下,在MSRA、People Daily、Resume、Weibo数据集上相比SoftLexicon、FLAT等模型F1值均有明显提升,同时具有较强的鲁棒性和泛化能力。