多特征融合的专利功效短语抽取

为提高专利功效短语抽取的准确率和召回率,保障专利布局等研究工作的高质量进行,提出一种融合多特征的专利功效短语抽取模型。基于Bert-BiLSTM-CRF的整体框架,利用Bert模型对文本进行向量化,融合偏旁部首、五笔、词长+词性等特征输入到BiLSTM或Transformer进行编码,使用CRF解码得到对应输入的标签序列,得到专利功效短语。实验采用新能源汽车领域的专利文本作为训练数据,尝试组合不同的特征进行实验,实验结果表明,所提模型在准确率、召回率、F1值上均取得了明显提升,验证了多特征融合在功效短语抽取任务上的有效性。

基于在线医疗咨询文本的抑郁症症状短语的自动识别

[目的/意义]利用在线医疗咨询文本探索抑郁症症状的自动抽取方法,推进健康大数据的深层次应用。[方法/过程]以在线问诊平台“好大夫在线”的患者问诊记录为语料,选择无监督机器学习法,运用短语识别和深度学习语义建模技术实现抑郁症症状的快速提取。算法通过了测试语料的评估,并在抑郁症典型症状分析和抑郁症人群预测两个任务中得以检验。[结果/结论]运用本文算法识别抑郁症症状短语的准确率为73.85%,模型表现优良。用该方法分析抑郁症患者的典型表现,结论与心理学临床检验结果一致,抑郁症人群预测的精准度则可以达到78.81%。对于3个症状短语的分布表示模型,具备深层次语义表达能力Sentence-BERT表现最好,说明强化短语的语义表达,运用无监督机器学习方法能够实现疾病症状的快速提取,有效提升大规模文本信息的处理能力。

基于LDA和语步标注的主题识别与分析方法研究

【目的】从主题表征词抽取和主题句功能分类两个维度,设计基于潜在狄利克雷分布模型(Latent Dirichlet Allocation,LDA)和语步标注的主题分析方法,并探究方法的有效性与实用性。【方法】采用LDA模型进行主题识别,利用Sentence Transformer模型对主题词短语进行提取,同时构建句子功能分类模型进行语步标注,识别文本句子功能类型,从句子功能维度对主题内容进行细粒度分析。【结果】以农业资源与环境领域论文数据为例进行实证研究,结果表明,相比传统LDA模型,经过提取主题词短语后,识别出的主题表征词可读性和解释性更强,进一步结合语步标注后,主题句子内容分析更为深入。【局限】主题短语表征词扩展内容存在含义相同问题,有待进一步改进表征词的多样性,以整合相同含义的主题短语表征词。【结论】本研究所提方法在主题表征词抽取、主题内容分析方面具有较好的效果,可以提高文本主题挖掘的效率与深度。

基于关键短语抽取与答案过滤的问答对生成

高质量的问答对有助于从文章中获取知识,提高问答系统性能,促进机器阅读理解,在人类活动和人工智能领域中都起着较为重要的作用.当前主要问答对生成方法依靠提供文章中的候选答案,根据答案生成特定的问题.然而一些候选答案可能会生成无法从文章中回答的问题,或是生成问题的答案不再是候选答案,造成问答对相关性差,影响问答对的质量.针对此问题,本文提出了一个基于关键短语抽取与过滤生成问答对的方法.该方法能够在输入文本中自动抽取适合生成问题的关键短语作为候选答案,再根据候选答案在问题生成器和答案生成器中生成问答对,并通过对比候选答案与生成答案的相似度过滤相关性低的问答对,最终输出保证质量的问答对.本方法在SQUAD1.1和NewsQA数据集上进行了实验验证,并人工检验了生成的问答对的质量,结果表明该方法可以有效提高生成的问答对的质量.

融合位置特征的关键短语集合抽取模型

关键短语抽取任务是文本知识抽取任务的基础性工作,存在关键短语抽取边界不清晰、抽取结果重复率较高等问题,导致抽取结果准确性不佳。本文针对关键短语出现在文章中的位置特征建模,基于Transfomer编码器-解码器结构,结合位置特征与预训练模型对关键短语进行预测,提出一种端到端的关键短语预测模型;在模型训练过程中,采用了基于匈牙利算法对预测值与真实值进行序列对应的交叉熵损失函数,使关键短语预测过程,排除序列生成方法中预定排序的影响,并以集合的方式抽取关键短语。分别在Inspec、SemEval2017、KP20k数据集进行了实验验证,与现有方法相比较,本文模型F1值均有所提升,有助于提升文本信息的关键短语抽取效果。

基于概率统计的韵律短语分析

韵律短语分析是文语转换（Ｔｅｘｔ－ｔｏ－Ｓｐｅｅｃｈ）系统的重要组成部分。文章实现了一个基于概率统计的韵律短语分析方法。它首先构造了一个带有韵律短语间隔标记和词语ＰＯＳ信息的样本库，然后用它来训练和测试一个二元组模型，并针对出现的各种问题，提出了四种改进的思路。

融入双语最大名词短语的机器翻译模型

在统计机器翻译中融入有价值的句法层面的语言学知识,对于推动统计机器翻译的发展具有重要的理论意义和应用价值。提出了三种由简到繁的将双语最大名词短语融入到统计翻译模型的策略,整体翻译性能逐步上升。Method-Ⅲ采用分而治之的策略,以硬约束的方式在统计机器翻译中融入最大名词短语,并在双语最大名词短语层面上融合了短语翻译模型和层次短语模型,对翻译系统的改善最显著。所述策略显著提高了短语翻译模型的质量,在复杂长句翻译中,Method-Ⅲ的BLEU值比基于短语的基线翻译模型提高了3.03%。

基于主题模型的(Aspect,Rating)摘要生成方法研究

提出基于短语参数学习的主题模型TMPP(Topic Model based on Phrase Parameter)对在线评论中被评价实体的aspect和与之对应的rating进行抽取.TMPP具有三个特点:1)评论用"短语袋"表示;2)将标准的LDA中表示文档-主题的参数扩展为(aspect,rating)集;3)融合了先验知识.介绍了TMPP模型参数的物理含义、模型的生成过程以及先验知识的获取和表示方法;阐述了在TMPP模型中引入方面集聚类使用先验知识的原因与好处、TMPP模型提取(方面,等级)对形成(aspect,rating)摘要的原理.以真实的在线产品评论数据集为实验对象,在实验过程中引入先验知识的方面识别分析和等级预测精度分析,列出了五类产品相关方面和对立的情感词的实验结果.通过与已有的基线方法比较,实验表明若评论集中每篇评论有一个总体等级,TMPP能产生高质量的(aspect,rating)摘要.

基于非连续短语的统计翻译模型研究

目前统计机器翻译的主流方法仍然是基于短语的翻译模型。然而,该模型并没有考虑对非连续短语的处理。本文提出了一种基于非连续短语的统计翻译模型,利用该模型可以使翻译的基本单元从连续短语扩展到带有间隔的非连续短语,以更好地解决词语翻译时的上下文依赖问题。同时,由于该方法抽取的短语数量较少,也使得解码的效率得到了提高。实验表明,在效率提高的情况下,非连续短语模型可以取得与层次型短语模型相当的翻译结果。

2005统计机器翻译研讨班研究报告

2005年7月13日至15日,中国科学院自动化研究所、计算技术研究所和厦门大学计算机系联合举办了我国首届统计机器翻译研讨班。本文主要介绍本次研讨班参加单位的测试系统和实验结果,并给出相应的分析。测试结果表明,我国的统计机器翻译研究起步虽晚,但已有快速进展,参评系统在短期内得到了较好的翻译质量,与往年参加863评测的基于规则方法的系统相比性能虽还有差距,但差距已经不大。从目前国际统计机器翻译研究的现状和发展趋势来看,随着数据资源规模的不断扩大和计算机性能的迅速提高,统计机器翻译还有很大的发展空间。在未来几年内,在基于短语的主流统计翻译方法中融入句法、语义信息,必将成为机器翻译发展的趋势。

社交网络用户兴趣挖掘研究

面向消费者的公司或者企业都希望了解他们用户的需求,而大量的用户产生的数据在很大程度上就体现了用户的兴趣和需求.提出一种用于社交网站上,针对用户生成内容(User Generate Content UGC)和用户关注信息的用户兴趣发掘方法.首先通过启发式初始化的PLSA模型训练得到贴近兴趣类别的话题模型,然后从训练结果中抽取可靠的话题并以此构建分类器,对用户的分享数据进行分类,最后根据用户的分享数据分类结果来识别用户的兴趣类别.在初始化PLSA模型时,用关键词抽取算法抽取每个分类的关键词,并给这些关键词赋予较高的PLSA初始权重,以此来引导PLSA模型的训练.实验的结果表明:本文方法可以有效的构建用户兴趣类别,并对用户兴趣的挖掘比较理想.

应用二叉树剪枝识别韵律短语边界

句子的韵律短语识别是语音合成的重要研究内容。本文提出了应用统计语言模型生成的二叉树,结合最大熵方法识别待合成汉语句子的语音停顿点。文中给出了二叉树相关的模型训练和生成算法;二叉树与语音停顿点之间的关系;在最大熵方法中应用二叉树剪枝识别句子的韵律短语。实验结果表明,在搜索算法中,利用二叉树进行剪枝,可以很大程度上提高语音停顿预测的正确率和召回率,基于试验数据的f-Score提高了近35%。

神经网络语言模型在统计机器翻译中的应用

近两年来,神经机器翻译(Neural Machine Translation,NMT)模型主导了机器翻译的研究,但是统计机器翻译(Statistical Machine Translation,SMT)在很多应用场合(尤其是专业领域)仍有较强的竞争力。如何利用深度学习技术提升现有统计机器翻译的水平成为研究者们关注的主要问题。由于语言模型是统计机器翻译中最核心的模块之一,本文主要从语言模型的角度入手,探索神经网络语言模型在统计机器翻译中的应用。本文分别探讨了基于词和基于短语的神经网络语言模型,在汉语到英语和汉语到日语的翻译实验表明神经网络语言模型能够显著改善统计机器翻译的译文质量。

基于统计分析的蒙汉自然语言的机器翻译

为改变内蒙古地区蒙汉机器翻译发展相对落后的现状,采用基于统计的机器翻译方法将短语作为翻译的最基本单元,并基于最大熵模型提出了一种分词方法和词对齐方法,通过调序结果来输出译文.实验结果表明:改进后的翻译系统BLEU值在一定程度上有所提高,所提方法可为蒙汉应用研究提供参考.

企业文化组织学习阶段模型研究

基于组织学习视角阐述了企业文化的传播和演变。首先建立了企业文化学习速度的数理模型,通过对模型的求解和讨论,提出了企业文化组织学习的发现、发明、执行、凝聚及分化五阶段概念模型,并分析了企业文化在不同阶段组织学习的主体、主要内容、主要方式和速度;最后通过一个例子来验证本文提出的模型。

统计机器翻译中短语切分的新方法

基于短语的统计机器翻译是目前主流的一种统计机器翻译方法,但是目前基于短语的翻译系统都没有对短语切分作专门处理,认为一个句子的所有短语切分都是等概率的。本文提出了一种短语切分方法,将句子的短语切分概率化:首先,识别出汉语语料库中所有出现次数大于2次的词语串,将其作为汉语短语;其次,用最短路径方法进行短语切分,并利用Viterbi算法迭代统计短语的出现频率。在2005年863汉英机器翻译评测测试集上的实验结果(BLEU4)是:0.1764(篇章),0.2231(对话)。实验表明,对于长句子(如篇章),短语切分模型的加入有助于提高翻译质量,比原来约提高了0.5个百分点。

基于树到串模型强化的层次短语机器翻译解码方法

文中研究了利用树到串模型对层次短语模型进行强化的统计机器翻译解码方法.其基本框架是把层次短语模型作为基础模型,而把树到串模型作为层次短语模型的补充,增加翻译推导空间大小.文中重点研究了在该框架下的统计机器翻译解码技术,并提出了多种解码策略,包括基于树的精确解码策略、基于树的模糊解码策略和基于串的解码策略.通过NIST汉英翻译任务上的实验结果显示,文中所研究的方法可以十分有效地提升基线层次短语系统的翻译性能,比如在newswire和web数据上分别提高了1.3和1.2个BLEU点.此外,文中分析了若干影响翻译性能的因素,并给出了对比实验结果.

统计机器翻译和翻译记忆的动态融合方法研究

在融合翻译记忆和统计机器翻译的整合式模型的基础上,该文提出在解码过程中进一步地动态加入翻译记忆中新发现的短语对。它在机器翻译解码过程中,动态地加入翻译记忆片段作为候选,并利用翻译记忆的相关信息,指导基于短语的翻译模型进行解码。实验结果表明该方法显著提高了翻译质量:与翻译记忆系统相比,该方法提高了21.15个BLEU值,降低了21.47个TER值;与基于短语的翻译系统相比,该方法提高了5.16个BLEU值,降低了4.05个TER值。

基于统计与规则相结合的汉语计算语言模型及其在语音识别中的应用

把基于统计的语料概率统计方法与基于规则的自然语言理解方法结合起来，提出了一种新的汉语计算语言模型，并把该模型应用于语音识别后处理模块中，取得了较理想的结果。

英语翻译计算机智能校对系统设计

基于短语和句法的英语翻译校对系统重视短语、句法的准确度校准,未能解决英语翻译语境连贯性差的问题,文中设计新的英语翻译计算机智能校对系统,搜索模块、英语翻译模块、英语翻译校准模块以及行为日志等构成系统的主体部分。利用搜索模块完成待校对词汇基本含义与学科内容搜索,通过行为日志掌握用户的行为数据,对系统实施优化;系统软件部分采用基于改进短语翻译模型的计算机智能校对方法,寻找替换待校对词汇的正确词汇,实现英语翻译的智能校对。实验结果表明,所设计系统令英语翻译结果精确度提高了27.7%,可以有效校对出英语翻译结果中语境不连贯的问题,与同类系统相比,文中系统具有高精确度、语境连贯的性能优势。