融合语法及结构特征的汉老双语句子相似度计算方法

跨语言句子相似度计算是自然语言处理的核心任务之一。标记是老挝语的重要语言特征,汉语中的特定结构也能起到标记的作用,时态与定语广泛存在于汉老双语中。通过分辨时态和定位定语,融入语言特征,能有效提升句子相似度计算的准确率。该文提出融合语法及结构特征的句子相似度计算方法,通过添加特征标签,使用CNN和BiGRU获取含有更多语义信息的双语句子语义表征,连接局部推理的交互聚合结构使双语信息交互,计算交互后序列的相对差和相对积,将其结果拼接并输入到全连接层以获得汉老双语的句子相似度分数。实验结果表明,该文的方法在当下主流方法中有着突出的表现,F 1值达到了77.67%。

句子相似模型和最相似句子查找算法

提出一种句子相似模型,用以度量句子的相似程度·句子相似度由词形相似度和词序相似度决定,词形相似度起主要作用,词序相似度起次要作用·该模型可保证当一个句子的分句或短语整体发生长距离移动后,仍与原来的句子很相似·提出一种基于单词倒排索引和句子长度索引的最相似句子查找算法·实验结果表明该查找算法不仅高效,而且平均查找时间受语料库规模影响很小·

基于句法结构与修饰词的句子相似度计算

根据汉语句子结构复杂、词语一词多义的特点,提出一种句子相似度计算方法。对句子进行句法分析和依存关系的预处理,提取句子结构中的主、谓、宾、介词等主要成分的词语集合,从而准确地表达出句子的浅层语义,并利用《知网》计算不同句子相同成分之间的语义相似度。考虑依存句法关系中的定中关系和状中关系起到的语义修饰作用,在句法结构基础上进一步融入修饰词,综合计算句子的语义相似度,区分句子主题内容的一致性和句子间的反义关系。以微软研究院释义语料库中抽取的30对句子作为测试集,实验结果表明,提出方法的皮尔森相关系数达到0.89,F值达到85.7%,具有较好的准确性与实用性。

基于词串粒度及权值的汉语句子相似度衡量

提出了一种改进的汉语句子相似度衡量方法,用于基于实例的汉英机器翻译。该方法同时考虑了相同词串的数目及长度和对应的权值信息,克服了传统方法的显著不足,在理论上更有合理性。在小数据集上的实验也表明该方法是可行的。

基于多层次句子相似度与向量空间模型的词义消歧

介绍和对比了20世纪50年代以来出现的各种主要词义消歧的方法,论述了这些方法取得的成效和存在的局限,着重讨论了基于向量空间模型的消歧方法.在此基础上,通过分析和计算,提出了一种将多层次句子相似度计算应用于向量空间模型的新方法,从而提高机器翻译中的词义消歧的准确度.

句子相似度计算新方法及在问答系统中的应用

计算句子的相似度在机器问答、机器翻译、文本分类等系统中有着非常重要的作用。该文对基于相同关键词的句子相似模型作了进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词以及近义词的情形。并以此为基础,实现了一个基于常问问题集的中文自动问答系统,对用户以自然语言输入的问题,该系统能够自动地在FAQ(Frequently-Asked Question)库中寻找候选问题集,通过计算句子相似度,将匹配的答案返回给用户。该系统还能够自动地更新和维护FAQ库。实验结果表明,这种新方法在问答系统中匹配问句时比其他方法具有较高的准确率。

基于句子相似度的论文抄袭检测模型研究

提出一种基于句子相似度的论文抄袭检测模型。利用局部词频指纹算法对大规模文档进行快速检测,找出疑似抄袭文档。根据最长有序公共子序列算法计算句子间的相似度,并标注抄袭细节,给出抄袭依据。在标准中文数据集SOGOU-T上进行的实验表明,该模型具有较强的局部信息挖掘能力,在一定程度上克服了现有的论文抄袭检测算法精度不高的缺点。

一种维吾尔语句子相似度算法的研究

基于实例的机器翻译是一种重要的机器翻译技术,句子相似度的衡量是基于实例机器翻译研究中最重要的一个内容。对于基于实例的维吾尔语机器翻译研究,维吾尔语句子相似度衡量的准确性,直接影响到最后翻译结果的输出。提出了一种维吾尔语句子相似度的计算方法,采用的基于词形特征的粗选算法、散列单词倒排索引能够有效提高算法的查找速度,快速从语料库中筛选出候选句子集合;多策略精选算法中采用基于维吾尔语词频的单词区分度算法、连续单词序列抽取算法,可以有效衡量两个维吾尔语句子的相似程度,实验结果证明算法是有效的。

基于动态规划的汉语句子相似度算法

传统汉语句子相似度计算算法在处理大量专业词汇时准确率较低。为此,提出一种基于动态规划的汉语句子相似度算法。通过获取2个句子的公共子串集合,结合链表消重机制,从集合中获取2个句子的所有最长公共子串,并以此计算相似度。实验结果表明,对于含有大量专有名词的问题集合,该算法的测试正确率达93.6%,计算效率较高。

汉语句子相似度计算在FAQ中的应用

通过对传统的汉语句子相似度模型进行改进,提出一种基于关键词加权的汉语句子相似度计算方法,在此基础上实现一个基于常问问题库的中文问答系统。该系统通过将用户输入的自然语言问句与常问问题库中的候选问题集进行相似度计算,自动返回最匹配的答案给用户,自动更新和维护常问问题库。实验结果表明该方法在问句匹配上比传统方法具有更高的准确率。

句子相似度的动态规划求解及改进

基于例子的机器翻译,其很关键的步骤之一就是如何从语料库中找到待译句子的最佳相似句。论文针对这个问题提出了利用动态规划方法基于句子相似矩阵进行求解的方法。根据这个方法就可以从语料库中为待译句子找到最佳相似句,同时在求解过程中还做了一些改进:利用矩阵分块求解的方法保留了句子的连续相似块,保证了结果的质量,对提高EBMT系统的翻译质量起到了一定的促进作用。

大规模句子相似度计算方法

如何根据源语言文本从大规模语料库中找出其最相近的翻译实例，即句子相似度计算，是基于实例翻译方法的关键问题之一。本文提出一种多层次句子相似度计算方法：首先基于句子的词表层特征和信息熵从大规模语料库中选择出少量候选实例，然后针对这些候选实例进行泛化匹配，从而计算出相似句子。在多策略机器翻译系统IHSMTS中的实验表明，当语料规模为20万英汉句对时，系统提取相似句子的召回率达96％。准确率达90％，充分说明了本文算法的有效性。

一种基于知网的句子相似度计算方法

句子相似度是衡量文档相似度的基础,在自然语言处理领域中有着非常重要的作用。目前的句子相似度计算方法忽略了句子的结构对相似度的影响。本文在分析已有研究工作的基础上,提出了一种改进的句子相似度计算方法。依据知网对"实体概念"的描述,构造出义原的语义层次树,由各个义原在树中的相对位置,计算出义原之间的相似度。对三种义原加权求和得到词语之间的语义相似度。综合句子的表层相似度和句子的词语语义以及词语的相对位置关系,得到句子的整体相似度。实验表明,在同等的测试条件下,本文所提出的句子相似度计算方法在相似度比较上更符合人的直观感觉。

FAQ问答系统句子相似度计算

句子相似度计算是FAQ问答系统的核心问题,提出一种改进的基于多重信息的方法,即结合关键词信息、句子结构信息和语义信息的句子相似度计算方法,并用实例验证了方法的可行性.

融合词向量的多特征句子相似度计算方法研究

在归纳常见的句子相似度计算方法后,基于《人民日报》3.4万余份文本训练了用于语义相似度计算的词向量模型,并设计了一种融合词向量的多特征句子相似度计算方法。该方法在词方面,考虑了句子中重叠的词数和词的连续性,并运用词向量模型测量了非重叠词间的相似性;在结构方面,考虑了句子中重叠词的语序和两个句子的长度一致性。实验部分设计实现了4种句子相似度计算方法,并开发了相应的实验系统。结果表明:提出的算法能够取得相对较好的实验结果,对句子中词的语义特征和句子结构特征进行组合处理和优化,能够提升句子相似度计算的准确性。

基于句子相似度的文本主题句提取算法研究

文本主题提取是文本挖掘领域的重要研究内容,解决文本信息泛滥的重要手段。为了解决现有文本主题句提取中一些局部主题容易被忽略的问题,本文提出一种＂先分割,再提取＂的思想。首先将文本表示为句子的线性序列,句子表示为词的线性序列,并对每个句子都预处理为含有实词的词汇链,然后基于知网（Hownet）计算相邻句子相似度。基于句子相似度,采用文本分割技术将文本分为多个关于子主题的句子包,通过句子关系图对这些句子包进行主题句提取。最后选用不同的语料库,设计进行了可接受性测试,实验结果验证该算法是可行、有效地。

基于HowNet句子相似度的计算

汉语句子的相似度计算在自然语言处理领域中是一项基础而又重要的工作,它直接决定着相关领域的研究发展状况。在词语相似度计算的基础上,针对目前句子相似度计算方法的不足,文中提出一种基于How Net的计算句子相似度的方法。在《知网》的词汇语义相似度计算基础上,加入了词语定义义原间的反义、对义关系、单义原的否定和符号义原、定义信息来计算词语的相似度。计算句子相似度前加入词语的消歧,在计算句子相似度时考虑了词语定义的关系义原与待比较的词定义的某个义原相等的情况,并加大了关系义原的权重。实验结果表明,在同等的测试条件下,所提出的句子相似度计算方法可以提高句子相似度的计算精度,更符合人的直观感觉。

基于多特征的汉语句子相似度计算模型的研究

句子相似度的计算在自然语言处理的各个领域中都占有很重要的地位。文中深入分析了现有的一些句子相似度计算的方法,这些方法各自从词特征、词义特征或句法特征等某一侧面描述了句子相似的情况,未能全面地描述一个句子的完整信息。文中提出了一种新的基于多特征的汉语句子相似度的计算模型。该方法在基于词的基础上,从句子中词的表层到词的逻辑联系,从句子的局部结构到整体结构,用句子的区分度、相同词的相似度、长度相似度、词性相似度及词序相似度五个方面来综合考虑两个句子相似度的计算。实验结果表明,该方法合理、简便、可行。

中文自动问答中句子相似度计算研究

句子相似度计算是自动问答系统的重要理论基础和关键实现技术。目前，用于中文自动问答系统的句子相似度计算方法很多，由于缺乏系统的分析，给研究人员带来了较大的不便。依据所利用的特征信息，可以将这些方法分为四类，即基于关键词信息、基于语义信息、基于句法结构信息以及基于多重信息。通过对各类方法实验结果的比较，指出各自的优势和不足。同时指出，基于多重信息的方法是当前的主流方法，实现不同特征信息的最佳权重分配是该类方法今后的研究重点。另外，还提出一个有关相似度概念认识上的看法，即对于中文自动问答系统，实质上依据的是句子的相关度，而不是句子的相似度。通过本文的研究，旨在为中文自动问答领域的句子相似度计算研究提供一定的参考。

一种改进的句子相似度计算模型

在基于实例的机器翻译中,句子相似度计算是实例匹配的有效机制。该文对基于相同词的句子相似模型作进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词的情形。实验结果表明,改进方法比原方法具有较高的准确率。