基于Roberta的中文短文本语义相似度计算研究

针对传统基于孪生网络的文本语义相似度计算模型中存在特征提取能力不足的问题,提出一种融合孪生网络与Roberta预训练模型SRoberta-SelfAtt。在孪生网络架构上,通过Roberta预训练模型分别将原始文本对编码为字级别向量,并使用自注意力机制捕获文本内部不同字之间的关联;通过池化策略获取文本对的句向量进而将表示结果交互并融合;在全连接层计算损失值,评价文本对的语义相似度。将此模型在两类任务下的三种数据集上进行实验,其结果相比于其他模型有所提升,为进一步优化文本语义相似度计算的准确率提供有效依据。

结合混合特征提取与深度学习的长文本语义相似度计算

文本语义相似度计算是自然语言处理中一项非常重要的任务,但是目前对于文本语义相似度的研究多集中在短文本领域,而不是长文本。相较于短文本,长文本语义信息丰富,但同时语义信息容易分散。针对长文本语义信息分散的问题,提出一种特征提取模型,提取出长文本的主要语义信息;对提取的语义信息使用滑窗重叠的方法输入BERT预训练模型得到文本向量表示;然后,通过双向长短期记忆网络建模长文本的前后语义联系,将其映射到语义空间内;再通过线性层增加模型表示能力;最后,通过相似语义向量内积最大化和交叉熵损失函数进行微调。实验结果表明,该模型在CNSE和CNSS数据集上F1分数分别为0.84和0.91,性能优于基线模型。

基于节点语义相似度的本体映射方法

针对本体映射特别是大尺度的异构本体映射由于语义异质性导致的映射精度和效率较低的问题,提出一种基于节点语义相似度的本体映射方法.首先,研究基于网络的本体解析和表示、本体自动分块、相似子本体快速识别、基于节点语义的子本体映射等关键技术;其次,以本体对齐评估倡议评估数据集中会议本体集进行实验,结果表明,该方法在性能上优于传统映射方法,在精度上高于基于片段的映射方法.

基于语义相似度的工程装备试验设计知识检索系统

针对工程装备作战试验与在役考核方案和大纲设计(简称工程装备试验设计)专业性强、难度高、知识重用率低等问题,提出一种基于语义相似度的知识检索系统。首次构建工程装备试验设计领域本体模型,实现案例知识的规范化表示,为知识重用奠定基础。为提高案例检索的准确性,设计一种基于语义相似度的工程装备试验设计案例的双层检索方法,实现设计前与设计过程中相似案例的一次与二次精准推送。最后,以某型自行舟桥装备在役考核大纲设计为例进行试验。试验结果证明,所设计系统能够提高工程装备领域试验设计的效率和科学性。

基于堆栈集成学习的文档隐含语义相似度判断算法

受到文档数量规模的影响,文档隐含语义相似度判断结果存在不精准的问题,提出基于堆栈集成学习的文档隐含语义相似度判断算法。构建堆栈集成学习模型,输入文档隐含语义,获得与原文本一一对应的原始文本词袋向量。赋值名词、副词、形容词,借助辅助词库矢量,识别类似隐含语义。构建文档隐含语义向量模型,提取基于文档隐含语义索引关键词。使用堆栈集成学习方法训练关键词,计算相似度获取判别结果。实验结果表明,该算法与实际关键词提取个数最大误差为1个,最高召回率为86%,相似度判断结果较为精准。

基于图文多模态融合的文档片段语义相似度判定算法

为使网络主机的差异性赋值能力得到保障,实现对相似性文档片段语义信息的准确判别,提出基于图文多模态融合的文档片段语义相似度判定算法。在多模态融合条件的基础上,联合图像区域检测结果、文本区域检测结果,建立完整的词袋模型,实现基于图文多模态融合的文档片段标注。根据文本数据预处理条件,确定关键词权值指标,联合已知文档片段语义信息,求取相似性度量值的准确计算结果,完成文档片段语义相似度判定算法的设计。对比实验结果可知,在图文多模态融合技术的支持下,差异性赋值指标的平均值达到了1.0,对于网络主机而言,其在准确判别相似性文档片段语义信息方面的应用能力得到了保障。

语义相似度与BERT模型融合的多标签文本自适应分类方法

针对文本搜索需求难以判断、文本难以分类的问题,研究语义相似度与双向语言编码器(BERT)模型融合的多标签文本自适应分类方法。先预处理文本并确定文本表示形式,基于信息增益理论提取并降维处理文本特征,依据语义相似度理论计算文本之间相似度,再引入BERT模型搭建多标签文本自适应分类框架,通过对抗训练获取模型最佳参数,将待分类文本输入至训练好文本分类BERT模型中,即可实现多标签文本的自适应分类。实验数据显示应用提出方法获得F 1参量大于给定最小限值,汉明损失参量HL小于给定最大限值,充分证实了提出方法文本分类效果较佳。

基于朴素贝叶斯模型的单词语义相似度度量

单词语义相似度度量是自然语言处理领域的经典和热点问题.通过结合朴素贝叶斯模型和知识库,提出一个新颖的度量单词语义相似度度量途径.首先借助通用本体WordNet获取属性变量,然后使用统计和分段线性插值生成条件概率分布列,继而通过贝叶斯推理实现信息融合获得后验概率,并在此基础上量化单词语义相似度.主要贡献是定义了单词对距离和深度,并将朴素贝叶斯模型用于单词语义相似度度量.在基准数据集R＆G（65）上,对比算法评判结果与人类评判结果的相关度,采用5折交叉验证对算法进行分析,样本Pearson相关度达到0.912,比当前最优方法高出0.4%,比经典算法高出7%~13%;Spearman相关度达到0.873,比经典算法高出10%~20%;且算法的运行效率和经典算法相当.实验结果显示将朴素贝叶斯模型和知识库相结合解决单词语义相似度问题是合理有效的.

一种基于语义相似度的文本聚类算法

文本聚类在很多文本挖掘和信息检索系统中发挥着重要的作用。现有的聚类算法大多数都是基于向量空间模型,文档集合中出现的单词词频作为特征项。这些算法都存在数据维数过高、聚簇难以描述的问题,而且忽略了单词间的语义联系。本文提出了一种基于语义相似度的文本聚类算法——TCU SS(Text clustering usingsem an ticsim ilarity)算法。TCU SS算法将文档表示成概念列表,有效地解决了数据维数高和聚簇描述难的问题,并给出如何利用概念列表进行聚簇描述的方法。TCU SS算法利用两个概念列表中单词间的语义相似度作为文档间相近程度的度量,并以图为基础进行聚类分析,避免有些聚类算法对聚簇形状的限制。实验证明,TCU SS算法提高了聚类质量。

基于孪生ALBERT网络的语义相似度计算研究

在自然语言处理领域,尤其是信息检索、机器翻译和智能问答系统等具体应用中,语义相似度计算至关重要。研究针对SBERT模型在文本内部关联关系和交互信息提取方面的局限性,提出了一种基于改进的孪生ALBERT网络的语义相似度计算模型(SALSA)。该方法在孪生网络的架构下引入了轻量级ALBERT语言模型和自注意力模块。实验显示,在LCQMC数据集上,相同参数量的SALSA模型在准确度和F1值上相较于SBERT模型分别提升了6.97%和6.22%,同时训练速度提升了0.5倍。

基于WordNet的概念语义相似度的计算方法

Word Net作为一部语义词典,在自然语言处理、词义消歧、信息抽取和机器翻译等很多领域应用广泛。文章从算法利用的角度对基于Word Net的语义相似度计算分别从基于路径距离、基于信息容量和基于属性的角度进行了系统的概括与梳理,并在深入分析和比较的基础上指出今后本领域的研究方向。

基于本体论和词汇语义相似度的Web服务发现

Web服务的大量涌现对服务发现提出了挑战,UDDI上基于关键词和简单分类的服务发现机制已经不能很好满足需要.该文在分析现有相关研究的基础上,提出了基于本体论和词汇语义相似度的 Web服务发现方法.通过构建Web服务本体,给出一个明晰的Web服务发现的研究对象,指出可对Web服务进行的几种相似度计算,并对其中的词汇语义相似度计算进行详细讨论.文中具体给出两种词汇语义相似度计算方法,其中第一种方法计算词汇语义相似度基于词语间距离度量,第二种方法计算词汇语义相似度则建立在义原相似度基础上.引入本体论和词汇语义相似度,为Web服务相似度计算、Web服务发现提供了一种有效可行的方法.

SemreX:一种基于语义相似度的P2P覆盖网络

对等(peer-to-peer)网络的非集中结构、良好的自治性及容错性等特征,使其可能成为Internet上有效的信息共享模型.然而,内容定位问题仍然是大规模P2P网络中信息共享所面临的挑战.SemreX系统是一种P2P网络环境下的文献检索系统.针对SemreX系统,提出一种基于语义相似度的P2P拓扑管理和查询路由算法.仿真实验结果表明,语义拓扑能够有效地提高系统的搜索效率.

基于语义相似度的论坛话题追踪方法

现有的话题追踪方法大多面向新闻数据,将其应用于论坛时效果不够理想。结合论坛的特点,提出一种基于语义相似度的论坛话题追踪方法。该方法首先通过构建话题和帖子的关键词表建立其文本表示模型,然后利用知网计算两个关键词表的语义相似度并以此作为帖子与话题的相关程度,最后根据相关程度实现论坛话题追踪。该方法较好地避免了向量空间模型的缺陷。实验表明,该方法能比较有效地解决面向论坛的话题追踪问题。

一种本体概念的语义相似度计算方法

概念语义相似度已广泛应用于Web服务发现、本体映射等领域,但现有的概念语义相似度计算方法对概念间语义相似程度的区分不够细致.本文从本体结构出发,首先提出了自底向上的本体概念出现概率计算方法,并在此基础上改进了基于节点信息量的概念语义相似性度量方法;然后又设计了基于边计算的本体概念语义相似度计算方法;最后对上述两种方法线性加权,提出了一种加权的本体概念语义相似度计算方法.实验结果表明该方法能进一步正确区分本体中父子概念及兄弟概念间的相似程度.

一种基于本体的概念语义相似度方法的研究

提出了一种计算不同本体中概念间语义相似度的方法,该方法通过比较实例间的相似度获得初始概念间语义相似度,结合影响概念间语义相似度的两个系数,计算出最终的概念间语义相似度。与概率统计方法进行比较,验证了该方法的有效性。该研究工作可以应用于面向Web的知识检索领域。

基于语义相似度的数据库自适应查询松弛方法

为了解决数据库空查询结果问题,提出了一种基于语义相似度的数据库自适应查询松弛方法.首先,基于初始查询条件和数据分布推测用户对查询指定属性的重视程度,据此提出了一种属性权重评估方法;然后,通过考察属性值的特征信息,分别提出了分类型属性值之间和数值型属性值之间的语义相似度评估方法;在此基础上,根据松弛阈值、属性权重和属性值之间的语义相似度,提出了一种自适应查询松弛重写算法.对于满足松弛查询的近似查询结果,按照它们对初始查询的满足度进行排序.实验结果表明,提出的属性权重和属性值之间的语义相似度评估方法性能稳定,评估结果合理,提出的查询松弛方法具有较高的查全率,能够较好地满足当前用户的需求和偏好.

中文短文本语法语义相似度算法

通过分析中文短文本的特征,提出了一种基于语法语义的短文本相似度算法.该算法结合中文语句语义的相似性以及语句语法的相似性,即计算具有相同句法结构的短文本的相似度以及考虑语句词组顺序对相似度的贡献,对中文短文本相似度进行计算.实验表明,本文提出的算法在中文短文本相似度计算结果上更加接近人们的主观判断并且拥有比较好的精确率与召回率.

基于《知网》的词语语义相似度算法

词语语义相似度计算在信息检索、文本聚类、语义消歧等方面有着广泛的应用。基于《知网》提出一种词语语义相似度算法。设计一种义原分类,将义原分为第一基本义原、其他基本义原和间接义原3类。与以往义项相似度计算方法不同,根据不同类义原对义项相似度影响的大小,分别使用不同的义原相似度计算方法进行义项相似度的计算。利用词语之间第一基本义原相似度最高的义项组合进行词语语义相似度计算,剔除相似度较低的组合对词语语义相似度结果的影响。实验结果表明,该算法能有效提高运算效率和精确度。

基于语义网的语义相似度算法改进

传统的语义相似度算法采用纯语义距离或以本体库的统计特性为基础。论文的改进算法把这两者结合起来,互为约束,并且加入了“深度”和“密度”对语义距离的辅助影响。改变语义相关性的比重只需调节算法中的一个参数。最后通过WordNet构造的局部语义树,比较了各算法的有效性。