一种基于语义体系的同义词识别研究

针对基于字面和词素相似度识别同义词的不足之处,首次引入《同义词词林》(以下简称《词林》),作为语义体系,提出了基于《词林》语义体系的同义词识别算法,并进行了词汇间的语义相似度度量,实现了同义词识别。实验结果表明,此方法在效率上远高于基于字面、词素相似度识别方法。

基于电子商务用户行为的同义词识别

该文研究了电子商务领域同义词的自动识别问题。电子商务领域的同义词是指对同一事物或概念的不同表达,即在商品描述和检索中可以相互替换的词,针对该领域新词多、错别字多、近义词多的特点,提出基于用户行为的同义词识别方法。首先通过并列关系符号切分商品标题和基于SimRank思想聚集查询两种方法获取候选集合,进而获取两词的字面特征以及标题、查询、点击等用户行为特征,然后借助Gradient Boost Decision Tree模型判断是否同义。实验表明同义词识别准确率达到56.52%。

融合多层次信息的海关同义词识别方法

在海关进出口商品文本信息中,往往会用不同的词语描述同一商品的特征,识别这些商品的特征同义词能更好地进行观点汇总,进而对同一类特征的商品进行涉税风险的防控。针对海关申报要素短语的特点,提出一种融合多层次信息的卷积神经网络模型,构建并训练了一个基于孪生和三级网络结构的Sentence-BERT,其对相近的要素短语具有更好的语义表示,弥补了word2vec短文本词嵌入特征离散稀疏的不足。利用多尺寸卷积核提取要素短语的不同特征。通过BiLSTM神经网络学习要素短语的语序信息,并利用注意力机制分配关键词权重。获得的全连接融合同义词语义特征和关键词特征,通过softmax层进行预测。实验证明,融合多层次信息的卷积模型比其他模型有更好的表现。

用于信息检索的同义词自动识别及其进展

同义词识别在很多领域都有广泛的应用 ,例如信息检索、自动标引、后控制词表的编制、基于知识库的自动分类、基于实例的机器翻译等等 ,它是信息表示和信息检索领域急需解决的问题。目前 ,国外的同义词自动识别的方法主要包括 :基于词典注释的同义词识别算法、基于大型语料库统计的方法和基于搜索引擎的方法。

基于句法结构分析的同义词识别方法研究

针对同义词识别方法中因重心后移造成的语义相似度计算偏差问题,提出一种基于句法结构分析的同义词识别方法。首先采用句法结构分析方法处理需要做同义词识别的词(或短语),然后基于同义词词林来计算词(或短语)间的相似度。该方法等价地分析词(或短语)中的各个原子词,从而消除重心后移方法所造成的识别偏差。实验证明,该同义词识别方法性能良好,具有较高的可行性,可以为文本挖掘和语义检索领域提供新思路。

结合链接结构和共现分析的同义词自动识别方法

同义词自动识别在信息检索、知识挖掘等方面起着重要作用,一直以来都是业界的关注焦点。本文结合网上词典链接分析方法和共现分析方法来自动提取同义词,分别通过分析页面的后向链接信息、重定向页面和对网页内容利用共现分析方法来识别同义词,和传统的同义词识别方法比较有更好的覆盖率和准确性。

基于链接结构和共现分析识别同义词的改进方法

同义词自动识别在信息检索、知识挖掘等方面起着重要作用,一直以来都是业界关注的焦点。本文结合网上词典链接分析方法和共现分析方法来自动提取同义词,分别通过分析页面的后向链接信息、重定向页面和对网页内容利用共现分析方法来识别同义词,并给出了算法,实验表明该方法和传统的同义词识别方法相比具有更好的覆盖率和准确性。

面向共指事件识别的同义表述模式抽取研究

在共指消解领域,目前已经有大量研究工作围绕实体共指问题展开,而有关事件共指方面的研究则相对较少。由于事件表述的灵活性,共指事件识别的研究重点之一在于如何构建事件表述相似度的计算模型。而在对同一事件的相似表述中,不仅包含词级别的同义表述,还包含语句级别的同义表述。针对该状况,本文基于新闻报道语料的特点,一方面针对词级别同义表述模式的抽取,设计了同义词知识库的自动构建策略,并考虑了缩略语、同位语等情况的处理;另一方面在词级别同义表述模式抽取的基础上,设计了语句级别同义表述实例的识别策略,进而可以抽取同义表述模式并剔除模式中的冗余成分。通过在实际数据集合上的实验,表明了本文策略的有效性。基于抽取到的词级别和语句级别的同义表述模式,可以有效提升共指事件识别的效果;本文工作也可以视为对共指事件识别现有策略的有益补充。

基于Att-CBOW模型的术语标准扩充方法

针对传统CBOW模型存在维度灾难、同义词识别率低的问题,提出了一种基于词嵌入和注意力机制的改进模型——Att-CBOW模型,该模型能够更好地捕捉文本中词语之间的语义关系,并提高同义词的辨识度。设计了相关实验,将传统CBOW模型、Skip-Gram模型和Att-CBOW模型应用于某领域文本和现有术语标准中的同义词识别任务,实验结果显示,相较于CBOW模型与Skip-Gram模型,Att-CBOW模型的同义词查出率分别提升8.51%以及18.09%。

中文关键词-主题词自动映射方法研究综述

阐述关键词-主题词映射的基本内涵和主要实现方式,综述近10年主要中文关键词-主题词自动映射方法,包括基于词汇相似度的方法、基于词汇共现的方法、基于规则的方法、基于信息检索的方法和基于链接的方法。

共现关键词—叙词同义关系自动识别研究——基于互信息法、概率法的对比分析

以科技文献中的共现关键词—叙词词对(以下简称共现词对)为研究对象,运用互信息法、概率法计算方法,以准确率和召回率为衡量指标,通过绝对值方式和相对最高值方式,分析这两种统计方法在不同区间内对同义共现词对的自动识别效果及特点。研究发现,概率法的相对最高值方式具有最佳的同义共现词对识别效果。最后,探讨互信息法、概率法与共现频率的关系,揭示这两种统计方法在同义共现词对的识别上存在互补的特性。

方志物产挖掘及系统构建

本文首先根据方志文献的行文特征,设计一个统一规范的方志文献文档处理格式,用于文本文档的预处理。本文建立方志全文数据库,并基于数据库构建一个物产挖掘系统,进行物产信息挖掘,方法如下：通过抽取数据库正名字段内容识别物产正名,通过模式识别方法识别物产异名别称。最后建立包含物产正名和异名别称的物产标引词典,对全部物产文献进行标引,从而挖掘出物产名称。经测试,异名别称的识准率为71.6%,识全率为88.6%,表明系统是可行的。

基于层层深入的关键词-叙词同义关系自动识别研究

本文以科技文献中共现关键词-叙词(下称"共现词对")为挖掘对象,首先,以字面相似法统计字面相似值,以最高相似值方式认定每个叙词同义对应的唯一关键词(起点词);然后使用概率法计算词对的共现强弱,并以叙词为单位按共现紧密度由高到低排列,以起点词作为参考词,根据"同义相斥"、"相关相吸"的共现规律,按照一定的原则,逐个层层深入识别所有共现词对。实验结果表明,基于层层深入法的识别方式,是共现关键词-叙词同义关系识别的可靠、稳定的方法。

基于知识库的网络信息概念挖掘(英文)

本文采用数据挖掘技术和情报语言学方法 ,构建了一个可以用于从因特网上提取信息、进行自动标引和自动分类的系统 ,提供了一种创建自动分类知识库的新方法 ;提出了一种用于主题抽取的位置加权算法 ,研制了一种改进汉语同义词识别性能的新方法 ,并在自动分类时运用了这种语义相似度识别算法。

基于查询日志分析的中文网页关键词抽取方法

以全文索引为基础的网页搜索引擎检索相关度偏低。针对这一问题,本文提出了一种基于查询日志分析的中文网页关键词抽取方法。该方法利用用户对网页与查询词的相关性判断来选择关键词。为了量化用户的相关性判断,提出了单位篇幅停留时间、逆向点击率、排名补偿因子3个指标,并对其进行综合加权。在查询串分词、同义词识别及多义词消歧、关键短语组配方面,也做了特殊处理。实验结果表明:抽取关键词的准确率较高,综合性能也高于TF.IDF和SVM方法。该方法能得到较满意的关键词抽取效果。

一种信息检索系统的设计与实现

提出一种信息检索系统的设计与实现方法。该系统基于"中文领域本体学习及半自动构建方法研究"项目,针对江西省教育厅科学技术研究项目"基于句法结构分析的中文聚类算法研究及应用"项目的实际需求而设计。本文主要介绍一种较客观、较综合地在网络上获取有价值的文本信息的系统设计与实现方法。