基于层叠条件随机场模型的中文机构名自动识别

中文机构名的自动识别是自然语言处理中的一个比较困难的问题.本文提出了一种新的基于层叠条件随机场模型的中文机构名自动识别算法.该算法在低层条件随机场模型中解决对人名、地名等简单命名实体的识别,将识别结果传递到高层模型,为高层的机构名条件随机场模型实现对复杂机构名的识别提供决策支持.文中为机构名条件随机场模型设计了有效的特征模板和特征自动选择算法.对大规模真实语料的开放测试中,召回率达到90.05%,准确率达到88.12%,性能优于其它中文机构名识别算法.

一种基于词频统计的组织机构名识别方法

命名实体识别是自然语言处理必不可少的重要部分,其中组织机构名识别占了很大的比例。提出了基于词频统计的组织机构名识别方法。训练数据主要通过百度百科词条整理得到。训练时,利用百度百科词条名在词条文本中的频数统计进行机构构成词的词频统计。在此基础上,构建了数学模型,实现了组织机构名识别算法。该识别算法集成到了中文分词中,取得了较好的识别结果,可以满足一定的实际应用需求。

基于支持向量机方法的中文组织机构名的识别

在应用基本的支持向量机算法的基础上,提出了一种分步递增式学习的方法,利用主动学习的策略对训练样本进行选择,逐步增大提交给学习器训练样本的规模,以提高学习器的识别精度。实验表明,采用主动学习策略的支持向量机算法是有效的,在实验中,中文机构名识别的正确率和召回率分别达到了81.7%和86.8%。

基于特征耦合泛化的药名实体识别

药名识别的直接目的是从生物医学文本中寻找药名。目前,药物相关研究不断出现,远远超出了维护人员更新药物信息数据库的速度,这就迫切需要一种自动提取药物信息的技术。该文采用了一种基于特征耦合泛化(FCG)的半监督学习方法生成药名词典,然后将药名词典和条件随机场结合进行药名实体识别。首先我们用模板的方法构造了一个药名词典,然后用FCG方法对词典去噪,最后将去噪后的词典用在测试集上进行药名实体识别,得到了76.73%的F值。

基于SVM和CRF的双层模型中文机构名识别

提出了一种基于支持向量机(SVM)和条件随机场(CRF)的双层模型进行中文机构名识别的方法.第一层模型采用CRF识别简单机构名,并将识别结果传至第二层辅助下一步的识别;第二层采用基于驱动的方法,将SVM和CRF结合进行复杂机构名的识别;最后将两层的识别结果合并,并通过一个后续处理对置信度较低的识别结果进行修正.大规模真实语料的开放测试表明,精确率达到94.83%,召回率达到95.02%,证明了该方法的有效性.

基于CRF和规则的中文医疗机构名称识别

中文机构名称识别是中文自然语言处理的一项重要的研究课题。以中文医疗机构名识别为目标,从因特网上抓取了30余万条机构名和1 500篇包含医疗机构名的文本语料,对医疗机构名的组成特点和上下文信息进行详细的分析,总结出若干模式、规则和特征,最后结合条件随机场模型,建立了一个统计和规则相结合的中文医疗机构名识别模型。实验结果表明,该模型的识别效果很好。

中文名实体识别中的特征组合与特征融合的比较

先分析了最大熵模型常用的特征线性组合方法中的权值偏置问题,然后提出了在线性组合之前,对特征进行融合,并根据融合特征和目标类别之间的互信息选择有效复合特征的方法。通过在包含2000个人名的语料库上的测试,表明特征融合能有效地提高名实体识别的精度和召回率。

基于语法语义知识的维吾尔文机构名识别

为了提高维吾尔语中机构名的自动识别准确率,从维吾尔语的语言特点出发,对维吾尔语中机构名的组织结构进行了分类并将其形式化表示;根据此特征设计出有效地识别规则,创建了特征词库、地名库和修饰词库等知识库;设计并实现了基于状态转移原理的高效识别算法。实验结果表明,该算法识别的F值达到83.05%,获得了较好结果。

基于模板匹配的中文机构名识别

利用分词和词性标注的信息,针对未登录词中的中文机构名的组成进行了深入的分析,总结出机构名的内部组成特点,提出了基于模板匹配的中文机构名识别的方法。给出了中文机构名的模板和识别过程,介绍了机构名出现的边界条件。在开放测试中,中文机构名识别的精确率和召回率分别为92.1%和72.81%,取得了较好的识别结果。

《知网》在命名实体识别中的应用研究

命名实体识别是自然语言处理领域的一项基础研究,它对于语言的深层处理有重要意义。该文以最大熵模型为基础来进行名实体识别,提出了基于《知网》的两种改进策略来增强模型的泛化性能。第一种策略是将《知网》中词的义原作为特征加入到最大熵模型中;第二种策略是利用《知网》来计算最大熵模型中词特征之间的概念相似度。在北京大学《人民日报》语料上的实验结果表明第一种策略可以有效地提高名实体识别的性能,第二种策略的改进效果不明显。

中文名实体识别：基于词触发对的条件随机域方法

首次把条件随机域（CRF）模型应用到了中文名实体识别中，且根据中文的特点，定义了多种特征模板。同时，为了解决长距离约束问题，将词语触发对融合到了CRF模型中。提出了基于词语方差（word variance）的选词方法，在词语相关性计算上，采用了平均互信息（AMI）方法和χ^2统计量方法。通过在半年人民日报上的测试，结果表明在采用相同特征集合的条件下，条件随机域模型较其他概率模型有更好的性能表现；融合长距离触发对的条件随机域模型可以使系统的F量度提高约1．38％。

基于向量相似度计算的半监督的名实体识别

提出一种基于向量相似度计算的半监督的NER方法,主要思想是:首先利用bootstrapping方法获取NER所需的各种特征;然后将待测实例表示为实例特征向量,每一类名实体表示为类特征向量;最后根据每个类特征向量与实例特征向量的相似度进行分类。在人民日报语料上选取疾病名、武器名、交通工具名进行相关测试,F测度分别为:77.4%,66.1%和73.1%,结果令人满意。

依存关系上的中文名词性谓词识别研究

首次实现了一个基于依存关系的中文名词性谓词识别平台,作为语义角色标注的前提,谓词识别的结果直接影响语义角色标注的性能。使用两种方法进行实验:一种是基于传统的特征向量的方法在Chinese Nombank的转换语料上进行了系统实验,对各种词法特征、结构特征及其组合进行了测试,标准语料上F1值达到89.65,自动语料上达到81.27。另一种是使用树核的方法进行探索性实验,在标准语料和自动语料上分别得到84.62和80.93的F1值。

结合多特征的支持向量机中文组织机构名识别模型

以支持向量机(SVM)为基本框架,提出一种结合多特征的支持向量机中文组织机构名识别模型。考虑中文组织机构名的特点,抽取局部特征与全局特征,并将特征向量转化为二进制表示,在此基础上建立训练集。基于1998年《人民日报》语料的实验结果表明,该混合模型对中文组织机构名的识别是有效的。同时基于不同测试数据的实验结果表明,该模型对不同测试数据源具有一致性。

基于最大熵的蒙古文人名识别系统的设计与实现

最大熵模型能充分利用上下文,灵活取用多个特征。使用最大熵模型进行蒙古文人名识别,分析蒙古文人名结构及上下文环境,根据语言特点设计特征模板,建立粗选特征集;建立人名知识库,提取精选特征集,训练最大熵模型;实验结果证明,本系统能有效识别蒙古文人名,开放测试的正确率达到94.56%,召回率达到85.15%,F值达到89.61%,识别效果较为理想。

基于统计的中文机构名实体识别的研究

针对中文机构名实体的识别提出了利用隐马尔科夫统计模型的方法.同时,在此方法的基础上通过构建一元模型来补充识别那些缩写的和没有核心词的机构名,弥补了单一统计模型在机构名实体识别中的不足.实验证明二者相结合的方法能获得较高的准确率和召回率,具有可行性.

基于最大熵的中文组织机构名识别模型

中文组织机构名识别的精确率一直是影响自然语言处理的因素之一.根据中文组织机构名的特点,提出采用最大熵的识别方法.实验系统在较大规模的数据集上对比了不同特征选择方法对模型的影响,同时考查了词面、词性、语法等信息对模型的贡献.实验结果表明,不同的特征选择算法,开放测试的平均值只相差0.2～0.5个百分点.

基于条件随机场的维吾尔文机构名识别

为缓解目前维吾尔文机构名识别方法依赖于人工编写规则、识别效率低的问题,提出一种基于条件随机场模型(CRF)的维吾尔文机构名识别方法。根据维吾尔语的语言特性,结合词、词性、音节、机构名特征词表、地名词表等特征,实现维吾尔文机构名识别。实验结果表明,相比于基于规则的方法和隐马尔科夫模型(HMM),该方法不依赖于人工编写规则,识别的准确率和召回率较高。

基于组合深度模型的现代汉语数量名短语识别

数量名短语的识别是识别由数量短语修饰的名词短语左右边界的研究.以往研究中,基于统计学习模型的数量短语识别方法依赖人工特征,需要通过专家知识构建知识库来实现对“数词+量词”短语的识别.本文在以往研究基础上纳入“名词”形成“数词+量词+名词”等八类数量名短语,并采用深度学习方法解决这一边界识别任务.通过BERT模型对原始文本进行上下文特征表示,利用Lattice LSTM模型字词结合的思想将标准分词作为软特征融入文本字符级的特征表示中,最后通过CRF全局约束识别数量名短语边界.实验结果表明,本文方法在AMR语料上达到较优结果,精确率、召回率、F1值分别为80.83%,89.78%,85.07%.

利用未标注语料改进实体名识别性能

本文主要介绍了一个利用最大熵进行实体名识别的系统以及所采用的模型和选取的特征。这些特征包括单词本身的词法词态特征和上下文信息。利用这些在任何语言的文本上都极易获得的特征 ,我们采用最大熵分类器构建了一个基准系统。在此基础上 ,我们首先通过网络资源建立了实体名词典知识库 ;并利用词典和基准系统在未标注语料上抽取出现的实体名作为辅助的训练语料 ;最后再将这些语料加入训练。实验结果表明 ,辅助的训练语料能够在一定程度上提高系统的性能。