基于多种分词情况的中文命名实体识别

针对中文词语边界不明确,词语和句子上下文关系被忽略的问题,设计一种基于多种分词情况的歧义分词信息抑制算法.在预处理中根据预训练的词汇频率表计算语句中不同分词的权重,将最有可能的分词情况与其他分词情况进行区分,合并至语句中,在自注意力机制提取语句上下文信息时加入分词权重信息,添加正确分词有效的边界信息,抑制歧义分词错误的前后文关系.对比MarkBert与W2NER算法,在公开数据集Resume、 MSRA、 Weibo、 OntoNotes中的试验结果表明,歧义分词信息抑制算法的预测准确率、句子长度增加时的鲁棒性、数据集增大时的预测准确率均有更好的表现.

实体类别增强的汽车领域嵌套命名实体识别

针对中文汽车领域实体抽取任务中对嵌套实体、长实体识别效果差的问题,提出一种实体类别增强的嵌套实体抽取(ECE-NER)模型。首先,基于特征融合编码,提高模型对领域实体边界的感知能力;然后,尾词识别模块利用多层感知机得到实体尾词集合;最后,前向边界识别模块基于义原构造的实体类别特征和自注意力机制得到实体类别增强的候选尾词表征,融合领域实体类别特征,利用双仿射编码器计算特定尾词和实体类型的实体跨度概率,从而确定命名实体。在某汽车企业生产线故障数据集、汽车工业故障抽取评测数据集CCL2022和中文医学文本数据集CHIP2020上进行模型验证。实验结果表明,所提模型在前两个数据集上的实体识别F1值比序列标注模型(BERT+BiLSTM+CRF)、基于跨度的实体抽取模型(PURE(Princeton University Relation Extraction)、SpERT(Span-based Entity and Relation Transformer))分别提高了4.1、1.8、1.6个百分点和9.0、5.4、7.3个百分点;在第一个数据集和第三个数据集中嵌套实体识别F1值与PURE、SpERT模型相比提高了13.3、8.3个百分点和21.7、9.3个百分点,验证了所提模型在嵌套实体识别上的有效性。

一种基于多特征融合嵌入的中文命名实体识别模型研究

为解决中文字形上存在差异以及中文词语边界模糊的问题,提出了一种多特征融合嵌入的中文命名实体识别模型。在提取语义特征的基础上,基于卷积神经网络和多头自注意力机制捕获字形特征,并参考词语向量嵌入表获取词语特征,同时利用双向长短期记忆神经网络学习长距离的上下文表示,最后结合条件随机场学习句子序列标签中的约束条件,实现中文命名实体识别。在Resume、Weibo和People Daily数据集上的F1值分别达到了96.66%,70.84%和96.15%,证明提出的模型有效地提高了中文命名实体识别任务的性能。

基于自注意力机制与词汇增强的中文医学命名实体识别

针对中文医学文本实体嵌套导致的单词边界识别困难问题以及现有栅格结构集成词汇特征所面临的语义信息损失严重的情况,提出一种用于中文医学命名实体识别(MNER)的自适应词汇信息增强模型。首先,利用双向长短期记忆(BiLSTM)网络编码字符序列的上下文信息并捕捉较长距离的依赖关系;然后,对字符序列中每个字符的潜在单词信息进行字词对建模,采用自注意力机制实现不同单词之间的内部交互;最后,通过基于双线性注意力机制的词汇适配器将词汇信息集成到文本序列中的每个字符中,有效增强语义信息的同时充分利用单词丰富的边界信息,并抑制相关性低的单词。实验结果表明,所提模型与基于字符的基线模型相比,平均F1值分别提升了1.37~2.38个百分点,并在结合BERT后取得了最优的效果。

基于层内和层间融合注意力的家族恶意域名检测

针对当前家族恶意域名检测方法在新出现或新变种恶意域名的检测方面仍存在精度低、漏报高等问题,提出一种基于层内和层间融合注意力的家族恶意域名检测的新方法。首先,利用深度自编码网络将域名集逐层编码压缩到空间特征中,并借助自注意力机制强化域名字符串中关键字符的表达能力;其次,利用交叉注意力建立双分支网络输入端的关联,促进分支间深层信息的交流;最后,计算待测域名映射特征与交互特征集之间的相似度对比。实验证明所设计方法的准确率为98.21%,该方法对保障网络安全、预防新型域名入侵攻击具有重要的现实意义。

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务。

融合多特征和迭代扩张卷积的中文电子病历命名实体识别

针对中文电子病历命名实体识别过程中文本语义表示不充分、特征抽取效率低等缺陷,提出一种融合多特征和迭代扩张卷积的命名实体识别方法。该方法首先构建基于卷积神经网络(CNN)的字嵌入算法,将生成的字向量与词向量等外部特征信息融合后送入迭代扩张卷积神经网络(IDCNN)中进行特征抽取,引入注意力机制加强序列间依赖关系,最后通过CRF解码最优标签序列。该方法在CCKS2017中文电子病历数据集中取得了91.36%的F1值,识别性能优于现有方法,同时验证了融合多特征的语义表示对中文实体识别有一定性能提升。

融合自注意力的ALBERT中文命名实体识别方法

针对现阶段中文命名实体识别(NER)方法存在训练时间过长、性能有待提高的不足,提出一种融合“自注意力”机制的ALBERT中文NER方法。选择ALBERT作为嵌入层,通过BiLSTM获取字符位置信息,经过自注意力层进一步寻找序列内部联系,CRF解码获得最优序列。在《人民日报》和MRSA数据集上的实验F_(1)值分别达到了93.97%、97.35%。进一步从2个方面验证模型的有效性,实验结果表明,该方法比BERT BiLSTM-CRF训练时间减少约13.8%,P、R、F_(1)均提升0.8%左右。

基于改进神经网络的医疗大数据智能处理算法设计

针对电子病历中包含着大量的非结构化数据,而计算机难以处理且无法挖掘其潜在信息的问题,文中提出了一种基于改进神经网络的医疗大数据智能处理算法,以实现对医疗命名实体的识别。该算法利用迁移学习来预训练模型,并使用双向长短期记忆网络来提取特征。通过改进自注意力机制将多个特征向量与BiLSTM模型的隐式输出相结合,对不同的电子病历命名实体给出不同的权重,可有效提取命名实体中隐藏的解码信息,进而提升模型的识别率。在CCKS公开数据集上进行的实验测试结果表明,所提算法取得了较为理想的结果,具有良好的应用价值。

基于多重卷积神经网络模型的命名实体识别

针对命名实体识别任务,该文以可通过参数调节感受野范围的IDCNN为基础,提出了BERT-Duplex CNN-Self Attention-CRF模型,在不引入其他辅助特征的条件下,采用BERT预训练模型来提供具有丰富语义信息的字嵌入,将字嵌入分别输入IDCNN和CNN中进行特征提取。IDCNN在提取长距离语义信息的前提下可以充分利用GPU的并行能力,CNN在不损失并行能力的前提下可以弥补IDCNN对于局部上下文信息的缺失,将提取到的特征融合,通过引入自注意力机制在众多特征中选取对命名实体识别更有效的特征,最后通过CRF层提升实体标签预测的准确性。为验证模型的有效性,该文在常用的MSRA数据集以及Resume数据集上进行实验,实验结果表明:该模型在MSRA、Resume数据集上,结果超越了Lattice LSTM、BERT-Tagger、LR-CNN、PLET等几个目前较优模型,相对于结果最好的PLET模型,该模型的F1值分别提高了1.28百分点、0.15百分点。

基于字符嵌入与BiGRU的命名实体识别

在命名实体识别任务中,一般使用词级嵌入向量化句子,忽略了字符级特征所包含的信息。为此,提出一种将字符级特征与词级特征将结合的模型,首先使用BiLSTM捕捉字符级信息,结合输出的字符向量与Glove模型获取词向量输入BiGRU网络,然后引入自注意力层机制重新分配特征权重,最后使用CRF层输出具有全局最优节的标注序列。实验表明,该方法相较于BiGRU-CRF模型在命名实体识别任务中的性能更好,在CoNLL-2003、OntoNotes5.0数据集上的F1值分别达到91.69%、88.97%,对提高命名实体识别任务的性能有所帮助。

自我姓名加工的相对独特性:来自RSVP的证据

研究采用注意瞬脱的双任务RSVP范式通过操纵T1任务知觉负载水平的高低及T1-T2间的延迟长短,检验不同负载和延迟条件被试对陌生姓名、明星姓名和自我姓名的识别正确率。研究发现,自我姓名加工具有明显的注意瞬脱对抗效应,体现出加工的独特性,但其独特性受负载及延迟条件的影响,且明星姓名在一定条件下也出现了与之相近注意瞬脱的对抗效应,证明自我姓名加工具有相对的独特性。

基于触发词指导的自相似度聚类事件检测

传统方法将事件检测任务看作分类问题,将词作为实例来训练分类器,容易导致训练正反例不平衡,同时,在语料库规模较小时存在一定的数据稀疏问题。首先避开以词为实例进行分类,在事件类别判断上引入聚类思想,在事件触发词的指导下,采用自相似度对K-means聚类算法中的K值进行自收敛,优化了聚类算法。然后结合命名实体及其位置信息,对事件类别进行详细定位,很好地解决了传统事件检测对类别模板的依赖性,所检测的事件在文本摘要、检索和主题检测与追踪上得到了很好的应用。

人名相关自我加工的时间过程--事件相关电位研究提供的电生理证据

本研究采用事件相关电位技术(ERP)探讨了自我名字加工的神经机制。实验中向被试随机呈现大圆、小圆及名字,被试的任务是辨别大圆和小圆,名字是任务无关刺激。实验结果表明,被试自己的名字引发的P2及P3波幅都显著高于名人的名字及陌生人的名字。与以往研究结果不同,本研究发现了P2波幅上的"自我名字效应",即,人名相关的自我加工不仅表现在晚期成分P3上,同时还表现在早期成分P2上。所以,人名相关的自我加工过程分为早期和晚期两个加工阶段,前一个阶段可能是自动化加工,不需要意识参与,后一个阶段是意识加工。

自我相关信息的加工优势:来自网名识别的证据

以网名为材料,通过三项视觉搜索实验考察了与自我相关的网络信息可能存在的加工优势。结果发现,自己的网名在作为靶刺激时可以更快且更准确地被探测出来;而在作为干扰刺激时,其对于靶刺激却并未表现出比对照刺激更强的抑制作用。在与真实人名进行的直接比较中,自己的网名与真实人名的加工成绩未出现显著差异,且都好于作为对照的名人名字。这些结果证明了与自我相关的网络信息具有和物理世界中的自我信息相似的加工优势,且与以真实人名为材料的多项实验结果完全一致,从而表明自己的网名与真实人名可能具有相同的加工机制。

基于种子自扩展的命名实体关系抽取方法

命名实体间关系的抽取是信息抽取中的一个重要研究问题,该文提出了一种从大量的文本集合中自动抽取命名实体间关系的方法,找出了所有出现在同一句子内、词语之间的距离在一定范围之内的命名实体对,把它们的上下文转化成向量。手工选取少量具有抽取关系的命名实体对,把它们作为初始关系的种子集合,通过自学习,关系种子集合不断扩展。通过计算命名实体对和关系种子之间的上下文相似度来得到所要抽取的命名实体对。通过扩展关系种子集合的方法,抽取的召回率和准确率都得到了提高。该方法在对《人民日报》语料库的测试中,取得了加权平均值F-Score为0.813的效果。

一种统计和词性相结合的命名实体发现方法

在利用专业文献自动构建知识库的过程中 ,需要正确识别专业文献中的命名实体。文章针对命名实体识别问题 ,提出了一种以统计为主发现命名实体的方法。该方法利用切分标记将原文切分为较短的汉字串 ,采用自增长统计算法从汉字串中生成原始模式集 ,并利用统计信息和词性信息筛选出命名实体。

主动学习与自学习的中文命名实体识别

命名实体识别是信息抽取中的一项基础性任务,如何利用丰富的未标注语料来提高实体识别的指标是该领域一个重要的研究方向。基于条件随机场提出一种将主动学习与自学习相结合的方法——SACRF,通过设置置信度函数和2-Gram频度阈值来选取样本,并采用人工与自动相结合的方式进行标注来扩展训练语料。实验表明,该方法在提高实体识别的精确率和召回率的同时,能够显著地降低人工标注的工作量。

移动通信前台业务自助服务系统的设计与实现

针对近年手机用户数量剧增、现有资源下无法满足客户服务需求的问题,开发了移动通信前台业务自助服务系统。系统通过自助终端和系统服务器,结合BOSS系统接口和GSM网络接口通信,实现了自助开户挂失、实名制登记、充值缴费、更改资费套餐等一体化业务功能。系统软件基于C/S结构开发,包括客户端、服务器端、报表查询3个模块,重点分析了系统开发中事务管理、数据安全、日志管理、接口开发等关键技术的实现。应用结果表明,该系统有效分流了前台经常性业务办理量,大大缩短了业务办理时间。

自我信息加工的独特性:来自人名识别研究的证据

与自我面孔识别、自我参照加工等自我信息加工任务相似,识别自己的名字同样具有较强的独特性。自己的名字容易引起注意,识别速度快于对他人名字的识别,不容易被其他刺激所干扰和抑制。在生理指标上,与包括他人名字在内的中性刺激相比,自己的名字能够诱发出较强的P300,更显著地激活左前额叶等左脑区域。