基于RoBERTa-Span-Attack的标签指针网络军事命名实体识别

军事领域文本中存在大量军事实体信息,准确识别这些信息是军事文本信息提取和构建军事知识图谱的基础性任务。首先,提出了一种基于RoBERTa预训练模型、跨度和对抗训练的标签指针网络的融合深度模型(RoBERTa-Span-Attack),用于中文军事命名实体识别;然后,采用了一种基于Span的标签指针网络,同时完成实体的起止位置和类别的识别任务;最后,在模型训练过程中加入对抗训练策略,通过添加一些扰动来生成对抗样本进行训练。在军事领域数据集上的实验结果表明:所提出的军事领域命名实体识别模型相较于BERT-CRF、BERT-Softmax和BERT-Span,在识别准确度上具有更优的效果。

基于多模型结合的军事命名实体识别

针对军用命名实体的识别难点,采用多模型结合的方法进行军事命名实体识别。在对军用文本信息进行深入的研究和分析的基础上,根据其特点设计了一个基于双层模型的军事命名实体识别系统,并将军事命名实体分为简单实体名和复杂实体名2类:在底层采用CRFs模型进行简单实体名识别,再采用SVM与CRFs结合判断命名实体的左右边界,进行复杂命名实体的辅助识别,最后进行两层识别结果的合并。实验结果表明:该识别模型是一种比较理想的方法。

结合词语规则和SVM模型的军事命名实体关系抽取方法

抽取作战文书中的军事命名实体关系,是实现作战文书语义理解的一种有效方法。在分析作战文书中军事命名实体词语规则的基础上,提出了一种结合词语规则和SVM模型的军事命名实体关系抽取方法。首先,使用词语规则整合作战文书中连续出现的军事命名实体并抽取其关系,使其更加适合SVM模型。然后,使用SVM模型对传统规则模板难以使用的词窗、词性和距离等特征进行建模,抽取军事命名实体关系。实验结果表明,优先利用词语规则能充分提高SVM模型抽取军事命名实体关系的效果,与单纯使用SVM模型相比,准确率和召回率分别提高了8.73%和41.71%。

基于迁移表示学习的军事命名实体识别

针对军事领域标注文本不足的问题,结合实体识别技术,提出了基于自注意力(Transformer)双向语义表征模型(BERT)、双向长短时记忆网络(Bi‑LSTM)和条件随机场(CRF)的军事命名实体识别框架(BERT‑Bi‑LSTM‑CRF)。该框架以字、字位置、语义块及词性作为模型输入特征,通过BERT网络迁移学习,获得通用领域语义编码特征,再利用Bi‑LSTM解码军事语义特征,最后通过CRF实现序列预测。试验结果表明,该框架相对于现有基准方法在准确率、召回率和F1值上表现良好。

结合词语规则和SVM模型的军事命名实体关系抽取方法

作战文书一直是我国军事中的一项重要任务,但是由于作战文书的特殊性和保密性,写者都会用一些带有特殊性质的东西来掩人耳目,但是作战文书非常重要,关乎作战中军事命名和实体作战的关系,稍有不慎就会理解错误,轻则会违反规定,重则会直接影响到我国的经济利益和国土安全,因此,抽取作战文书中的主要意思,弄清楚军事命名实体关系,对实现作战文书语义理解有着重大突破。作战文书分析模式虽然有很多方法,但是大多数学者都是在它的基础上结合词语规则和SVM模式进行研究,是目前最为有效的抽取方法。此类方法的使用主要是先利用语文中经常用到的词语规则整理出作战文书中连续出现并且相似度极高的实体,并从中提取出相关信息,两者相互磨合,能更好地与SVM模型兼容。其次,使用SVM模型对各个有效因素进行建立模型,抽取其中我们所需要的信息进行军事命名实体关系的研究。根据以上结果充分表明,如果单独使用SVM模型进行提取,其结果将不堪一击,但是如果优先利用词语规则进行提取,之后再结合SVM模型进行抽取,整个准确率和效率都会得到事半功倍的效果。

基于多标签的军事领域命名实体识别

为了识别军事文本中的军事命名实体,根据军事命名实体的特点,将其分为6类标注。在此基础上,为了进一步解决多嵌套和组合的复合军事命名实体难以识别的问题,对传统的标注方法加以改进,提出了一种基于多标签的标注方法。首先,对复合的军事命名实体做分词处理,使之成为多个最小词组的组合;然后,各部分词组按其在命名实体中的位置做分段标注,各词组中的每个字则在分段标注的基础上,根据其在词组中的位置再做词位标注;最后,将整个标注作为军事命名实体中每个字的标注结果。实验结果表明,该标注方法能够提升军事命名实体的识别效果。

小粒度策略下基于CRFs的军事命名实体识别方法

军事命名实体(Military Named Entities,MNEs)内部嵌套关系复杂、语法区分不明显,从而影响实体识别效果,针对这一问题,提出了一种小粒度策略下基于条件随机场(Conditional Random Fields,CRFs)的MNEs识别方法。运用小粒度策略,结合手工构建的MNEs标注语料进行建模,采用CRFs模型识别出不可再分的小粒度MNEs,再通过对小粒度MNEs进行组合得到完整的MNEs。最后,通过实验对该方法进行了验证,结果表明:在作战文书语料的开放测试中,MNEs识别的召回率达到72%以上,准确率达到85%以上。

基于深度学习的军事命名实体识别方法

针对传统军事命名实体识别方法存在人工构建特征复杂和军事文本分词不准确等问题,提出了一种基于深度学习的军事命名实体识别方法。结合双向长短时记忆(Bi-directional Long Short-Term Memory,Bi-LSTM)神经网络对较长句子上下文的记忆能力、字向量(character embedding)对汉字语义的表示能力和条件随机场(Conditional Random Field,CRF)对标注规则的学习能力,构建了character+Bi-LSTM+CRF实体识别模型。为验证方法的有效性,在军事想定语料集上进行了实验,结果表明:该方法比传统方法识别效果好,识别准确率、召回率和F值均大幅提升。

多神经网络协作的军事领域命名实体识别

互联网公开数据蕴含着大量高价值的军事情报,成为获取开源军事情报的重要数据源之一。军事领域命名实体识别是进行军事领域信息提取、问答系统、知识图谱等工作的基础性关键任务。相比较于其他领域的命名实体,军事领域命名实体边界模糊,界定困难;互联网媒体中军事术语表达不规范,随意性的简化表达现象较普遍;现阶段面向军事领域的公开语料鲜见。该文提出一种考虑实体模糊边界的标注策略,结合领域专家知识,构建了基于微博数据的军事语料集MilitaryCorpus;提出一种多神经网络协作的军事领域命名实体识别模型,该模型通过基于Transformer的双向编码器(bidirectional encoder representations from transformers, BERT)的字向量表达层获得字级别的特征,通过双向长短时记忆神经网络(bi-directional long short-term memory, BiLSTM)层抽取上下文特征形成特征矩阵,最后由条件随机场层(conditional random field, CRF)生成最优标签序列。实验结果表明:相较于基于CRF的实体识别模型,应用该文提出的BERT-BiLSTM-CRF模型召回率提高28.48%,F值提高18.65%;相较于基于BiLSTM-CRF的实体识别模型,该文模型召回率提高13.91%,F值提高8.69%;相较于基于CNN (convolutional neural networks)-BiLSTM-CRF的实体识别模型,该文模型召回率提高7.08%,F值提高5.15%。

基于两层叠加方法的武器装备名识别

针对军事领域中的命名实体--武器装备名识别问题,提出一种两层叠加方法的识别模型。在两层叠加方法的第0层,使用基于不同训练方法的4个机器学习模型(Mallet、条件随机域、支持向量机和最大熵)构建了4个单个分类器;在第1层,采用不同的组合策略将4个分类器的结果进行组合,通过第1层的再学习得到最终的识别结果。实验结果表明:此方法在武器装备名识别上取得了优越的性能,在测试语料上获得了92.1%的F值。