基于BI-GRU-CRF模型的中文分词法

循环神经网络作为一种处理时序数据的有效模型,已在序列标注问题上得到了广泛应用。为解决序列标注中典型的中文分词任务,基于门限循环单元(Gated Recurrent Unit,GRU)神经网络,提出了一种改进的双向门限循环单元条件随机场(BI-GRU-CRF)模型,该模型不仅可以通过双向门限循环单元有效利用双向上下文信息,而且可以通过条件随机场层联合考虑相邻标签间的相关性,得到全局最优的标记序列结果。在常用的中文分词测评集(PKU、MSRA)以及由构建的军事领域分词语料上,分别采用四词位及六词位标注法进行了实验,结果表明BI-GRU-CRF模型具有良好的分词性能,且六词位标注法可以改进分词效果。

融合词位字向量的军事领域命名实体识别

针对军事领域的命名实体识别问题,提出了一种融合词位字向量的命名实体识别方法。该方法将由大规模语料无监督训练得到的字向量与蕴含字在军事词语中词位信息的词位向量进行拼接,使用拼接后的词位字向量用于提出的BI-GRU-CRF命名实体识别模型的训练。在爬取的网络军事语料上对人名、军用地名、军事机构名、军职军衔、军事装备名、军用物资名、军事设施名7类实体进行识别,结果表明,该方法可有效提高军事领域命名实体识别的准确率。

基于注意力机制的领域事件联合抽取识别方法

针对特定领域事件抽取时标注文本不足问题,结合最新的自然语言处理技术,提出了基于Transformer、双向门控循环单元(Bi-GRU)神经网络和条件随机场(CRF)的领域事件联合抽取识别框架Transformer-Bi-GRU-CRF-Union。首先,该框架以字、字的位置、语义块和词性(POS)作为模型输入特征,通过Transformer网络迁移学习获得通用领域语义编码特征;然后,通过Bi-GRU解码特定领域语义特征;最后,使用CRF算法实现序列预测。试验结果表明,该事件抽取框架相对于当前基准方法在准确率、召回率和F1值上表现更优。