基于注意力机制的命名实体识别模型研究——以军事文本为例

针对双向长短时记忆网络模型提取特征不充分的特点,将字向量和词向量同时作为双向长短时记忆网络的输入,并利用注意力机制分别提取两者对当前输出有用的特征,用维特比算法约束最终输出的标签序列,构建一种新的命名实体识别模型。实验结果表明,在军事文本的命名实体识别中,该模型取得了较优的识别率。

结合全局向量特征的神经网络依存句法分析模型

利用时序型长短时记忆(LSTM,long short term memory)网络和分片池化的卷积神经网络(CNN,convolutional neural network),分别提取词向量特征和全局向量特征,将2类特征结合输入前馈网络中进行训练;模型训练中,采用基于概率的训练方法。与改进前的模型相比,该模型能够更多地关注句子的全局特征;相较于最大化间隔训练算法,所提训练方法更充分地利用所有可能的依存句法树进行参数更新。为了验证该模型的性能,在宾州中文树库(CTB5,Chinese Penn Treebank 5)上进行实验,结果表明,与已有的仅使用LSTM或CNN的句法分析模型相比,该模型在保证一定效率的同时,能够有效提升依存分析准确率。

基于多标签的军事领域命名实体识别

为了识别军事文本中的军事命名实体,根据军事命名实体的特点,将其分为6类标注。在此基础上,为了进一步解决多嵌套和组合的复合军事命名实体难以识别的问题,对传统的标注方法加以改进,提出了一种基于多标签的标注方法。首先,对复合的军事命名实体做分词处理,使之成为多个最小词组的组合;然后,各部分词组按其在命名实体中的位置做分段标注,各词组中的每个字则在分段标注的基础上,根据其在词组中的位置再做词位标注;最后,将整个标注作为军事命名实体中每个字的标注结果。实验结果表明,该标注方法能够提升军事命名实体的识别效果。

基于注意力长短时记忆网络的中文词性标注模型

针对传统的基于统计模型的词性标注存在人工特征依赖的问题,提出一种有效的基于注意力长短时记忆网络的中文词性标注模型。该模型以基本的分布式词向量作为单元输入,利用双向长短时记忆网络提取丰富的词语上下文特征表示。同时在网络中加入注意力隐层,利用注意力机制为不同时刻的隐状态分配概率权重,使隐层更加关注重要特征,从而优化和提升隐层向量的质量。在解码过程中引入状态转移概率矩阵,以进一步提升标注准确率。在《人民日报》和中文宾州树库CTB5语料上的实验结果表明,该模型能够有效地进行中文词性标注,其准确率高于条件随机场等传统词性标注方法,与当前较好的词性标注模型也十分接近。