-
题名门控多特征提取器的中文命名实体识别
被引量:1
- 1
-
-
作者
杨荣莹
何庆
杜逆索
-
机构
贵州大学大数据与信息工程学院
贵州大学贵州省公共大数据重点实验室
贵州大学贵州省大数据产业发展应用研究院
-
出处
《计算机工程与应用》
CSCD
北大核心
2022年第8期117-124,共8页
-
基金
贵州省科技计划项目重大专项项目(黔科合重大专项字[2018]3002,黔科合重大专项字[2016]3022)
贵州省公共大数据重点实验室开放课题(2017BDKFJJ004)
贵州省教育厅青年科技人才成长项目(黔科合KY字[2016]124)。
-
文摘
在不引入其他辅助特征的情况下,仅关注文本自身,通过构建多个特征提取器深度挖掘文本序列抽象、深层、高维的特征。采用BERT预训练模型获取信息更丰富的词嵌入;将词嵌入分别输入到BiLSTM和IDCNN中进行第一轮的特征提取,为获取更高维的特征,实现信息的多通道传输和流量控制,在IDCNN网络中引入门控机制;为提高特征提取效率,加入多头自注意力机制;构建共享BiLSTM,实现特征信息的交互流通,提高特征表征强度;创建两个CRF模型,丰富特征分布并实现特征信息的跨层传输,以提升标签序列预测的准确性。在两个数据集上进行测试,与四种NER模型进行比较,结果表明,F1值在一定程度上得到提升。
-
关键词
特征提取
词嵌入
门控机制
共享bilstm
多头自注意力
-
Keywords
feature extraction
word embedding
gating mechanism
share-bilstm
multi-heads self-attention
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-