-
题名基于BERT和知识蒸馏的航空维修领域命名实体识别
被引量:3
- 1
-
-
作者
顾佼佼
翟一琛
姬嗣愚
宗富强
-
机构
海军航空大学
[
-
出处
《电子测量技术》
北大核心
2023年第3期19-24,共6页
-
文摘
针对军事航空维修领域命名实体识别训练数据少,标注成本高的问题,改进提出一种基于预训练BERT的命名实体识别方法,借鉴远程监督思想,对字符融合远程标签词边界特征得到特征融合向量,送入BERT生成动态字向量表示,连接CRF模型得到序列的全局最优结果,在自建数据集上进行实验,F1值达到0.861。为压缩模型参数,使用训练好的BERT-CRF模型生成伪标签数据,结合知识蒸馏技术指导参数量较少的学生模型BiGRU-CRF进行训练。实验结果表明,与教师模型相比,学生模型以损失2%的F1值为代价,参数量减少了95.2%,运算推理时间缩短了47%。
-
关键词
航空维修文本
命名实体识别
BERT
知识蒸馏
伪标签增强
词向量增强
-
Keywords
aviation maintenance text
named entity identification
BERT
knowledge distillation
pseudo label enhancement
word vector enhancement
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名基于CoSENT的航空装备领域问句相似度匹配算法
- 2
-
-
作者
翟一琛
顾佼佼
刘涛
姜文志
-
机构
海军航空大学
-
出处
《舰船电子工程》
2023年第9期145-150,共6页
-
文摘
针对航空装备使用和保障人员获取信息效率低的问题,将文本相似度匹配技术引入航空装备维修保障问答领域,结合规则模板、生成模型等方法生成相似问句,提出一个航空装备维修保障领域问句相似度数据集;融入外部信息知识,通过领域词典识别问句对中的关键词,对CoSENT(Cosine Sentence)模型引入关键词注意力机制和特征交互机制提升模型性能。在自建数据集和讯飞文本相似度数据集上进行验证,与基准模型CoSENT相比,论文方法的Spearman相关系数分别提升了2.3%和1.7%。
-
关键词
航空装备维修文本
深度学习
文本相似度
CoSENT
注意力机制
-
Keywords
aviation equipment maintenance text
deep learning
text similarity
CoSENT
attention mechanism
-
分类号
TP391.3
[自动化与计算机技术—计算机应用技术]
-