期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于CNN‐Head Transformer编码器的中文命名实体识别
被引量:
6
1
作者
史占堂
马玉鹏
+1 位作者
赵凡
马博
《计算机工程》
CAS
CSCD
北大核心
2022年第10期73-80,共8页
基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型,在未使...
基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性。
展开更多
关键词
命名实体识别
自注意力机制
Transformer编码器
卷积神经网络
残差连接
下载PDF
职称材料
题名
基于CNN‐Head Transformer编码器的中文命名实体识别
被引量:
6
1
作者
史占堂
马玉鹏
赵凡
马博
机构
中国科学院新疆理化技术研究所
中国科学院大学
新疆民族语音语言信息处理实验室
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第10期73-80,共8页
基金
国家重点研发计划(2018YFC0825300,2018YFC0823002)
新疆维吾尔自治区重大专项(2020A03004-4)
+1 种基金
“西部之光”人才培养计划(2018-XBQNXZ-A-003)
中国科学院青年创新促进会基金(科发人函字[2019]26号)。
文摘
基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题。提出一种CNN-Head Transformer编码器(CHTE)模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现。在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性。
关键词
命名实体识别
自注意力机制
Transformer编码器
卷积神经网络
残差连接
Keywords
Named Entity Recognition(NER)
self-attention mechanism
Transformer encoder
Convolutional Neural Network(CNN)
residual connection
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于CNN‐Head Transformer编码器的中文命名实体识别
史占堂
马玉鹏
赵凡
马博
《计算机工程》
CAS
CSCD
北大核心
2022
6
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部