基于多级语义信息融合编码的序列标注方法

序列标注是自然语言处理领域的基本任务。目前大多数序列标注方法采用循环神经网络及其变体直接提取序列中的上下文语义信息,尽管有效地捕捉到了词之间的连续依赖关系并取得了不错的性能,但捕获序列中离散依赖关系的能力不足,同时也忽略了词与标签之间的联系。因此,提出了一种多级语义信息融合编码方式,首先,通过双向长短期记忆网络提取序列上下文语义信息;然后,利用注意力机制将标签语义信息添加到上下文语义信息中,得到融合标签语义信息的上下文语义信息;接着,引入自注意力机制捕捉序列中的离散依赖关系,得到含有离散依赖关系的上下文语义信息;最后,使用融合机制将3种语义信息融合,得到一种全新的语义信息。实验结果表明,相比于采用循环神经网络或其变体对序列直接编码的方式,多级语义信息融合编码方式能明显提升模型性能。

语义信息代码化的操作原理

语义问题不仅是当今人文社会科学研究的核心问题 ,而且也成了计算机语言信息处理的“瓶颈”。语义信息代码化是自然语言理解的必要前提 ,而语义信息主要指现实世界知识和论域知识 ,只有使这些知识抽象化、形式化、代码化、算法化 ,计算机才能实现对其智能化处理。语义信息编码是一项复杂的综合集成工程 ,我们称之为“通用语义码建模工程”。这样一项语言工程的实施战略 ,必然关涉原则性思维和技术性思维。本文探讨的语义信息代码化操作原理侧重于前者 ,它包括 :(ⅰ )操作理据 ;(ⅱ )操作背景 ;(ⅲ )操作意图和(ⅳ )操作方法。