基于注意力与神经图灵机的语义关系抽取模型

针对语义关系抽取(语义关系分类)中长语句效果不佳和核心词表现力弱的问题,提出了一种基于词级注意力的双向神经图灵机(Ab-NTM)模型。首先,使用神经图灵机(NTM)作为循环神经网络(RNN)的改进,使用长短时记忆(LSTM)网络作为控制器,其互不干扰的存储特性可加强模型在长语句上的记忆能力;然后,构建注意力层组织词级上下文信息,使模型可以加强句中核心词的表现力;最后,输入分类器得到语义关系标签。在SemEval 2010 Task 8公共数据集上的实验表明,该模型获得了86.2%的得分,优于其他方法。

长期记忆神经图灵机

可读写的外部记忆模块可以在事实的记忆和基于记忆的推理上扩充神经网络的能力。神经图灵机利用注意力机制设计了一种对内存模块的读写机制,并以循环神经网络作为控制器,实现了排序、复制等算法。为了在更广泛的应用(例如自然语言处理)中缩短训练时间或加快收敛速度,我们在神经图灵机的基础上设计了一种基于全局内存的读写机制,利用卷积运算提取全局内存特征。对于一些较长的序列任务,训练速度相对于神经图灵机提高了6倍,收敛速度也有所提升,在bAbi数据集中取得了更好的推理分类结果。

引入外部记忆的循环神经网络的口语理解

循环神经网络(RNN)越来越在口语理解(Spoken Language Understanding,SLU)任务中显示出优势。然而,由于梯度消失和梯度爆炸问题,简单循环神经网络的存储容量受到限制。提出一种使用外部存储器来提高记忆能力的循环神经网络。并在ATIS数据集上进行了实验,并与其他公开报道的模型进行比较。结果说明,在口语理解任务上,提出的引入外部记忆的循环神经网络在准确性、召回率和F1值都有较明显提高,优于传统循环神经网络及其变体结构。

深度记忆网络研究进展

近年来,随着深度神经网络的快速发展,它在越来越多的领域中有了广泛的应用.深度神经网络模型在处理有序列依赖关系的预测问题时,需要利用之前学习到的信息进行记忆.在一般的神经网络模型中,数据经过多个神经元节点传输会损失很多关键的信息,因此需要具有记忆能力的神经网络模型,我们把它们统称为记忆网络.本文首先介绍了记忆网络的基础模型,包括循环神经网络(RNN)、长短期记忆神经网络(LSTM)、神经图灵机(NTM)、记忆神经网络(MN)和变送器(Transformer).其中,RNN和LSTM是通过隐单元对前一时刻信息的处理来记忆信息,NTM和NM是通过使用外部存储器来进行记忆,而变送器使用注意力机制来选择性记忆.本文对这些模型进了对比,并分析了各个记忆方法的问题和不足.然后根据基础模型的不同,本文对常见的记忆网络模型进行了系统的阐述、分类和总结,包括其模型结构和算法.接着介绍了记忆网络在不同领域和场景下的应用,最后对记忆网络的未来研究方向进行了展望.

基于改进深度学习模型C-NTM的脑电鲁棒特征学习

为了在脑电信号鲁棒特征学习中提取更多脑电抽象和深层特征,本文在卷积长短时记忆网络的基础上提出一种深度学习混合网络。采用快速傅里叶变换将多通道的脑电信号转换为一系列具有空域、时域、频域相关信息的频谱图;将改进的卷积神经网络和神经图灵机组合搭建完成深度学习混合模型卷积神经图灵机C-NTM;通过认知工作负载脑电的分类任务对改进的模型进行评估。实验结果表明:本文所提模型在相应的数据库上取得了94.5%的准确率,优于目前在脑电分类任务中效果最好的模型。该模型能够有效地学习不同受试者之间和同一受试者不同状态时的脑电特征,实现更好的脑电鲁棒特征学习。