基于Siren函数改进的循环神经网络机器阅读理解

由于现有的循环神经网络存在着梯度消失与梯度爆炸的问题,会影响模型精度。为提升机器阅读理解模型的效率,采用了一种新型正弦激活函数Siren函数,结合注意力机制对循环神经网络进行改进。使用循环神经网络对文本数据进行特征提取,同时引入注意力机制,可以进一步抓住文本中的重点信息。经由Siren激活函数层对神经网络的输出进行处理后,传递至Softmax层与全连接层返回问题所需答案。采用该网络所实现的机器阅读理解模型,相较于原有的模型在精准度上有大幅度提升。实验数据采用SQuAD英文问答数据集,在对比实验中,相较于仅使用注意力机制的RNN版DrQA模型,EM指数提升了6.1,F1指数提升了5.9,同时Siren函数也在与其他激活函数的对比实验中均取得了较好的效果。