基于Dropout正则化的汉语框架语义角色识别

汉语框架语义角色识别是汉语框架语义分析的重要任务之一。该文基于汉语词语、词性等特征的分布式表示,使用一种多特征融合的神经网络结构来构建汉语框架语义角色识别模型。鉴于可用的训练语料规模有限,该文采用了Dropout正则化技术来改进神经网络的训练过程。实验结果表明,Dropout正则化的加入有效地缓解了模型的过拟合现象,使得模型的F值有了近7%的提高。该文进一步优化了学习率以及分布式表示的初始值,最终的汉语框架语义角色识别的F值达到70.54%,较原有的最优结果提升2%左右。

基于稳健设计的双向长短期记忆神经网络模型的调优方法

双向长短期记忆神经网络模型在自然语言处理中广泛使用,但其调优问题是使用中的难点.本文以自然语言处理中的语义角色识别任务为例,在双向长短期记忆神经网络模型的调优中,将4个候选特征(词、词性、目标词和位置)和2个超参数(网络的层数和是否在顶层添加CRF分类器)看作稳健设计中的因子,设置各因子的水平,进行实验来选择特征和超参数的最优配置组合.本文在小数据集(6692条带有语义角色标注信息的例句)上以3×2交叉验证来做完全实验,以稳健设计的望大特性信噪比为优化目标,选出了模型的最优配置组合,并采用因子的方差分析,定量分析了各因子对模型性能的影响,使得模型有一定的可解释性.为了验证本文选出的最优配置组合的优良性,采用传统方法,在大数据集(约4万条例句)上以自然语言处理中常用的标准切分8:1:1,基于传统的贪心策略调优方法选出最优配置组合,并与本文方法在测试集进行比较,验证了本文的调优方法优于传统的调优方法.