一种改进的GloVe词向量表示学习方法

GloVe模型是一种广泛使用的词向量表示学习的模型。许多研究发现,学习得到的词向量维数越大,性能越好;但维数越大,模型学习耗时越长。事实上,GloVe模型中,耗时主要表现在两方面,一是统计词对共现矩阵,二是训练学习词向量表示。该文在利用GloVe模型统计语料中词对共现时,基于对称或非对称窗口得到两个共现矩阵,然后分别学习得到较低维度的词向量表示,再拼接得到较高维度的词向量表示。从计算的复杂度来看,该文方法并不会产生多的计算量,但显然统计共现矩阵和训练学习可通过并行方式实现,能够显著提高计算效率。在使用大规模语料的实验中,以对称和非对称窗口分别统计得到共现矩阵,分别学习得到300维词向量表示,再使用拼接方式得到600维词向量表示。与GloVe模型对称和非对称的600维的词向量相比,在中文和英文的词语推断任务上,显著地提高了预测的准确率,在词语聚类任务上,有较好的聚类效果,验证了该文方法的有效性。

基于深度学习的实体关系抽取方法研究

常用的神经网络,如卷积神经网络(CNN)和循环神经网络(RNN),在关系抽取任务中都表现出了很不错的效果。然而,卷积神经网络擅长捕获局部特征,但不太适合处理序列特征;传统的循环神经网络虽然可以有效提取长距离词之间的特征,但容易出现梯度消失或梯度爆炸问题。针对这些问题,提出了一种结合BiLSTM-CNN-Attention的混合神经网络模型。BiLSTM和CNN的结合使它们优劣互补,而Attention的引入能够突出实体间关系词在整个句子中的重要性。并且,在词嵌入层使用拼接词向量,克服了词向量单一表示的问题。实验结果表明,相比word2vec词向量,拼接词向量能够获取语义更丰富的词向量,使词向量的健壮性更强。与BiLSTM-CNN、CNN-Attention和BiLSTM-Attention模型相比,BiLSTM-CNN-Attention混合模型的准确率和F1值都有所提升。