基于层级注意力机制的链接预测模型研究

为了解决已有图注意力机制在进行链接预测相关任务时,容易造成注意力分配向某些出现频率高的关系倾斜的问题,提出了一种基于层级注意力机制的链接预测模型。在链接预测任务中,通过设计分层注意力机制,根据预测任务中的关系对知识图谱中与给定实体相连的不同类型的关系给予不同的注意力。在关注多跳邻居实体特征的同时,更关注关系特征以找到符合目标关系的关系类型。在多个基准数据集上与主流模型进行对比实验,实验结果表明,所提模型性能优于主流模型,并具有较好的稳健性。

基于层级注意力机制与双向长短期记忆神经网络的智能合约自动分类模型

针对区块链平台上智能合约应用种类繁多,人工筛选合适的智能合约应用服务日益困难的问题,提出一种基于层级注意力机制与双向长短期记忆(Bi-LSTM)神经网络的智能合约自动分类模型——HANN-SCA。首先,利用Bi-LSTM网络从智能合约源代码和账户信息两个角度同时建模,最大限度地提取智能合约的特征信息。其中源代码角度关注智能合约中的代码语义特征,账户信息角度关注智能合约的账户特征。然后,在特征学习过程中从词层面和句层面分别引入注意力机制,重点捕获对智能合约分类有重要意义的单词和句子。最后,拼接代码特征与账户特征以生成智能合约文档级特征表示,通过Softmax层完成分类任务。实验结果表明,所提模型在Dataset-E、Dataset-N和Dataset-EO数据集上的分类正确率分别达到了93.1%、91.7%和92.1%,效果明显优于传统的支持向量机模型(SVM)和其他神经网络基准模型,且具有更好的稳定性与更高的收敛速度。

利用层级交互注意力的文本摘要方法

基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用。在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能。然而现有的模型在解码时仅利用编码器最后一层信息,而忽略编码器其余层的特征。鉴于此,提出一种基于多层循环神经网络和层级交互注意力机制的摘要生成模型,通过层级交互注意力提取编码器不同层次的特征信息来指导摘要的生成。为了处理因引入不同层次特征而带来的信息冗余问题,引入变分信息瓶颈压缩数据噪声。最后在Gigaword和DUC2004摘要数据集上进行实验,结果表明所提方法能够获得最佳性能。