融合结构与属性注意力机制的实体对齐

在实现不同来源的图谱数据融合过程中,实体对齐是关键的步骤,其目的在于确定不同图谱间等价的实体对.现有实体对齐方法大多基于图嵌入方式,通过考虑图谱的结构和属性信息进行对齐,但并未很好处理二者之间的交互关系,同时忽略对关系及多阶邻居信息的利用.为解决上述问题,提出一种融合结构与属性注意力机制模型(fused structural and attribute attention mechanism model,FSAAM)的实体对齐方法.该模型首先根据图谱数据特征划分为属性和结构通道数据,其次使用属性注意力机制实现对属性信息的学习,在实现对结构信息的学习中增加对关系信息的学习,利用图注意力机制寻找对于实体对齐有益的邻居特征,引入Transformer编码器更好的关联实体之间的信息,并通过Highway网络减少可能学习到噪声信息的影响,最后对学习到的结构通道和属性通道信息的相似度矩阵利用LS-SVM网络,得到集成相似度矩阵从而实现实体对齐.所提模型在公开数据集DBP15K的3个子数据集上进行验证.实验结果表明,相较于基线模型中效果最好的结果,其Hits@1分别提高了2.7%,4.3%和1.7%,且Hits@10和MRR也均有提升,表明本模型能够有效提高实体对齐的准确性.

一种跨层连接的循环神经网络门结构设计

针对循环神经网络(RNN)结构在深层网络中收敛较慢和训练效果较差的问题,分析了长短期记忆(LSTM)和Highway网络的门结构特征,提出了一种将层间信息进行跨层连接的门结构单元(CIGU)。结合循环神经网络时间扩展的特点,通过设计层间门结构,使CIGU模型在空间上反向梯度下降时能够像LSTM在时间上传播一样具有长短期记忆能力,从而加强循环神经网络在空间上的深度学习能力。将设计的结构应用到LSTM中,并通过PTB语言数据集对不同的门结构进行训练和测试。结果表明:随着模型层数的加深,CIGU的训练收敛速度和测试结果比传统LSTM和基于Highway网络结构的LSTM显著提高。

基于多级别特征感知网络的中文命名实体识别

当前中文命名实体识别方法仅采用字级别或词级别特征方法进行识别,不能兼顾字和词级别的优点,难以获取足够的字形或者词义信息。针对此问题,该文提出一种基于多级别特征感知网络的中文命名实体识别方法。首先提出一种双通道门控卷积神经网络,通过感知字级别特征,在减少了未登录词的同时,也表示了字的字形信息。同时,为了获取词语的词义信息,该文在词级别的特征中嵌入对应位置信息。为了赋予实体更多的权重,该文利用自注意力机制感知带有位置信息的词级别特征。进一步,将上述得到的字级别和词级别信息融合,全面表示句子的语义信息。由于采用字词结合的方法容易产生冗余信息,该文设计一种门控机制的Highway网络,来过滤冗余信息,减少冗余信息对命名实体识别的影响,再结合条件随机场学习到句子中的约束条件实现中文命名实体的识别。实验结果表明,该文所提出的方法总体上优于目前主流的中文命名实体识别方法。

基于注意力机制的CRNN文本分类算法

为增强文本特征的表达能力,提出一种基于注意力机制(Attention)的卷积循环神经网络(CRNN)的文本分类算法。把预训练好的词向量作为输入,使用卷积神经网络(CNN)提取文本向量的特征;利用双向门控循环单元(BiGRU)捕获文本中的词序信息,提取文本的上下文依赖关系并结合Attention机制识别不同特征的重要性;使用Highway网络进行特征优化。将该模型在20Newsgroups、SST-1和SST-2这3个英文语料上进行实验,实验结果表明,该模型有效提高了分类任务的准确率。

基于多任务和迁移学习的中文医学文献实体识别研究

【目的】利用迁移学习和多任务学习解决中文医学文献实体识别冷启动和边界定位难的问题,进一步提高识别准确性。【方法】提出一种基于迁移学习和多任务学习的中文医学文献实体识别方法,构建混合深度学习BERT-BiLSTM-IDCNN-CRF的医学文献实体识别模型,通过实例迁移、模型迁移和特征迁移丰富医学语义特征,利用多任务学习构建粗粒度三分类任务以辅助实体识别任务有效利用实体边界信息,最后引入自注意力机制和Highway网络捕获全局重要信息并优化深层网络训练,提出TLMT-BBIC-HS模型。【结果】TLMT-BBIC-HS模型在中文糖尿病医学文献数据集上F1值达92.98%,较基准模型BERT-BiLSTM-CRF和BERT-IDCNN-CRF分别提高15.99个百分点和16.44个百分点。【局限】未验证模型的领域适应性。【结论】TLMT-BBIC-HS模型可实现医学知识的迁移共享,更适用于中文医学文献实体识别任务,可为医疗健康信息抽取、知识图谱和问答系统构建提供有效支持。

基于改进的TextCNN模型的中文文本分类系统

随着互联网的快速发展,网络上的信息呈现出爆炸式的增长。面对这些海量的信息数据,如何进行快速的文本分类就显得非常的重要。为了实现文本的快速分类,针对多文本分类的问题提出并设计了一种基于改进的TextCNN模型的中文文本分类模型,即Bert-TextCNN-Highway模型。基于此模型,在明确了相应系统需求的基础上,对系统的设计与实现进行了介绍。在系统的设计和实现中,主要采用了写前端界面和中间数据传输的相关技术,并利用Boostrap框架进行前端页面的编写和Django框架对前后端数据传输的编写。通过该系统,可以快速有效地进行中文文本分类。