基于有序神经元LSTM的短文本相似性检测

针对自然语言处理中短文本相似度问题,提出一种基于有序神经元长短期记忆神经网络(Ordered Neurons-Long Short Term Memory,ON-LSTM)的短文本相似度匹配方法。将神经元经过特定排序使层级结构融入到LSTM中,自动学习到层级结构信息,更好地表示文本深层次语义信息,并通过Independent Component(IC)层加快收敛速度,结合整体语义信息表示来计算语义相似度。在数据集上进行多组实验表明,该模型取得81.05%的准确率,有效提升短文本相似的准确率,且收敛速度更快,在一定程度上提高文本语义分析能力。

结合BERT和BiSRU-AT的中文文本情感分类

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT-BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元(BiSRU)二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。

结合BERT和卷积双向简单循环网络的文本情感分析

针对传统预训练模型无法解决多义词表征问题和抽取的情感特征能力不足等问题,提出一种结合BERT和卷积双向简单循环网络的文本情感分类模型。用BERT预训练得到融合句子语境的动态词向量;用多粒度卷积神经网络对词向量特征进行二次抽取,池化后注入局部响应归一化层LRN来归一化特征图,以生成句子整体特征表示;利用双向简单循环单元进一步学习上下文语义信息;使用Softmax回归得出文本的情感倾向。实验结果表明,结合BERT和卷积双向简单循环网络的文本情感分类模型能获得更高的准确率,注入的LRN层和并行化循环网络有效提高模型性能,具有较好的实用价值。