基于双向编解码器的乌英机器翻译

对乌尔都语到英语的机器翻译进行研究,提出一种基于双向编解码器的乌英机器翻译模型。利用语言模型嵌入(embedding from language models,ELMo)方法进行语料的预训练,缓解双语平行语料稀缺以及词汇表受限所导致的翻译正确率不佳的问题;采用双向编解码机制,避免翻译过程中方向性倾斜的问题,提高翻译效果。实验在少量平行语料库的基础上,对所提模型与传统的乌英机器翻译模型进行对比,实验结果表明,该模型较传统模型在双语评估替补(bilingual evaluation understudy,BLEU)评分上提升了2.42,最终该模型的BLEU评分为9.27。

结合BERT和卷积双向简单循环网络的文本情感分析

针对传统预训练模型无法解决多义词表征问题和抽取的情感特征能力不足等问题,提出一种结合BERT和卷积双向简单循环网络的文本情感分类模型。用BERT预训练得到融合句子语境的动态词向量;用多粒度卷积神经网络对词向量特征进行二次抽取,池化后注入局部响应归一化层LRN来归一化特征图,以生成句子整体特征表示;利用双向简单循环单元进一步学习上下文语义信息;使用Softmax回归得出文本的情感倾向。实验结果表明,结合BERT和卷积双向简单循环网络的文本情感分类模型能获得更高的准确率,注入的LRN层和并行化循环网络有效提高模型性能,具有较好的实用价值。

结合BERT和BiSRU-AT的中文文本情感分类

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT-BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元(BiSRU)二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。

基于三阶段生成网络的图像修复

基于深度学习的图像修复研究重点之一是色彩、边缘和纹理的生成,然而,已有研究对色彩、边缘和纹理生成方法还可优化.因此,文中提出三阶段生成网络,每个阶段分别侧重于对色彩、边缘和纹理的合成.具体而言,在HSV色彩生成阶段,可在HSV色彩域中重建图像的全局色彩,为修复过程提供色彩指导.在边缘优化阶段,设计边缘学习框架,可获取更准确的边缘信息.在纹理合成阶段,构建特征双向融合解码器,增强图像的纹理细节.上述三个阶段依次衔接,每个阶段均可提升图像修复性能.大量实验表明文中网络性能较优.

基于BERT-BiGRU模型的文本分类研究

文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。