语言知识驱动的词嵌入向量的可解释性研究

神经网络语言模型应用广泛但可解释性较弱,其可解释性的一个重要而直接的方面表现为词嵌入向量的维度取值和语法语义等语言特征的关联状况。先前的可解释性工作集中于对语料库训得的词向量进行知识注入,以及基于训练和任务的算法性能分析,对词嵌入向量和语言特征之间的关联缺乏直接的验证和探讨。该文应用基于语言知识库的伪语料法,通过控制注入语义特征,并对得到的词嵌入向量进行分析后取得了一些存在性的基础性结论:语义特征可以通过控制注入到词嵌入向量中;注入语义特征的词嵌入向量表现出很强的语义合成性,即上层概念可以由下层概念表示;语义特征的注入在词嵌入向量的所有维度上都有体现。

基于层级嵌入学习的社交策展内容推荐

为对社交策展网站中的用户-采集册-采集条目进行统一建模,提出一种基于层级嵌入学习的社交策展内容推荐方法。基于语言词向量嵌入模型,通过隐性层级嵌入学习和显性层级嵌入学习两种策略,学习得到用户、采集册和采集条目在同一低维嵌入空间的表达。通过该方法获得的嵌入表达较好捕捉了用户与内容之间的关联关系,可以准确匹配需求用户和感兴趣内容,应用到个性化信息推荐问题中。在图像策展网站Pinterest上的实验验证了该方法在采集册推荐和采集条目推荐问题上的有效性。

基于BERT的金融文本情感分析模型

在金融领域,越来越多的投资者选择在互联网平台上发表自己的见解.这些评论文本作为舆情的载体,可以充分反映投资者情绪,影响投资决策和市场走势.情感分析作为自然语言处理(natural language processing,NLP)中重要的分支,为分析海量的金融文本情感类型提供了有效的研究手段.由于特定领域文本的专业性和大标签数据集的不适用性,金融文本的情感分析是对传统情感分析模型的巨大挑战,传统模型在准确率与召回率上表现较差.为了克服这些挑战,针对金融文本的情感分析任务,从词表示模型出发,提出了基于金融领域的全词覆盖与特征增强的BERT(bidirectional encoder representations from Transformers)预处理模型.

双匹配焦点融合的开放域答案选择模型

开放域答案选择模型通过对同一问题的不同候选答案打分,寻找与问题最匹配的答案,是问答(QA)系统的重要组成部分。现有开放域QA系统中的答案选择模型较少关注词级与句子级的融合,导致在匹配关系上缺乏上下文的语义联系,或损失个别单词在语法语义上的细节信息。基于相邻相似原理,提出一种融合双匹配焦点的答案选择模型。根据问答任务多语句关联的特点,设计一种可以将词语的问答承接关系和问答语义关系嵌入进词向量的词嵌入方式,并利用该词向量直接计算词对的余弦相似度,得到词级匹配焦点。通过引入注意力机制的Encoder-Decoder模型提取句子级词对匹配焦点,以问题为基准对齐两个焦点分布矩阵,并使用焦点间的相对距离融合词级与句子级匹配矩阵,获得问题与答案的相关性得分。在Wiki-QA、TREC-QA两个公开问答数据集上的实验结果表明,该模型与多跳注意力模型、层级排序模型相比,平均准确率均值分别提高0.0801和0.0571,平均倒数排名分别提高0.0176和0.0066。

异构并行的DGA域名检测方法

现有的DGA域名检测方式存在检测时间开销大、检测精度不高以及基于单词的DGA域名检测效果不佳等问题。经过研究发现,将域名先按照典型特征分类再进行更细致的特征提取,对于模型的准确率有一定的正向作用,且多类并行可以降低检测时间,此外对于较难检测的基于单词的DGA域名可以进行针对性处理。因此,文中提出了一种基于Word ninja分词技术的三路异构并行的DGA域名检测模型。先将域名分为三类,再针对每一类进行检测模型结构的搭建。对于字符级域名,通过人工提取特征来进行域名的有效分类。对于词根词缀级域名,采用FastTest进行子词之间、字符之间以及上下文之间关系的特征提取,再作为词向量嵌入。对于单词级域名,采用Word2Vec理解和处理词的含义和词之间的关系。最后,将文中方法和当前流行方法、多路异构并行模型和单路模型的检测结果进行比较评估,实验结果证明了提前分类的必要性以及多路并行的有效性。

基于Word2Vec和Bi-GRU的高职线上教评情感分析法试探

为提高高职线上教评情感分析的准确度和效率,提出基于双向门控循环单元(Bi-GRU)网络的教评情感分析法。该方法利用Skip-gram神经网络学习教育领域特定的词嵌入向量,再利用两个相同架构的Bi-GRU网络,从不同角度实现对学生反馈的细粒度分析。实验结果表明,该方法内容分类和情感分类的准确度分别达到97%和95%,显著优于支持向量机(SVM)、长短时记忆网络(LSTM)等其他方法。

基于深度学习的中文影评情感分析

随着社交网络的兴起,更多人选择在网络上发表自己对影视作品的观点,这为影视投资人了解观众对电影的反馈提供了更方便的途径.例如,豆瓣影评中包含了海量用户或积极或消极的情感观点,而分析豆瓣影评的情感倾向能够辅助投资人进行决策,提升作品质量.大量数据分析必须借助计算机技术手段完成,其中情感分析是自然语言处理(natural language processing, NLP)的一个方向,常用来分析判断文本描述的情绪类型,因此也被称为情感倾向分析.为了提高影评情感分类的准确率,设置了多组对比实验来选择最优参数,比较了当以中文字符向量和词向量为输入矩阵时,双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)模型和卷积神经网络(convolutional neural network, CNN)模型对分类准确率的影响.提出了一种以CNN模型为弱分类器的Bagging算法,训练了多个CNN模型,并采用投票法决定最终的分类结果.这种集成的方法减少了单个模型造成的分类偏差,比单一的Bi-LSTM模型的分类准确率提高了5.10%,比单一的CNN模型的分类准确率提高了1.34%.

基于双向循环神经网络的购物评价情感分析

随着电商经济的快速发展,用户的评论对商家的服务质量和产品的改进具有重大意义。用传统词向量搭配神经网络解决文本情感分析准确率不高,未能全面表示文本的情感信息特征的问题,本文中提出了一种基于BERT模型的文本情感分类的解决方案。利用BERT模型特有的自注意力,使用双向编码机制获得具有全局特征的词语表示,通过双向循环神经网络提取情感特征,最后进行情感分类。实验结果表明,通过和传统的方法进行对比,本文所使用的模型能很好地提升情感分类的准确率,获得正确的分类结果。

基于Transformer模型的神经机器翻译改进方法研究

神经机器翻译为加深世界交流做出了巨大贡献,它的发展促进了世界化的发展。研究针对基础的Transformer模型存在的问题,对Transformer模型进行改进,进而提出一种组合式神经机器翻译模型。该模型引入ELMo、Mix-BA以及DMAL,优化了机器翻译对单词的表达形式、多头注意力层之间的联系以及句子中重点单词的关注度。研究利用WMT14ende数据集与IWSLT14de-en数据集进行对比实验,在两种数据集中,组合式神经机器翻译模型的BLEU得分相较于Transformer基线模型分别高出1.07、0.92;在长句翻译中,组合式神经机器翻译模型的BLEU评分达到33.56,并高出LSTM模型5.72。结果表明研究所提出机器翻译模型具有更好的翻译效果,为神经机器翻译的发展提供新的思路。

基于融合CNN与GRU的DGA恶意域名检测方法

针对当前恶意域名生成算法检测中存在着域名信息丢失、编码维度高、特征工程工作量大等问题,本文提出一种融合卷积神经网络和门控循环单元网络的DGA检测深度学习模型。该模型可以有效提取域名信息里隐藏的局部特征和上下文关联性特征,采用word2vec词向量嵌入方式,将域名转化为数据矩阵,获取域名信息,降低了因one-hot编码带来的高维度、计算量大问题。对比CNNLSTM模型减少了一定控制参数,计算速率上有明显提升。经实验验证,对于小样本DGA恶意域名数据集而言,本文方法在二元分类及多元分类上可以获取更好分类效果及更高分类准确率。