基于GloVe词向量的“技术——应用”发现研究

[目的/意义]本文探讨挖掘技术和应用间的关联关系,便于把握技术的目标应用场景和了解应用需求的可选技术方案,为技术转化提供基础。[方法/过程]首先,建立基于改进GloVe词向量的"技术——应用"发现模型,提出改进词向量的算法;然后,以机器学习技术为例,获取该领域学术论文文摘数据,预处理后建立训练文本集合,再使用改进GloVe模型训练获得词向量;最后,对词向量聚类获得"技术"和"应用"类词汇集,通过共现获得两者之间的关联并分析。[结果/结论]实验结果表明,本文改进GloVe模型后训练的词向量性能获得提升,聚类效果好,最终实现"技术——应用"的关联分析。

基于GloVe模型的词向量改进方法

使用词向量表示方法能够很好的捕捉词语的语法和语义信息,为了能够提高词向量语义信息表示的准确性,本文通过分析GloVe模型共现矩阵的特点,利用分布式假设,提出了一种基于GloVe词向量训练模型的改进方法.该方法主要通过对维基百科统计词频分析,总结出过滤共现矩阵中无关词和噪声词的一般规律,最后给出了词向量在词语类比数据集和词语相关性数据集的评估结果.实验表明,在相同的实验环境中,本文的方法能够有效的缩短词向量的训练时间,并且在词语语义类比实验中准确率得到提高.

一种改进的GloVe词向量表示学习方法

GloVe模型是一种广泛使用的词向量表示学习的模型。许多研究发现,学习得到的词向量维数越大,性能越好;但维数越大,模型学习耗时越长。事实上,GloVe模型中,耗时主要表现在两方面,一是统计词对共现矩阵,二是训练学习词向量表示。该文在利用GloVe模型统计语料中词对共现时,基于对称或非对称窗口得到两个共现矩阵,然后分别学习得到较低维度的词向量表示,再拼接得到较高维度的词向量表示。从计算的复杂度来看,该文方法并不会产生多的计算量,但显然统计共现矩阵和训练学习可通过并行方式实现,能够显著提高计算效率。在使用大规模语料的实验中,以对称和非对称窗口分别统计得到共现矩阵,分别学习得到300维词向量表示,再使用拼接方式得到600维词向量表示。与GloVe模型对称和非对称的600维的词向量相比,在中文和英文的词语推断任务上,显著地提高了预测的准确率,在词语聚类任务上,有较好的聚类效果,验证了该文方法的有效性。

基于文本挖掘的空中危险接近事件致因研究

空中危险接近事件是两机相撞事故的前兆事件,传统的依赖于分析人员知识和简单统计的致因分析模型无法适用于大量空中危险接近事件,因此提出了基于文本挖掘的空中危险接近事件致因研究框架,利用潜在狄利克雷分配模型(Latent Dirichlet Allocation,LDA)提取空中危险接近事件致因主题和关键词,基于全局词向量模型(Global Vectors for Word Representation,GloVe)和关键词共现网络分析各个主题及其关键词之间的潜在关系,充分利用全局统计信息以准确挖掘大量事件报告。结果表明:利用LDA挖掘得到组织因素、现场运行管理和应急管理等6个主题,其中人的因素主题重要度最大;基于GloVe词向量模型分析得到现场运行管理主题与应急管理主题、陆空沟通及配合主题与人的因素主题2组主题存在较强关联;“意识”是空中危险接近事件发生的关键细节。提出的致因研究框架可以帮助安全管理人员准确认识和高效利用空中危险接近事件报告等文本数据,同时基于数据分析有效减少了人为分析的主观性,提高了致因分析的效率,为精准防控空中危险接近事件提供基于数据的科学决策支持。

基于注意力机制和BiGRU融合的文本情感分析

针对简单的神经网络缺乏捕获文本上下文语义和提取文本内重要信息的能力,设计了一种注意力机制和门控单元(GRU)融合的情感分析模型FFA-BiAGRU。首先,对文本进行预处理,通过GloVe进行词向量化,降低向量空间维度;然后,将注意力机制与门控单元的更新门融合以形成混合模型,使其能提取文本特征中的重要信息;最后,通过强制向前注意力机制进一步提取文本特征,再由softmax分类器进行分类。在公开数据集上进行实验,结果证明该算法能有效提高情感分析的性能。

基于预训练语言模型词向量融合的情感分析研究

针对传统情感分类模型的分类效果不足,无法准确地捕捉词语之间关系的问题,提出一种基于预训练语言模型词向量融合的GE-BiLSTM(Glove-ELMO-BiLSTM)情感分析模型。通过预训练语言模型ELMO以语言模型为目的训练词向量,再与传统的Glove模型的训练结果进行运算融合,结合了全局信息以及局部上下文信息,增加了词向量矩阵的稠密度,词语之间的特征得到更好的表达,结合BiLSTM神经网络可以更好地捕捉上下文信息的关系。实验结果证明:GE-BiLSTM情感分析模型可以达到更好的分类效果,准确率比传统模型提高了2.3百分点,F1值提升了0.024。

结合句法依存信息的方面级情感分类

引入句法依存信息到原方面术语,提出一种新的方面术语表示方法,利用Glove词向量表示单词以及单词与单词之间的依存关系,构造出包含句法依存信息的依存关系邻接矩阵和依存关系表示矩阵,利用图卷积神经网络和多头注意力机制将句法依存信息融入到方面术语中,使得方面术语表达与上下文结构高度相关。将改进后的方面词术语表示替换到现有模型后,模型泛化能力得到有效提升。对比试验和分析结果表明:该方法具有有效性和泛化性。

基于点互信息的全局词向量模型

提出了一种基于点互信息的全局词向量训练模型。该模型为了避免GloVe词向量模型中使用条件概率刻画词语关系时所产生的缺点,使用了另一种相关信息--联合概率与边际概率乘积的比值--来刻画词语间的关系。为了验证模型的有效性,在相同条件下,利用GloVe模型和我们的模型训练词向量,然后使用这2种词向量分别进行了word analogy以及similarity的实验。实验表明,模型的准确率在word analogy的Semantic问题中比GloVe模型表现更好,分别在100维、200维、300维的词向量实验中,准确率提升了10.50%、4.43%、1.02%,而在similarity的实验中,模型准确率提升也达5%~6%。结果表明,模型可以更有效地捕捉词语的语义。