基于Att-CBOW模型的术语标准扩充方法

针对传统CBOW模型存在维度灾难、同义词识别率低的问题,提出了一种基于词嵌入和注意力机制的改进模型——Att-CBOW模型,该模型能够更好地捕捉文本中词语之间的语义关系,并提高同义词的辨识度。设计了相关实验,将传统CBOW模型、Skip-Gram模型和Att-CBOW模型应用于某领域文本和现有术语标准中的同义词识别任务,实验结果显示,相较于CBOW模型与Skip-Gram模型,Att-CBOW模型的同义词查出率分别提升8.51%以及18.09%。

基于改进的CBOW与BI-LSTM-ATT的文本分类研究

特征词的选取与文本表示是文本分类信息预处理的核心问题之一,鉴于此,论文提出一种改进的加权连续词袋模型(CBOW)与基于注意力机制的双向长短期记忆网络模型(BI-LASM-ATT)应用于文本分类研究。该模型以词频作为特征选择依据,改进了频次与反频次,利用加权CBOW模型得到词向量表示,作为BI-LSTM-ATT模型的词嵌入层,得到Soft⁃max分类器分类结果。论文在复旦大学提供的语料集的实验结果表明,该模型在文本分类的精确率、召回率、F_meature效果对比中,比传统机器学习和深度学习算法均有明显提高。

基于POS-CBOW语言模型的相似词分析

相似词分析是自然语言处理领域的研究热点之一,在文本分类、机器翻译和信息推荐等领域中具有重要的研究价值和应用意义。针对新浪微博短文本的特点,给出一种带词性的连续词袋模型(POS-CBOW)。该模型在连续词袋模型的基础上加入过滤层和词性标注层,对空间词向量进行优化和词性标注,通过空间词向量的余弦相似度和词性相似度来判别词向量的相似性,并利用统计分析模型筛选出最优相似词集合。实验表明,基于POS-CBOW语言模型的相似词分析算法优于传统CBOW语言模型。

基于CBOW模型的链路预测方法

为了有效、准确地挖掘节点自身的属性与网络结构的关系信息并将其联合应用于链路预测,受概率语言检索研究的启发,提出基于CBOW模型的链路预测方法.通过使用包含节点邻居信息和网络连通信息的节点序列库训练CBOW模型产生节点向量,结合节点向量自身属性和节点对之间的趋向程度提出一种新的相似性评价指标—向量自量趋向性(SMTV),使用此相似性指标进行网络链路预测.在PPI-Yeast、Facebook和Power Grid三个真实数据集上进行实验,分别对比CN,AA,LP和Node2vec-Hadamard四种方法的AUC值,CBOW-SMTV相比其中AUC最低的方法,分别有5.3109%、14.4955%、41.9747%的提高;相比AUC最高的方法也有0.2497%、0.6921%、9.5714%的提高.因此基于CBOW-SMTV的链路预测方法能有效结合节点属性和网络结构信息,提高链路预测有效性.

中文微博情感分析模型SR-CBOW

中文微博情感分析旨在挖掘文本中用户所要表达的观点及情感倾向,被应用于政治、商业等诸多领域.考虑到微博数据的口语化和不规范性等特点以及中文标注数据相对匮乏的现状,对词向量训练模型CBOW进行拓展,提出情感分析模型SR-CBOW.首先利用基于语义相似度的数据平衡方法来均衡数据集;然后采用否定扩散的手段,协助模型对包含否定词的微博进行情感转移;最后模型利用大量无标注的微博语料进行无监督的词向量训练;同时对构建的微博的向量表示进行情感分类.在细粒度的情绪识别和粗粒度的情感倾向性分析中,都取得了较好的结果,较于NLP&CC2013情绪识别评测任务中最好的结果,其微平均F值提高了14.9%.

基于改进的CBOW与ABiGRU的文本分类研究

文本的表示与文本的特征提取是文本分类需要解决的核心问题,基于此,提出了基于改进的连续词袋模型(CBOW)与ABiGRU的文本分类模型。该分类模型把改进的CBOW模型所训练的词向量作为词嵌入层,然后经过卷积神经网络的卷积层和池化层,以及结合了注意力(Attention)机制的双向门限循环单元(BiGRU)神经网络充分提取了文本的特征。将文本特征向量输入到softmax分类器进行分类。在三个语料集中进行的文本分类实验结果表明,相较于其他文本分类算法,提出的方法有更优越的性能。

基于CBOW-LDA主题模型的Stack Overflow编程网站热点主题发现研究

Stack Overflow是一个热门的国外编程问答网站,通过对该网站编程提问帖的问题文本进行文本语义挖掘,能获析用户关注的编程热点。由于研究对象所代表的短文本信息具有高维性及分布不均的特点,易导致主题获取不明晰。文中提出一种基于LDA(Latent Dirichlet Allocation)主题模型的CBOW-LDA建模方法,该方法对目标语料进行相似词聚类后再完成主题建模,能有效降低文本输入维度,使主题分布更明确。采集Stack Overflow网站上2010-2015年的问题帖数据集POST,并对其进行实验,同等主题数下采用文本建模中衡量模型性能的评价指标困惑度(Perplexity)来度量算法在不同数据集容量维度下的性能。结果表明,与现有的基于词频权重的词量化主题建模TFLDA方法相比,CBOW-LDA方法的困惑度更低,在实验语料下的困惑度降低约4.87%,证明了所提算法的性能更好。采用CBOW-LDA方法对Stack Overflow进行热点挖掘,同时使用TF-LDA方法进行对比实验,建立手工标注的标准评测集对两种方法获取的热门主题和热搜词汇进行查全率、查准率及F1值的判定,结果证实CBOW-LDA表现更佳,其热点挖掘效果较好。由实验结果可知,Java为该编程网站提问帖中最热门的主题,而C和Javascript则为该网站用户提问中被提及得最频繁的词汇。

改进的CBOW情感信息获取研究

大数据时代,文本的情感倾向对于文本潜在价值挖掘具有重要意义,然而人工方法很难有效挖掘网络上评论文本的潜在价值,随着计算机技术的快速发展,这一问题得到了有效解决。在文本情感分析中,获取词语的情感信息对于情感分析至关重要,词向量方法一般仅对词语的语法语义进行建模,但是忽略了词语的情感信息,无法更好地进行情感分析。通过TF-IDF算法模型获得赋权矩阵,构建停用词表,同时根据赋权矩阵生成Huffman树作为改进的CBOW算法的输入,引入情感词典生成情感标签辅助词向量生成,使词向量具有情感信息。实验结果表明,提出的方法对评论文本中获得的词向量能够较好地表达情感信息,情感分类结果优于传统模型。因此,该模型在评论文本情感分析中可以有效提升文本情感分类效果。

采用连续词袋模型(CBOW)的领域术语自动抽取研究

【目的】更准确便捷地完成术语词汇的自动抽取。【方法】利用CBOW模型计算构成术语的各个词部件的向量空间模型。通过词向量之间的余弦相似度衡量术语词汇内部各个词部件的关联度。利用Page Rank算法计算候选词汇的领域代表性并排序,通过阈值的设定,抽取出更为具有领域代表性的术语词汇。【结果】在以自然语言处理领域内的论文摘要作为数据集的实验中取得较高的准确率和召回率。【局限】测试的数据训练集偏小,而数据集的训练效果直接影响实验的效果。【结论】实验结果表明利用CBOW模型完成术语的抽取工作是一个较为合理、可行的方法。

一种Word2vec构建词向量模型的实现方法

Word2vec是一种基于简单神经网络的自然语言处理方法,是一种词嵌入技术,可用于构建高维词向量。研究针对Word2vec词向量表示方法进行模型构建和分析,通过NLPCC2014语料训练,将词映射到高维词向量空间中,完成了Word2vec的功能实现以及可视化输出。实验中进一步针对CBOW模型与Skip-gram模型,这两种Word2vec中的重要模型进行对比研究,输出结果表明:在通过大语料训练中文词向量时,Skip-gram模型在新词识别上具有明显优势,综合模型准确性与时间性能来说,总体可靠性更优。

基于Scratch作品相似度的检测研究

Scratch作为图形化编程中的热门课程吸引了广大中小学生,而对于学生所做的作品与标准作品之间差异性的评定通常是靠教师通过人工对比检查,对于教师不仅工作量大且耗费巨大精力,因此对于Scratch作品相似性的识别就可以辅助教师快速检测学生作品,从而提高教学效率。针对该问题,提出Siamese-BERT模型对两个Scratch作品之间的相似度进行检测。首先,对Scratch源文件进行解析提取原始积木块序列,根据积木块逻辑特征提出一种积木块重构算法,将原始积木块序列排序成Token序列,将Token序列作为CBOW(Continuous Bag of Words)模型的输入文本进行预训练,从而得到Scratch的词向量模型;再使用Siamese神经网络框架结合BERT(Bidirectional Encoder Representation from Transformers)模型组合训练,最终输入到余弦相似度函数进行相似度计算。数据集来自于长沙市Scratch培训机构的培训作品和学生的练习作品,在该数据集上,Siamese-BERT模型准确度能达到0.82,对比其它的文本相似度模型,Siamese-BERT模型在Scratch作品相似度检测上更加准确。

基于BLSTM-CRF中文领域命名实体识别框架设计

为在不依赖特征工程的情况下提高中文领域命名实体识别性能,构建了BLSTM-CRF神经网络模型。首先利用CBOW模型对1998年1月至6月人民日报语料进行负采样递归训练,生成低维度稠密字向量表,以供查询需要;然后基于Boson命名实体语料,查询字向量表形成字向量,并利用Jieba分词获取语料中字的信息特征向量;最后组合字向量和字信息特征向量,输入到BLSTM-CRF深层神经网络中。实验结果证明,该模型面向中文领域命名实体能够较好的进行识别,F1值达到91.86%。

改进词向量和kNN的中文文本分类算法

为提高中文文本分类的效率和准确率,针对汉字象形字的特点和数据量剧增的大数据背景,建立基于深度学习的中文文本分类算法。首先根据汉字子字符(字形、偏旁、笔画等)象形字即形状自带含义的特点,建立基于子字符和上下文特征的双通道CBOW模型实现中文文本向量化;其次基于大数据的背景,针对传统的kNN算法分类速度慢的缺点,提出一种基于LSC聚类和多目标数据筛选的快速kNN分类算法;最后运用快速kNN算法对文本数据转化的特征词向量数据进行分类。实验结果表明,改进后的中文文本分类算法增加了算法的使用范围,能够更精确地处理中文文本数据,更快地处理大数据问题,在分类速率和效果上都有一定程度的提升。

基于统计语言模型改进的Word2Vec优化策略研究

该文从训练词向量的语言模型入手,研究了经典skip-gram、CBOW语言模型训练出的词向量的优缺点,引入TFIDF文本关键词计算法,提出了一种基于关键词改进的语言模型。研究发现,经典skip-gram、CBOW语言模型只考虑到词本身与其上下文的联系,而改进的语言模型通过文本关键词建立了词本身与整个文本之间的联系,在词向量训练结果的查准率和相似度方面,改进模型训练出的词向量较skip-gram、CBOW语言模型有一个小幅度的提升。通过基于维基百科1.5GB中文语料的词向量训练实验对比后发现,使用CBOW-TFIDF模型训练出的词向量在相似词测试任务中结果最佳;把改进的词向量应用到情感倾向性分析任务中,正向评价的精确率和F1值分别提高了4.79%、4.92%,因此基于统计语言模型改进的词向量,对于情感倾向性分析等以词向量为基础的应用研究工作有较为重要的实践意义。

基于元路径加权融合的异构网络相似性度量

针对PathSim算法只能度量异构网络同类节点和预设元路径的问题,提出可度量任意类型节点的加权融合元路径的相似性度量算法Multi-WPathSim。基于随机游走与CBOW模型进行元路径的表示学习,获得路径集合及权重,在元路径融合算法的基础上进行相似性度量,解决PathSim算法需要预设元路径的不足,通过双向游走克服PathSim算法只能度量同类节点相似性的局限性。在真实数据集中进行Top-K查询、相似性度量和聚类实验对比,Multi-WPathSim算法在对称和非对称元路径上,相似度准确率和聚类精度都有明显提升。

基于双向LSTM的动态情感词典构建方法研究

文本情感分析最基础且最关键的一个环节就是构建一个高质量情感词典.为克服传统的情感词典中词汇所表达出的情感倾向不变性等问题的不足,本文基于三层神经网络结构构建动态情感词典.第一层通过改进的CBOW神经网络提取含有情感信息的特征;第二层通过双向LSTM神经网络,利用二叉语义依存结构模型提取出二叉语义依存路径特征;第三层在前两层获得的情感特征和语义特征基础上,将中心词信息和词汇到中心词的距离两个特征一起组成当前词的特征,然后,对双向LSTM神经网络进行情感词分类训练,从而得到动态情感词典.使用动态情感词典进行初级扩展也可以得到更大的静态情感词典.实验结果表明使用该动态情感词典进行微博情感分析可以有效地提高分类精度.

Word2vec的核心架构及其应用

神经网络概率语言模型是一种新兴的自然语言处理算法,该模型通过学习训练语料获得词向量和概率密度函数,词向量是多维实数向量,向量中包含了自然语言中的语义和语法关系,词向量之间余弦距离的大小代表了词语之间关系的远近,词向量的加减代数运算则是计算机在"遣词造句".近年来,神经网络概率语言模型发展迅速,Word2vec是最新技术理论的合集.首先,重点介绍Word2vec的核心架构CBOW及Skip-gram;接着,使用英文语料训练Word2vec模型,对比两种架构的异同;最后,探讨了Word2vec模型在中文语料处理中的应用.

基于深度学习和CRFs的产品评论观点抽取方法

[目的/意义]产品评论观点抽取任务是细粒度评论挖掘的核心任务,其面临的主要挑战是如何自动抽取评论文本中由评价对象、程度词、观点词构成的三元组。[方法/过程]针对条件随机场(CRFs)模型需要人工构造语言学特征的缺陷,提出一种基于深度学习和CRFs的产品评论抽取方法,该方法首先在连续词袋模型(CBOW)获得词向量基础上,利用双向长短期记忆神经网络(BLSTM RNN)自动学习评论语句的文本特征,再以CRFs层进行解码标注,进而识别出三元组。[结果/结论]为验证方法的有效性,针对从京东商城等电商平台上抓取的手机和酒店评论集,人工标注部分评论用于训练模型并进行测试,实验结果表明,该方法在产品评论观点抽取任务上取得了平均F值大于80%的效果。

基于异质信息网络的恶意代码检测

恶意代码对网络安全、信息安全造成了严重威胁。如何快速检测恶意代码,阻止和降低恶意代码产生的危害一直是亟需解决的问题。通过获取恶意应用的动态信息、构造异质信息网络(HIN),提出了描述恶意代码动态特征的方法,实现了恶意代码检测与分类。构建了FILE、API、DLL三类对象的4种元图,刻画了恶意代码HIN的网络模式。经过改进的随机游走策略,尽可能多地获取元图中对象节点的上下文信息,将其作为连续词包(CBOW)模型的输入,从而得到词向量的网络嵌入。通过投票方法改进主角度分析模型,得到多元图特征融合的分类结果。在仅可获得有限信息的情况下,大大提高了基于单元图特征的恶意样本分类准确率。

智能变电站继电保护智能运维系统自动配置技术研究

为提高继电保护智能运维信息采集配置的效率及正确性,提出一种基于知识图谱的智能运维系统信息采集自动配置技术。基于继电保护相关规范建立继电保护装置数据输出端口的标准化模型,依据专家知识按照IED类型建立智能运维系统信息采集点与继电保护装置标准化数据输出端口的关联关系,形成智能运维系统信息采集配置知识图谱本体。结合智能运维系统的历史配置数据进行知识学习,建立智能运维系统信息采集配置知识图谱。基于二次设备数据输出端口地址信息与继电保护装置数据输出端口的标准化模型的相似性计算,自动将二次设备数据输出端口地址匹配到标准信息端口地址实现知识融合,并引入CBOW模型增强语义理解,提高实体相似性算法的精度。实例验证结果表明,基于知识图谱的智能运维系统信息采集自动配置技术可有效提高智能运维系统配置效率,保证配置的正确性。