基于词向量的微博事件追踪方法

微博文本长度短,且网络新词层出不穷,使得传统方法在微博事件追踪中效果不够理想。针对该问题,提出一种基于词向量的微博事件追踪方法。词向量不仅可以计算词语之间的语义相似度,而且能够提高微博间语义相似度计算的准确率。该方法首先使用Skip-gram模型在大规模数据集上训练得到词向量;然后通过提取关键词建立初始事件和微博表示模型;最后利用词向量计算微博和初始事件之间的语义相似度,并依据设定阈值进行判决,完成事件追踪。实验结果表明,相比传统方法,该方法能够充分利用词向量引入的语义信息,有效提高微博事件追踪的性能。

基于Biterm主题模型的无监督微博情感倾向性分析

基于传统主题模型的无监督情感倾向性分析方法不能较好地解决微博语料特征稀疏的问题。为此,提出一种新的无监督微博情感倾向性分析方法。对语料进行预处理并统计语料中的共现词对,利用BTM模型挖掘文档中的隐含主题,通过已有情感词典分析隐含主题的情感分布,并实现整条微博的情感倾向性分析。在NLP&CC2012语料上进行测试,结果表明,该方法能够有效识别微博的情感倾向,平均F1值比传统主题模型方法提高15%。

基于Skip-gram模型的微博情感倾向性分析

为了更好地对微博进行表示,提高微博情感倾向性识别的准确度,提出一种基于Skip-gram模型的微博情感倾向性分析方法。首先,使用Skip-gram模型在中文数据上进行训练得到词向量;然后,利用词向量在词语表示上的优势,以及一定程度上满足加法组合运算的特性,通过向量相加获得微博的向量表示以及正负情感向量;最后,通过计算微博向量和正负情感向量的相似度判断微博的情感倾向。在NLP&CC2012数据上进行实验,结果表明,该方法能够有效识别微博的情感倾向,较传统的JST(Joint Sentiment/Topic model)和ASUM(Aspect and Sentiment Unication Model)平均F1值分别提高了23%和26%。

基于词语对狄利克雷过程的时序摘要

是按照时间顺序生成摘要,对话题的演化发展进行概括.已有的相关研究忽视或者不能准确发现句子中隐含的子话题信息.针对该问题,本文建立了一种新的主题模型,即词语对狄利克雷过程,并提出了一种基于该模型的时序摘要生成方法.首先通过模型推理得到句子的子话题分布;然后利用该分布计算句子的相关度和新颖度;最后按时间顺序抽取与话题相关且新颖度高的句子组成时序摘要.实验结果表明,本文方法较目前的代表性研究方法生成了更高质量的时序摘要.

基于分层狄利克雷过程模型的文本分割

文本分割在文本摘要、信息检索等诸多领域都有重要的应用。主题模型是该领域研究中的重要方法,但目前基于主题模型的方法普遍依赖于主题个数的人工设置。针对此问题,本文提出了一种基于分层狄利克雷过程(Hierarchical Dirichlet process,HDP)模型的文本分割方法。首先使用HDP模型获取文本在主题空间的向量表示,然后将主题向量用于C99分割算法实现文本分割,最后使用两种优化策略对结果进行优化。实验结果表明,基于HDP模型的方法能够摆脱对人工设置主题个数的依赖,有效提高了文本分割的性能。

一种改进的短文本层次聚类算法

互联网上存在着海量蕴含丰富信息的短文本数据,由于短文本存在特征稀疏、用语不规范的特点,使用传统的聚类算法效果较差。提出了一种使用词向量表示特征并结合关键词提取的短文本聚类算法:定义特征权重计算公式,计算类簇中特征的权重,得到类簇的关键词;使用Skip-gram模型训练得到的词向量计算关键词之间的语义相似度进而得到类簇的相似度实现聚类。在4个数据集上进行的实验结果表明文章的方法效果优于传统的聚类算法,宏平均较次优结果分别提高了22.3%、24.9%、2.9%和34.4%。

基于多策略的短文本信息流会话抽取

互联网中存在大量的短文本信息流,需要对其进行会话抽取,将相同主题的内容合并到同一会话中。会话中的内容、时间和用户关系都会对会话抽取的性能产生影响,针对该问题提出了一种基于多策略的会话抽取算法。首先,基于内容、时间和用户关系进行会话分割得到会话片段;然后,利用词向量计算内容语义相似度,并结合时间信息计算会话片段间的相关度,对其进行聚类,实现会话抽取。在三个来源于真实聊天记录的数据集上进行实验的结果表明,本方法优于传统方法,综合F值分别提高了38.5%、15.7%和26.8%。

短文本信息流中的用户建模与应用

社交媒体中存在着大量的短文本信息流,包含着丰富的用户信息。针对短文本信息流的特点,提出一种新的用户建模的方法。首先将用户发表的内容进行合并得到用户数据;然后将用户数据分割为固定长度的词链,在分割处添加用户名构造上下文关系;最后结合外部数据,使用Skip-gram模型进行训练得到用户的向量表示。基于用户向量的用户标签推荐和用户聚类方法在真实聊天记录语料进行实验中都取得了优于传统方法的结果。

浅谈如何提高拖拉机驾驶员培训质量

通过对拖拉机驾驶培训学员的一些特点的分析,从教练员教学的角度,就如何改善培训质量,从而提高拖拉机驾驶员综合技能提出了一些看法。