基于话题标签的微博舆情热点挖掘系统设计

为在微博舆情信息高速转发时段内实现对热点数据的精准挖掘,文中设计一种基于话题标签的微博舆情热点挖掘系统。首先确定框架体系连接形式,并根据热点信息定义结果建立话题标签模型。以此为基础,对热点信息散列表进行排重处理,完成对微博舆情热点数据的处理。最后,联合采集到的目标信息样本对论坛结构进行分割处理,完成挖掘系统设计。实验结果表明,在话题标签模型作用下,系统主机对于热点数据的挖掘准确率较高,可以在微博舆情信息高速转发时段内实现对热点数据的精准挖掘,满足实际应用需求;与基于机器阅读理解的挖掘系统、基于跨语言神经主题模型的挖掘系统相比,这种新型挖掘系统能够在微博舆情信息高速转发时段内,对热点数据进行精准挖掘,与设计初衷相符合。

基于交互关系的微博用户标签预测

在当今以用户贡献内容为核心的社交网络中,标签成为用户对资源进行标记和分类的重要依据。在新浪微博中,用户可以自由地给自己打上标签以表明自己的兴趣和特征等,用户标签在舆情分析与监测、广告推送和网络营销等应用中起到了非常重要的作用。针对新浪微博中绝大部分用户没有标签或标签较少的问题,提出了基于用户交互行为而产生的交互图的用户标签预测方法。在新浪微博用户量为1.4亿的真实数据集和大数据分析处理平台Hadoop上进行分析发现,本文提出的方法比当前常用的标签预测方法取得了更好的效果。

融合标签关联关系与用户社交关系的微博推荐方法

通过分析微博特点及现有微博推荐算法的缺陷,提出一种融合了标签间关联关系与用户间社交关系的微博推荐方法.采用标签检索策略对未加标签和标签较少的用户进行加标,构建用户-标签矩阵,得到用户标签权重,为了解决该矩阵中稀疏的问题,通过挖掘标签间的关联关系,继而更新用户-标签矩阵.考虑到多用户之间社交关系对挖掘用户兴趣并进行微博推荐的重要性,构建用户-用户社交关系相似度矩阵,并与更新后的用户-标签矩阵进行迭代,得到最终的用户兴趣并进行相关推荐.实验证明了该算法针对微博信息推荐是有效的.

微博网络地域Top-k突发事件检测

传统的事件检测不考虑地域特性,面对的是媒体的整个信息流,是一种广域事件检测,会引起局部地域事件检测的失效.随着Web2.0及GPS技术的推广应用,很多社交媒体生成的内容体现了地理信息和时间标记.社交媒体中地域性突发事件的检测是近期新兴的研究热点.针对地域突发事件检测的需求,在合理利用社交媒体及突发事件表现的特性等方面,已有的研究仍有较大的不足.微博网络作为实时性、交互性很强的社交媒体,已经成为人们爆料事件、发表观点的首选媒体.该文面向微博网络,给出了地域Top-k突发事件检测的系统框架,包含地域博文采集、博文预处理、词突发值计算、突发词聚类、突发事件排序及突发事件可视化等部分.根据微博的时空特点,在综合考虑微博博文及社交关系的基础上,利用词出现频率、词关联用户、词分布地域及词社交行为4类指标,提出了新颖的微博网络词突发值计算模型.结合微博网络的特点以及地域Top-k突发事件检测的需求,提出了融合突发词地域、频率、关联博文、关联博文产生的影响力以及关联用户5类指标的突发事件热度计算方法.选取新浪微博作为真实的检测环境,以北京、南京、连云港和日照4个城市为地域范围,使用了5种方法比对了突发事件检测的准确率,这5种方法分别为HBED(2011年)、GeoSED(2013年)、EvenTweet(2013年)、GeoBurst(2016年)和该文提出的方法 LocTBED.结果表明,文中所提方法在地域Top-k突发事件的检测上有较好的性能.

基于社区时空主题模型的微博社区发现方法

提出了一种基于主题模型的微博社区发现方法。该方法采用狄利克雷过程(Dirichlet process)自适应生成多个潜在地理区域;利用多项式分布描述主题在连续时间中的强度;将用户对潜在地理区域和社区的选择偏好引入主题模型;最后通过EM方法和Gibbs采样,实现时空主题模型参数估算,以基于主题相似性进行社区发现。实验表明,该方法能更加准确地识别微博社区。

基于词性标注序列特征提取的微博情感分类

传统的n-gram文本特征提取方法会产生高维度的特征向量,高维数据不但增大了分类的难度,同时也会增加分类的时间。针对这一问题,提出了一种基于词性(POS)标注序列的特征提取方法,根据词性序列能够代表一类文本的这一个特点,利用词性序列组作为文本的特征以达到降低特征维度的效果。在实验中,词性序列特征提取方法比n-gram特征提取方法至少提高了9%的分类精度,降低4816个维度。实验结果表明,该方法能够适用于微博情感分类。

企业微博粉丝的特征挖掘——以天猫腾讯微博为例

通过对企业微博粉丝的特征挖掘,可以准确地捕捉用户的偏好,达到个性化服务。本文将企业微博粉丝的特征分为人口分布特征和行为特征两类。以天猫腾讯官方微博为例探讨倾向关注该企业微博的粉丝人口分布特征,并挖掘不同社会信息的粉丝群体的行为特征。

基于核心标签的可重叠微博网络社区划分方法

针对传统微博社区发现算法内聚低重叠度不可控制等问题,以自顶向下的策略,提出一种基于核心标签的可重叠微博社区发现策略Tag Cut.先利用用户标签的共现关系及逆用户频率对标签进行加权,并基于标签之间的内联及外联关系并将用户的标签进行扩充,然后在整体社区中提取包含某一标签的用户作为临时分组并利用评价函数评估划分的优劣,最后选出最合适的核心标签根据其对应分组与其他分组距离的远近来决定将其划分为新的分组还是并入其他分组.用此策略反复迭代直到满足要求.该算法划分的组由若干个拥有核心标签的分组组成且综合利用微博用户已声明的及隐含的兴趣、用户之间的关注规律、结果的实用性对划分结果进行修正.经真实数据实验表明该方法内聚高社区重叠度可控且拥有实际意义.

一种面向微博用户的标签推荐方法

首先对国内微博平台的信息进行了综合分析,主要介绍了微博信息的定义,在错综复杂的微博信息中哪些信息比较重要,以及这些微博信息包含哪些详细的内容,是如何组织的。然后选取新浪微博平台作为研究对象,利用新浪微博API设计了爬虫程序,抽取用户信息;以用户的关注人数、粉丝数和发布的微博数为标准对用户信息进行了定量分析。最后根据分析结果,针对不同特征的用户群体提出了相应的标签推荐方法。

一种双层的微博用户相似度算法

[目的/意义]对用户在某些领域上的兴趣进行深入挖掘,计算用户在某些具体领域上的兴趣相似度,并以此为基础来得到更为准确的用户整体相似度。[方法/过程]首先利用用户标签将用户的兴趣划分为不同领域,随后以LDA主题模型为基础来对用户的微博进行分析,得出用户在不同领域上的兴趣权重,再以TF-IDF方法为基础来计算用户在不同领域上的相似度,最后结合用户在每个领域上的相似度来得出用户的整体相似度。[结果/结论]实验结果表明,该相似度计算方法能得到用户在某个具体领域上的相似度,以此为基础可以分析用户在不同领域内的关系,为后续研究打下良好的基础。

微博语料分词及标注方法初探

本文将清华大学中文分词和词性标注系统应用于部分微博语料数据,检测系统对微博新词识别能力及对识别错误进行了分类总结,并对识别率低的新词制定了标注规范.通过人工校对获得新的训练语料数据集,提高系统对微博文本的处理能力,为建立微博专用语料库做前期准备工作.

基于用户标签的微博推荐算法

为了解决推荐算法中用户标签稀疏、推荐准确度不高的问题,提出了一种基于用户标签的微博推荐算法。利用TextRank排序方法提取用户发布微博中的关键词,并对该关键词进行扩展,将其作为表示用户兴趣的标签;再根据微博的效应函数和生命周期形成待推荐的微博列表,计算用户标签及其同义词在待推荐微博列表中出现的次数,将出现次数较多的TOP-k条微博推荐给用户。通过实验验证,该算法能够有效地解决用户标签的稀疏性问题,并能提高推荐算法的准确性。

基于用户标签的推荐系统研究

在标签系统中用户可以随意上传资源,并且允许使用任意的称为标签的文字对资源进行标注。结合协同过滤推荐技术开发微博系统,通过获取新浪微博真实用户数据进行实验分析,验证所提出的模型及相关算法的有效性,并根据实验提出面向用户的推荐策略。

基于标签的微博人脉网络挖掘算法和结构分析

针对互联网微博业务的广泛应用及其对大数据挖掘和分析的影响,提出一种基于标签的微博人脉网络挖掘算法。分析该网络的结构特征,利用微博用户标签,在模糊匹配过程中计算词语之间的匹配度时,主要考虑词语语素、次序和词长3个因素。为弱化以不同用户为起点对算法准确率的影响,分别以普通用户和名人用户为起点用户,挖掘微博人脉网络数据。同时,研究微博人脉网络的结构特性,通过分析发现微博人脉网络同时具有小世界和无标度特性。实验结果表明,运用该算法对名人用户和普通用户朋友中对IT感兴趣的人进行挖掘的误差率是可接受的。其中,挖掘10个名人用户朋友时算法的平均误差率为14.08%,挖掘10个普通用户朋友时算法的平均误差率为10.63%。

基于超图随机游走标签扩充的微博推荐方法

向微博用户推荐对其有价值和感兴趣的内容,是改善用户体验的重要途径.通过分析微博特点以及现有微博推荐算法的缺陷,利用标签信息表征用户兴趣,提出一种结合标签扩充与标签概率相关性的微博推荐方法.首先,考虑到大部分微博用户未给自己添加任何标签或添加标签过少,视用户发布微博为超边,微博中的词视为超点来构建超图,并以一定的加权策略对超边和超点进行加权,通过在超图上随机游走,得到一定数量的关键词,对微博用户标签进行扩充;然后,采用相关性标签权重加权方案构建用户-标签矩阵,利用标签之间的概率相关性,构造标签相似性矩阵,对用户-标签矩阵进行更新,使该矩阵既包含用户兴趣信息,又包含标签与标签之间的关系.以新浪微博公开API抓取的微博信息作为实验数据进行了一系列的实验和分析,结果表明,该推荐算法具有较好的效果.

地震灾情位置微博抓取与展示

探索了一种地震灾情位置微博的抓取与展示方法。通过分析位置微博在地震灾情获取中的作用,建立了位置微博地震灾情抓取框架。基于新浪微博SDK,实现了有效位置微博的抓取;在顾及地震灾情专题属性的基础上,对抓取的微博进行分级。以云南省昭通市鲁甸地震为例,实现了灾情的提取与严重程度的图示化展示。

一种融合标签语义的微博热点话题挖掘方法

由于微博文本的长度较短,直接使用隐狄利克雷分布(LDA)模型会导致特征向量高维稀疏。为此,提出一种融合标签语义的热点话题挖掘方法。利用公共块算法计算微博标签的相似度,合并标签相似度较高的微博文本。采用LDA模型对合并后的文本建模,并通过K-means聚类算法挖掘微博热点话题。实验结果表明,与针对单一微博文本建模的方法以及直接合并相同标签的方法相比,该方法的困惑度较低,挖掘热点话题的准确性较高。

基于双重注意力模型的微博情感倾向性分析

在现有的微博情感倾向性分析任务中,微博标签往往被视为噪声信息,在数据预处理阶段就被剔除.但微博标签蕴含着微博内容的关键信息,所以标签的剔除对于微博的情感倾向性分析是不利的.针对该问题,充分考虑微博的文本特点,提出一种基于双重注意力的情感分析模型.采用Bi-LSTM(Bi-directional Long Short-Term Memory)分别构建微博文本和微博标签的语义表示,采用双重注意力机制同时对微博的正文层和微博的标签层进行语义编码,提取出文本中的关键信息.最后,基于所构建的语义表示训练情感分类模型.实验结果表明,该模型在微博情感倾向性分析上取得了较好的效果.

基于RBLDA模型和交互关系的微博标签推荐算法

随着互联网技术的发展,个性化标签推荐系统在海量信息或资源过滤中起着重要的角色.在新浪微博平台中,用户可以自主的给自己添加标签来表明自己的兴趣爱好.同时,用户也可以通过标签来搜索与自己兴趣爱好相似的用户.针对新浪微博中大部分用户没有添加标签或添加标签数目较少的问题,提出了一种基于RBLDA模型和交互关系的微博标签推荐算法,它首先利用RBLDA模型来产生用户的初始标签列表,然后再结合用户的交互关系而形成的交互图来预测用户标签的算法.通过在新浪微博真实数据集上的实验发现,该方案与传统的标签推荐算法相比,取得了良好的实验效果.

基于改进分词标注集的中文微博命名实体识别方法

近年来微博的快速发展使得非正式文本的命名体识别的研究受到越来越多的关注,同时微博的特点使命名体识别研究面临着诸多挑战。针对中文微博文本词汇新奇,不符合语法,且缺少明显的词边界等特点,结合目前应用广泛的LSTM(Long Short-term Memory)神经网络模型以及条件随机场模型分别用于中文分词任务和命名实体识别任务,用微博语料本身训练模型,然后改进分词标注集,为条件随机场模型提供更准确更多维的特征。在新浪微博数据上进行实验,结果表明本方法相比于通用分词软件和传统四词位分词集在准确率上提高了12%。