EDM:高效的微博事件检测算法

微博数据具有实时动态特性,人们通过分析微博数据可以检测现实生活中的事件。同时,微博数据的海量、短文本和丰富的社交关系等特性也为事件检测带来了新的挑战。综合考虑了微博数据的文本特征(转帖、评论、内嵌链接、用户标签hashtag、命名实体等)、语义特征、时序特性和社交关系特性,提出了一种有效的基于微博数据的事件检测算法(event detection in microblogs,EDM)。还提出了一种通过提取事件关键要素,即关键词、命名实体、发帖时间和用户情感倾向性,构成事件摘要的方法。与基于LDA(latent Dirichlet allocation)模型的事件检测算法进行实验对比,结果表明,EDM算法能够取得更好的事件检测效果,并且能够提供更直观可读的事件摘要。

基于线索树双层聚类的微博话题检测

微博作为一种全新的信息发布模式,在极大程度上增强了网络信息的开放性和互动性,但同时也造成微博空间内信息量的裂变式增长。利用话题检测技术将微博文本信息按照话题进行归类和组织,可以帮助用户在动态变化的信息环境下高效获取个性信息或热点话题。该文针对微博文本短、半结构、上下文信息丰富等特点,提出了基于线索树的双层聚类的话题检测方法,通过利用融合了时序特征和作者信息的话题模型(Temporal-Author-Topic,TAT)进行线索树内的局部聚类,借以实现垃圾微博的过滤,最后利用整合后的线索树进行全局话题检测。实验结果显示该方法在解决数据稀疏方面取得了较好的效果,话题检测的F值达到31.2%。

一种基于新闻学的微博事件特征选择方法

近年来，微博在突发事件与公共安全中展现了越来越强的影响力。如果缺乏对微博突发事件的检测与监控手段，一旦发生微博突发事件，将使政府部门及企业处于被动地位，甚至危及社会稳定。目前微博事件检测通常采用基于特征集的分类方法，但对于同一个微博数据集，使用不同的特征集往往会得到截然不同的结果。因此，如何根据微博事件检测的要求选择合适的特征集是目前亟待解决的一个关键问题。本论文提出了一种新的微博事件特征选择方法。该方法借鉴了新闻学上的事件“5W”要素，在微博事件的“5W”初始特征集上通过交叉迭代方法优选出最优的特征集。我们在实际的微博数据集上，基于准确率、召回率、F值等多种指标比较了我们提出的方法与已有的4种特征选择策略的性能。结果表明，本文提出的方法可以降低最终选择的特征数目，并且在微博事件检测上具有较高的召回率和F值。

微博话题识别中基于动态共词网络的文本特征提取方法

本文针对微博文本的简短、动态性等特征,提出一种新的文本特征提取方法,提升微博话题识别任务中文本聚类算法效果。利用词项共现的思想,针对微博时序文本构建动态共词网络。在动态共词网络中,边权重随着时间推移而线性衰减,并在此基础上利用网络的度中心性计算微博文本特征权重。从新浪微博中采样构建实验数据集进行实验,结果表明动态共词网络特征提取方法相较于文档频率方法,更适宜于提取微博文本特征,能取得更好的微博话题识别效果。

基于可区分语言模型的微博在线话题检测

针对微博话题检测中需要解决的高维数据、噪声信息以及话题的快速演化等主要问题,提出一个有效的微博在线话题检测模型——可区分语言模型(discriminative language model,DLM)。该模型首先选择微博数据的可区分特征子空间,接着利用一元语言模型实现微博话题的在线检测。实验表明,在MACRO_F1和AVG_CDET等指标上,DLM明显优于现有模型,DLM能准确及时发现微博话题。

分布式信息融合的物联网事件检测方法

事件检测是物联网感知技术的一项重要应用。由于感知节点资源受限,事件检测准确率与节点能量有效性较难平衡。提出了一种新的物联网事件检测方法,基于分布式无线传感器网络,采用特征选择与人工智能学习算法,对感知数据进行局部与全局的二级信息融合,在降低节点功耗的同时提升了检测的准确率。进行要地周界入侵事件检测实验,结果表明,该方法相比传统的事件检测方法更加有效。

结合时序和语义的中文微博话题检测与跟踪方法

微博文本具有短小快捷、主题多变等特点,社交话题检测与跟踪研究面临新的挑战。结合微博的话题时序性和短文本语义相似度等特点,提出了基于微博聚类的话题检测与跟踪系统方法。首先,通过定义微博文本的时序频繁词集,给出面向热点话题的特征词选择方法;然后,根据时序频繁特征词集,利用最大频繁项集获得微博初始聚类;针对初始簇间存在文本重叠情况,提出基于短文本扩展语义隶属度的簇间重叠消减算法,获得完全分离的初始簇;最后,根据簇语义相似度矩阵,给出凝聚式话题聚类方法。通过新浪微博完成实验测试,表明所提方法可用于中文微博热点话题检测与跟踪。

基于多传感器的人体运动模式识别

针对日常生活中人体的运动具有准周期特性的特点,设计了一种基于加速度信息与脚底压力的下肢运动信息采集系统。通过采集脚底压力信息监测关键步态事件,在事件前后对下肢加速度数据进行特征提取,从而对4种常见行为(走路、跑步、上楼和下楼)进行识别。实验结果表明:提出的方法在仅提取较为简单的时域特征信息情况下,平均识别正确率为94. 79%。

基于自反馈最优子类挖掘的视频异常检测算法

视频异常检测算法是视频处理领域的研究热点之一,用于检测视频中是否包含异常事件。然而,由于没有异常样本参与训练过程,且异常样本与正常样本之间存在一定程度的相似性,因此很难设计出一种有辨识力的异常检测模型。为了解决上述问题,文中首先提出了一种基于相似度保持和样本恢复的特征选择方法,该方法能够保留正常样本的相似关系,进而可以学习到能够准确描述正常事件的特征。其次,将异常事件检测任务转化为分类任务,并提出了一种自反馈最优子类挖掘方法来获得最优分类器。如果一个测试样本被所有分类器判断为异常,则该样本最终将被判定为异常。在公共视频数据集(Avenue数据集、UCSD Ped2数据集)上进行的大量实验的结果表明,所提异常事件检测算法可以取得很好的结果。

一种时间情境依赖的微博话题抽取方法

微博话题处在动态变化中,为了准确的抽取所需的微博话题,在微博文本内容之外,需要考虑微博的情境依赖关系,而其中尤为重要的是时间情境。本文提出了一种时间情境依赖的时序微博话题检测方法。该方法包括四个步骤:文本预处理、微博文本的特征选取、基于主题模型的文本话题检测、微博话题演化状态的确定。在真实数据上的实验表明,本文提出的方法具有较好的效果。

基于LDA模型的Twitter中文微博热点主题词组发现

提出了潜在狄利赫雷分布模型与自然语言信息处理相关技术相结合的一种挖掘Twitter中中文微博的热点主题词组的方法.选取了20923条中文Tweets作为样本,获取了相关热点的主题词组,与预期的效果基本吻合,表明该模型具有较好的热点识别效果和对主题进行描述的能力.

基于遗传算法的交通视频事件多特征选择方法

为了提高交通视频事件检测的准确性和检测速率,提出了一种基于遗传算法的交通视频多特征选择方法.该方法首先提取交通视频的多种特征,尽可能多地获取各种视频事件的信息,然后将这些特征进行融合,得到一个可以表征事件的高维冗余的特征向量,再采用遗传算法对多特征进行优化筛选,最后使用SVM分类器进行训练获得低维的最优特征子集并应用于交通事件检测.实验结果表明,该方法在降低提取特征的维数的同时,可有效提高交通视频事件检测的准确率和检测速率.

特定事件微博子话题特征提取研究

对特定事件的子话题特征提取,能够帮助我们挖掘当前用户关注的重点和细节,更深层次探索事件话题的语义特征。本文利用LDA主题模型对特定事件的微博进行主题建模,设计了主题顶层差异度和融合度对相似子话题进行融合,并合理利用科学的先验知识确定子话题数量,避免了以往基于专家知识确定话题数量的偏移,同时设计选择算法对子话题的候选关键词和主题微博进行标记,从而更好的描述子话题的类型和内容。

基于多模态特征深度融合的微博流事件检测与跟踪

作为一种重要的社会媒体平台,分析、检测并跟踪微博内重大社会事件可以及时提供舆论焦点。但因其碎片化、异构性和实时性,传统方法很难有效分析海量微博,为此,提出一种基于多模态特征深度融合的微博事件检测与跟踪框架。首先基于文本处理对微博事件进行标注;然后用多模态特征深度融合实现事件的检测与表示;最后利用基于时间平滑的图变换模型完成事件流的跟踪。在真实数据集上的实验表明,所提出的方法能有效检测和跟踪微博流事件。