New event detection based on sorted subtopic matching algorithm

How to quickly and accurately detect new topics from massive data online becomes a main problem of public opinion monitoring in cyberspace. This paper presents a new event detection method for the current new event detection system,based on sorted subtopic matching algorithm and constructs the entire design framework. In this paper,the subtopics contained in old topics(or news stories) are sorted in descending order according to their importance to the topic(or news stories),and form a sorted subtopic sequence. In the process of subtopic matching,subtopic scoring matrix is used to determine whether a new story is reporting a new event. Experimental results show that the sorted subtopic matching model improved the accuracy and effectiveness of the new event detection system in cyberspace.

深度动态文本聚类模型DDDC

互联网的飞速发展使得新闻数据呈爆炸增长的趋势。如何从海量新闻数据中获取当前热门事件的主题演化过程成为文本分析领域研究的热点。然而,常用的传统动态聚类模型处理大规模数据集时灵活性差且效率低下,现有的深度文本聚类模型则缺乏一种通用的方法捕捉时间序列数据的主题演化过程。针对以上问题,设计了一种深度动态文本聚类(DDDC)模型。该模型以现有的深度变分推断算法为基础,可以在不同时间片上捕捉融合了前置时间片内容的主题分布,并通过聚类从这些分布中获取事件主题的演化过程。在真实新闻数据集上的实验结果表明,在不同的数据集上,与动态主题模型(DTM)、变分深度嵌入(VaDE)等算法相比,DDDC模型在各时间片的聚类精度均至少提升了4个百分点,且归一化互信息(NMI)至少提高了3个百分点,验证了DDDC模型的有效性。

自然灾害事件主题发现与演化研究——以知乎自然灾害讨论为例

[目的/意义]我国是自然灾害最为频发的国家之一,网络上的灾害讨论信息容易引发负面舆情影响,危害社会稳定,研究自然灾害事件的舆情主题演化规律能协助政府制定舆论管理策略。[方法/过程]本文以两次暴雨洪涝灾害“2021年7·20河南暴雨”及“2020年中国南方洪涝灾害”事件为背景,采用Correlated Topic Model(CTM)主题模型分析方法对知乎用户所发布信息进行建模分析。具体而言,本文结合主题强度和主题传播广度两方面分析用户在暴雨灾害中的注意力转变,并深入探究了用户参与情况对主题传播的影响,进而推演灾害期间主题传播内容与演化规律。[结果/结论]研究得出了两次自然灾害事件的主题传播内容与演化过程情况,为未来自然灾害事件中政府的舆情应对和处理提供了参考。

面向新闻专题的事件关系图构建方法

为了能够掌握新闻专题的发展演化过程,又使其具备可解释性,提出一种面向新闻专题事件的事件关系图构建方法。基于事件间的关联关系,通过事件抽取、事件合并和事件关系识别等技术,从专题事件的新闻数据集中抽取出元事件,把指代同一现实事件的多条元事件数据合并为一条元事件数据,基于模式匹配法识别各元事件间的关系,按照时间顺序和事件间关系将专题事件内各零散的元事件组织起来,构建面向新闻专题的事件关系图,刻画专题事件在整个演化发展过程中各子事件间的因果、转折、条件和顺承等关联关系,实现对专题新闻事件来龙去脉更直观的解释和表达。

汉英状态句时间指称的事件语义学分析

话题时间是汉英状态句必不可少的成分,是两种语言中状态句时间指称的决定因素。在事件语义学框架下研究发现,汉英语这两种典型的时制语言和无时制语言的时间指称可以得到统一性分析。汉英话题时间都是对事件变量的时间属性的陈述,从而使得状态句获得时间指称;英语中的时制则只是对事件的时间属性的预设,不是句子获得时间指称的根本原因。

舆论主题与公众情绪的综合映射——基于突发公共危机事件的舆情分析

社交媒体时代,网络舆情治理成为危机管理的重要环节,从文本信息中剖析公众的情感指向和获取公众的关注焦点,对组织处理突发事件尤为重要。本文运用Python抓取东航事故相关微博文本数据,通过BERT模型和LDA主题模型对不同舆情阶段的情绪分布和主题演化进行内容分析。公众在东航事故中的相关评论以焦虑、悲伤等负面情绪为主导,与不同主题词相关的信息在不同舆情阶段会引发公众不同强度的情感表达。本文通过研究揭示不同舆情阶段公众的情绪和舆论主题演化特征,并探讨整合危机图式在国内语境中的适用性。

双十一活动消费者满意度研究——基于天猫个护美妆类产品文本挖掘

以2021年10月15日至11月30日天猫商城个护美妆的消费者评论数据为样本,运用文本挖掘的方式研究“双十一”活动及活动前后的消费者满意度,并对比2020年同时期,研究“双十一”满意度的演变可得出三个结论:(1)2021年“双十一”满意度评分为0.6991,满意度相对较高,2021年“双十一”满意度的影响因素有:产品本身、“双十一”优惠活动、物流系统、虚假活动、售后服务;(2)2021年“双十一”活动满意度低于同年“双十一”之前,并在“双十一”之后持续下降,影响满意度前后变动的因素有:“双十一”优惠活动的落差、客服人员不足、部分商品发货较慢;(3)2020年“双十一”活动满意度为0.6797,整体低于2021年,其中活动升级、物流进步使得满意度略有提升,但商品包装和直播间对满意度造成负面影响。

一种基于动态进化模型的事件探测和追踪算法

在大量分析网络新闻特点的基础上 ,借鉴Single Pass聚类思想 ,并结合新闻要素给出了一种基于动态进化模型的事件探测和追踪算法 该动态模型是基于新闻事件的生存特点提出的 ,包括 :基于时间距离的相似度计算模型、事件模板进化策略以及动态阈值设置思想 该算法可以自动对新闻资料进行组织生成新闻专题 ,进而为用户提供个性化服务

融入事件知识的主题表示方法

主题模型已被广泛用于发现文档潜在主题.已有方法多采用词或短语来表示主题,然而这些方法生成的主题缺乏深层次的语义信息,可解释性比较差.文中提出使用结构化的事件来表示主题.一方面,事件包含比词或短语更丰富的语义;另一方面,一组相关的事件能更合理地解释并区分不同的主题.为解决事件作为基本单元所带来的稀疏性问题,该文在Biterm Topic Model(BTM)的基础上提出两种主题模型,采用两种不同的方式将事件的语义知识融入到主题生成过程中.其中,第1种模型利用Generalized Pólya Urn(GPU)模型天然的聚类效果加大语义相近的事件分配到同一主题的概率,而第2种模型则通过为每个biterm引入指示变量,合理地利用语义知识有效地解决同一个biterm中两个事件的主题分配问题.该文不仅从主题凝聚度和KL散度两个指标直接对主题模型进行评估,还通过将主题表示结果引入到文本分类任务中对模型进行了外部评估.实验结果表明文中提出的模型从共现和语义两个层面有效地解决了事件稀疏性问题.与基于词或短语的主题表示相比,事件结构所包含的语义信息提高了主题生成质量,使主题表示具有更强的可读性和主题判别性.

基于事件框架的主题事件融合研究

针对事件抽取获得的单个元事件无法完整描述主题事件的特点,提出了一种主题事件的融合方法,通过该方法将与同一主题相关的所有元事件整合在一起,以层次化的形式表示。首先定义了一种事件融合框架TEFF(topic event fusion framework)。该框架根据各类元事件在主题事件中的作用,将主题事件以层次化的形式表示。同时给出元事件和主题的相关度计算方法,通过该算法来评价元事件和主题的相关度。在TEFF的指导下,通过相关度计算,实现主题事件的融合。在以2008年起的金融危机为主题的实验中,取得了F值为77.1%的实验结果,这表明该方法能有效地对主题事件进行融合。

基于话题的事件相似度计算

为了解决传统事件相似度计算方法在TDT(topic detection and tracking)领域计算同一话题下事件相似度时存在不够精确的问题,根据模板知识提出了一种新的基于话题的事件相似度计算方法。该方法综合考虑了事件的内容相似度、事件和话题的相似度、事件的时间相似度。实验结果表明,与传统方法相比,该方法能更准确地判断出同一话题下的事件相似性。

基于子话题分治匹配的新事件检测

新事件检测是话题检测与跟踪领域的一项重要研究,其任务是实时监控新闻报道流并从中识别新话题.现有方法将话题和报道描述为单一结构的特征向量进行匹配,造成子话题间互为噪声并形成错误语义,从而误导新话题的识别.针对这一缺陷,文中提出基于子话题分治匹配的新事件检测方法,将话题和报道划分为不同子话题,根据相关子话题的比例关系和分布关系建立新话题识别模型.实验在TDT4和TDT5中获得显著改进,最小检测错误代价为0.4061,相应漏检率为0.1859.

基于数据流的网页内容分析技术研究

提出针对网络数据流中活跃信息进行话题相关数据采集与分析方法.首先给出面向论坛话题的定义;然后对网络数据流进行分析、对用户访问行为进行分类;并给出基于数据流的用户行为识别方法及话题相关数据抽取、存储算法;最后给出实验分析,结果表明,所提出的基于数据流的论坛话题数据采集方法能够很好地反映用户行为,并对基于数据流的网络舆情热点话题发现、突发事件检测与实时跟踪等应用提供有利的数据资源.

基于加权TextRank的新闻关键事件主题句提取

为了在大量的新闻中快速找到自己感兴趣的内容,提出在单文档中基于加权TextRank算法提取主题句的方法,以得到新闻关键事件信息。通过计算新闻文本句子关键词的互信息值,对新闻报道进行事件句和非事件句的分类,过滤出非事件句。基于TextRank算法的思想,构建一个事件句有向图,引入句子位置、句子相似度和关键词覆盖频率3个影响因子,以此计算句子之间的影响权重,利用TextRank模型对图中的每个点计算权重,并选取排序最靠前的句子作为关键事件的主题句。实验结果表明,该方法的抽取效果优于基于词频-逆文档概率和新闻标题的主题句抽取方法。

主题图在突发事件应急信息分析中的应用研究

对突发事件进行快速有效的识别和分析处理,对信息需求者得出合理的应对策略是非常有价值的。文章以主题图为工具,充分利用主题图灵活的知识组织和信息导航优势,将复杂事件按照不同的视角进行主题和主题关联抽取,降低了知识结构的构建难度;同时,利用主题图合并技术,合并不同主题图中的相同或相似主题、主题关联,从而使得复杂事件整体知识结构的还原成为可能。基于主题图的信息组织方法为突发事件应急中的信息分析提供了新的思路,也是文章的新颖性所在。

基于故事的新闻视频事件专题分析方法

报道同一事件的新闻故事之间存在大量的冗余和重复,这对新闻事件的快速浏览和理解造成了巨大的困难,必须对故事之间的关系进行有效的分析及组织。文章提出一种基于故事的新闻视频事件专题分析方法。融合文本和视觉特征将报道同一事件的新闻故事聚类在一起,通过分析事件内部故事之间的相似性,获得故事之间的相互依赖关系,生成表现事件发展的专题结构。实验结果表明,这种事件专题分析方法能够直观有效地表现新闻事件的发展趋势和相关信息,对于新闻视频的浏览和摘要等实际应用具有重要意义。

基于FIFA的主题相似性计算模型

针对主题检测和追踪的第五个技术任务连接分析,提出了一种事件主题相似性分析技术·通过引入领域知识库,将基于词汇的分析技术提升到领域知识计算层面·当输入不同两个文档时,采用该分析技术进行识别文档内容所涉及到的事件主题是否一致·首先采用FIFA模型进行内容主题识别,然后采用LDM模型进行事件主题相似性计算分析·实验结果显示主题相似性计算正确率为64%,召回率为69%·

层次化话题发现与跟踪方法及系统实现

自1996年话题发现与跟踪评测启动以来,该研究受到普遍关注,取得巨大进步,也遇到诸多困难。通过分析大量话题数据,提出层次化话题与层次聚类的区别在于话题的层次是由事件的构成决定的,层次化话题应当分为三层,即微类、中类和上类。原因在于计算机自动分析产生的层次化话题必须与现实世界有客观的联系。据此提出一个面向大规模真实数据的有充分理论依据的层次化话题发现与跟踪方法,并在集群系统上予以实现。

网络舆情事件的主动感知实践

随着网络时代的到来,网络数据呈指数爆炸式增长,主题的模糊性越来越明显。同时多元非结构性的数据使得传统的聚类算法在网络舆情事件的发现越来越困难,不能满足高效,精准,及时、有效的感知需求。本文引入LDA聚类算法,基于主题生成模型,挖掘数据背后的语义关联,设计并且实现舆情事件的热点主动感知系统。通过数据实验表明,该系统能够快速、高效地发现事件主题,克服偏移词的干扰,从而实现网络舆情事件热点的主动感知。

基于文献计量学的国内突发事件研究分析

近年来,突发事件研究引起了新闻传播学、公共管理学、心理学和信息管理等学科领域关注。本文运用文献计量法对2000-2010年的国内学术领域发表有关突发事件的学术论文进行了统计分析。分别从年发文量、主要期刊、主要学科、核心作者、研究主题等多角度进行了统计分析,以期了解国内突发事件研究进展、研究方向等问题。为国内突发事件的相关研究提供参考。