基于话题决策模型的英文文本切题度计算方法研究

为了对英文作文考试中英文文本的切题度加以判断,提出一套基于话题决策模型的英文文本切题度计算方法。介绍该算法的数据处理流程与话题决策模型的数据处理方法,最后通过WIKI_727K数据集对话题决策模型进行训练与测试,经实验研究发现,所提出的话题决策模型在精确率、召回率等方面具有一定的应用优势,并在ASAP数据集上表现出较为理想的切题度判断效果。

网络时代下的教育信任研究——基于教育部微博评论的话题模型与情感分析

本研究通过对教育部官方微博的评论进行深入分析,揭示了网民对教育的关注与信任状况。结果显示,网民对教育部微博的评论集中在教育政策与实践、教育梦想与实现、教育发展与改革、学业成绩与升学、学生就业与服务五个方面。研究发现,网民对教育部微博的评论总体呈积极的态度,与高考有关的话题与评论最能够引发网友的共鸣。本研究为教育信任的提升提供一定的参考。

多层级信息增强异构图的篇章级话题分割模型

话题分割是自然语言处理领域的基础任务之一,按照话题相关性原则将文本分割为多个话题相关的文本块。针对现有话题分割模型提取句子深层语义信息方面明显不足,并且忽略了篇章中的层次信息和上下文交互等问题,提出了一种多层级信息增强异构图的篇章级话题分割模型MHG-TS。该方法利用篇章中的句子和关键词构建异构图网络,引入BERT预训练语言模型捕获图中节点的深层语义特征,在句子节点一阶邻域层级,利用图注意力机制为语义关联的节点分配更大的边权重,增强了一阶邻域中语义关联节点的信息交互;在关键词节点层级,引入关键词信息加强句子语义特征表示;在句子高阶邻域层级,利用关键词节点作为中介,构建了句子节点高阶邻域中的跨句信息交互,丰富了句子节点之间的非序列关系,最终通过融合多层级信息实现包含全局语义信息的句子表示。相较于当下流行的模型,在多个数据集上,三个评价指标性能平均值分别提高了3.08%、2.56%、5.92%,取得了最佳的实验结果。

基于LDA主题模型的知乎平台婚恋话题情感分析

目的:探索青年在婚恋话题中的情感趋向以及相应的关注焦点。方法:通过潜在狄利克雷分布(Latent Dirichlet Allocaon,LDA)主题模型和情感分析相结合的方法对知乎平台的婚恋话题内容进行研究。结果:建立知乎平台婚恋话题语料库,共2974条语料,时间跨度为2018年4月至2022年6月。(1)婚恋话题的高频词汇有:孩子、父母、离婚、出轨、分手、约会、表白、工作、学习和情感等词;(2)婚恋话题的积极情感值显著大于消极情感值,但存在相当程度的消极情感倾向,例如焦虑、恐惧、悲伤等;(3)婚恋话题中积极的主题有:婚恋现实、婚恋心理、聊天约会、择偶标准、美好故事;消极的主题有:婚恋压力、负面经历、负面新闻、婆媳矛盾。结论:青年对婚恋有着一定期待与积极应对,但他们在一些话题下表现出的负面情绪也需要被关注和理解。

基于OLDA的热点话题演化跟踪模型

为了发现论坛数据中感兴趣的话题并对话题进行演化跟踪,文中首先利用潜在狄利克雷分配(LDA)模型将文本由词汇空间降维到主题空间,然后采用聚类算法在主题空间对文本集进行聚类,并利用文中提出的热点话题检测方法得出热点话题.基于发现的热点话题,文中提出了基于在线LDA(OLDA)话题模型的论坛热点话题演化跟踪模型(HTOLDA),该模型只选择热点话题进行先验传递,并通过设置同一话题相邻时间片的语义距离来判断话题的状态.实验结果表明,HTOLDA模型对各个时间片的论坛数据集的建模能力优于OLDA模型,并能够有效地对论坛中的热点话题进行演化跟踪.

话题跟踪中静态和动态话题模型的核捕捉衰减

话题跟踪是一项针对新闻话题进行相关信息识别、挖掘和自组织的研究课题,其关键问题之一是如何建立符合话题形态的统计模型.话题形态的研究涉及两个问题,其一是话题的结构特性,其二是话题变形.对比分析了现有词包式、层次树式和链式这3类主流话题模型的形态特征,尤其深入探讨了静态和动态话题模型拟合话题脉络的优势和劣势,并提出一种基于特征重叠比的核捕捉衰减评价策略,专门用于衡量静态和动态话题模型追踪话题发展趋势的能力.在此基础上,分别给出突发式增量式学习方法和时序事件链的更新算法,借以提高动态话题模型的核捕捉性能.实验基于国际标准评测语料TDT4,采用NIST(National Institute of Standards and Technology)提出的最小检测错误权衡系数评测法,并结合所提出的核捕捉衰减评价方法,对各类主要话题模型进行测试.实验结果显示,结构化的动态话题模型具有最佳的跟踪性能,且突发式增量式学习和时序事件链的更新算法分别给予动态话题模型0.4%和3.3%的性能改进.

LDA模型在话题追踪中的应用

随着对LDA模型的研究越来越深入,文本表示和挖掘能力进一步提高。"话题"是LDA模型中一个非常重要的概念,是特征集合的一个多项式概率分布。话题追踪是根据少数已知相关信息在未知报道流中追踪一个话题,找出与该话题相关的所有报道。把LDA模型用于话题追踪,目的有两个:(一)检验LDA话题对追踪话题的表示能力;(二)检验LDA模型在挖掘训练数据中的追踪话题时,LDA话题和追踪话题之间的关系。实验表明:相对于经典的向量空间模型和一元语言模型,以及专门针对追踪话题提出的事件模型,基于LDA模型的追踪性能更好,但由于粒度不同,LDA模型中的话题和追踪话题并没有直接的一一对应的关系,实现可定制话题的LDA模型是下一步工作的目标。

一种基于LDA主题模型的话题发现方法

话题发现是提取热点话题并掌握其演化规律的关键技术之一。针对社交网络中海量短文本信息具有高维性导致主题模型难以处理以及主题分布不均导致主题不明确的问题,提出一种基于LDA(latent dirichlet allocation)主题模型的CBOW-LDA主题建模方法,通过引入基于CBOW(continuous bag-of-word)模型的词向量化方法对目标语料进行相似词的聚类,能够有效降低LDA模型输入文本的维度,并且使主题更明确。通过在真实数据集上计算分析,与现有基于词频权重的词向量化LDA方法相比,在相同主题词数情况下困惑度可降低约3%。

基于LDA模型的论坛热点话题识别和追踪

在当今处于信息数量爆炸式增长的互联网时代,如何分析海量文本中的信息并从而提取出所蕴含的有利用价值的部分,是一个值得关注的问题。然而论坛语料作为网络语料,其结构和内容较一般语料相比更为复杂,文本也更加短小。该文提出的方法利用LDA模型对语料集进行建模,将话题从中抽取出来,根据生成的话题空间找到相应的话题支持文档,计算文档支持率作为话题强度;将话题强度反映在时间轴上,得到话题的强度趋势;通过在不同时间段上对语料重新建模,并结合全局话题,得到话题的内容演化路径。实验结果说明,上述方法是合理和有效的。

基于三维文档向量的自适应话题追踪器模型

话题追踪(TT)是研究自动追踪事件动态发展过程的一种信息智能获取技术,是话题检测与追踪(TDT)技术的一个子任务,其目标在于自动发现新闻报道信息流中与某一已知话题有关的新报道。该文通过分析传统文档向量空间模型的不足,结合新闻报道的特征,提出了一种三维文档向量模型,在此基础上建立了一种符合新闻报道特征的话题模型。该话题模型在追踪过程中能够根据事件的动态发展进行自我学习和自我修正。结合话题模型,该文还设计了一种自适应的KNN新闻话题追踪器,从而形成了一种完整的中文话题追踪器模型。实验数据表明该方法在描述新闻话题、避免话题漂移方面具有一定优势,在中文话题追踪领域取得了较好效果。

基于动量模型的微博突发话题检测方法

针对微博特征空间动态变化、信息噪音大的特点,提出一种基于有意义串动量模型的微博突发话题检测方法.提取时间窗口内微博信息流的有意义串,作为微博信息的动态特征,根据动力学原理对特征进行动量建模,结合特征能量大小、变化趋势以及二阶变化率检测突发特性有意义串,即突发特征,合并突发特征形成突发话题.微博数据实验表明,该方法适用于在线微博突发话题检测,在准确率和召回率上都有明显提升.

基于内容的热点话题传播模型

采用传染病模型对网络热点话题的传播进行建模具有重要的价值,但是现有的传染病模型并没有区分话题类型和不同用户传播话题的概率,为此提出一个基于内容的网络热点话题传播模型.模型中引入了用户对话题传播的敏感度,基于用户话题敏感度定义了单个用户传播话题的概率,融合话题的内容分类特性、用户传播概率、用户重入概率等因素,借鉴SIRS模型的基本思想,构建了话题传播模型(CSIRS).在无标度网络、小世界网络、随机网络和真实社会网络上作了不同实验,实验结果表明CSIRS模型不仅能够呈现一般传染病动力模型的传播模式,还能够呈现多个波动、小范围长时间传播、快速上升缓慢下降等社会网络热点话题的传播模式.该模型为融合网络结构和话题内容属性建模话题传播过程带来新的研究思路.

基于语义域语言模型的中文话题关联检测

关联检测是话题检测与跟踪领域的基础性研究,其任务是检测任意新闻报道对是否论述同一话题.通过分析报道内容的结构关系和语义的分布规律,提出基于语义域语言模型的关联性检测方法,并在此基础上检验融入依存分析的语义描述策略对该模型性能的影响.实验采用TDT4中文语料进行评测,结果显示语义域语言模型显著改进了现有检测系统的性能,其最小DET代价降低了约3个百分点.

基于ICE-LDA模型的中英文跨语言话题发现研究

近年来互联网在全球化的大背景下飞速发展,针对跨语言的网络数据挖掘成为国内外舆情分析的热点问题,有效实时地检测中英文网络环境下的热点话题对舆情的掌握和舆情的发展有着至关重要的作用。网络新闻作为网络信息舆情中的重要组成部分,由于互联网的大规模普及而成为人们方便快捷获知信息的重要来源。首先,本文选择中文与英文的网络新闻作为数据源进行采集,提出了在LDA模型上改进的ICE-LDA模型进行跨英汉语言网络环境下的共现话题发现。采用话题向量化的方式,对建模产生的话题进行JS距离检测和话题文本分布相似度度量。其次,本文分别对爬虫采集到的中英混合新闻数据分别构建可对比平行语料集和非可对比语料集进行话题建模,在建模过程中利用TF-IDF算法对文档提取特征词去噪,提高话题特征表示去除无意义噪音词。最后,分别采用两种不同的话题向量化方式进行跨语言的共现话题发现建模。实验结果表明,在本文设计的爬虫采集构建的真实数据集上,改进后的话题模型不仅能够在不需要先验话题对的情况下对可对比语料集进行跨语言共现话题进行发现,而且能够对语料不平衡的情况进行共现话题发现。

基于LDA模型和话题过滤的研究主题演化分析

针对目前科学技术文献数量激增、难以从总体上分析把握的现状,提出一种从科技文献中获得研究主题特征词并展现其演化趋势的方法.该方法先利用LDA(Latent Dirichlet Allocation)模型对不同时间片内的话题进行自动抽取,得到不同数量的话题.然后,通过话题过滤剔除意义有限的话题,并借助简单启发式规则选择种子话题.最后,再利用语义相关度将相邻时间片内内容相近的种子话题联系起来,以得到研究主题的演化趋势.实验结果表明,在不对话题生成进行人工干预的前提下,本文方法较真实地描述了研究主题强度和内容随时间的演化趋势,避免了无意义话题对研究主题演化的负面影响.

基于改进的OLDA模型话题检测及演化分析

[目的/意义]话题检测和演化分析是网络舆情监控中的热点问题,对热点话题的检测和演化分析有助于挖掘热点话题和深入理解话题的演化趋势,并给以舆情监控者提供完整的话题演化路径和更为合理的决策意见。[方法/过程]OLDA(Online Latent Dirichlet Allocation)模型是用于挖掘热点话题和分析话题演化的工具,由于其存在新旧主题混合、冗余词较多的缺点,采用双通道模式对主题、词分布的遗传度进行改进,并给出了新的词分布计算方法。[结果/结论]提出的改进OLDA模型解决了新旧主题混合问题,降低冗余词的概率,更为明确地解释话题的含义。实验表明,改进的OLDA模型更为有效地对话题进行检测及演化分析。

基于主题模型的BBS话题演化趋势分析

互联网引发的舆情问题愈发突出,网络舆情研究已被深度关注.话题演化是网络舆情分析的重要内容之一,本文尝试从话题热度变化和内容变化两方面研究舆情动态.本文选取天涯论坛民生讨论的主要版块——天涯杂谈的首发帖为舆情来源,分析比较一系列主题模型后,建立动态主题模型(DTM).通过挖掘随时间变化的动态话题链,从词语变化的微观角度分析热门事件下公众意见的变迁过程,还原事件的整个发展过程.本文提出话题热度计算方法,通过计算2012全年天涯杂谈版块下所有新发帖的话题热度值变化及可视化分析,总结了BBS话题的三个规律.

基于LDA模型的新闻话题的演化

新闻话题及演化的研究可以帮助人们快速了解和获取新闻内容。提出了一种挖掘新闻话题随时间变化的方法,通过话题抽取和话题关联实现话题的演化。首先应用LDA(Latent Dirichlet Allocation Model)对不同时间段的文集进行话题的自动抽取,话题数目在不同时间段是可变的;计算相邻时间段中任意两个话题的分布距离实现话题的关联。实验结果证明该方法不但可以描述同一个话题随时间的演化过程,还可以描述话题内容随时间的变化,反映了话题(或子话题)之间多对多的演化关系。

面向时间序列的微博话题演化模型研究

话题演化研究有助于追踪用户的喜好和话题的发展趋势,对于舆情预警具有重要意义。目前,话题演化方法注重运用话题生成模型实现话题演化分析,忽略了话题中时间因素和背景词的存在。以传统话题生成模型LDA为基础,将其扩展为微博话题生成模型MTLDA。MTLDA模型增加了对背景词的考虑,提高了话题生成的效率,同时对微博话题集进行时间片划分,利用KL距离计算相邻时间片话题距离,分析话题演化情况。以新浪微博数据为例进行实验,结果表明,MTLDA模型通过时间片划分完成了微博话题的生成,话题演化结果与实际情况吻合。

基于时间片划分的舆情话题演化模型研究

着眼于舆情话题演化的时序特性、衍生特性和话题漂移现象,在分析话题演化特性的基础上构建了基于时间片划分的话题动态演化模型并通过数理分析和实验仿真对模型的有效性进行了验证.实验结果说明划分时间片的话题演化模型可以在保证热点话题追踪准确性前提下可进一步通过缩减信息流规模来提高话题追踪效率,从而解决以往话题追踪算法中由于舆情话题的漂移和衍生特性导致的追踪效率低下的问题.