基于改进Single-Pass算法的网络新闻话题发现

通过改进的Single-Pass增量文本聚类算法,以话题为粒度对新闻信息进行组织,实现网络新闻话题的发现.该方法考虑了新闻的动态性和时间特性,在特征词项权重计算中从词项在标题和正文中的位置信息及词项的增量文档频率两方面进行优化,同时在相似度的计算中添加了时间因素及聚类中动态更新话题的质心向量.应用基于主题的网络爬虫构建的新闻等语料作为测试数据集,实验结果表明,改进算法较传统算法在耗费代价和错检率上分别降低0.34%和1.57%,验证了改进算法的有效性和准确性.

基于改进Single-Pass算法的话题发现技术研究

为了在海量的移动互联网数据中自动识别出新闻话题,分析经典Single-Pass聚类算法及其不足,提出针对性改进方法完成新闻话题发现。改进算法继承Single-Pass聚类算法的原理,通过对关键信息加权和引入时间因子提高算法的聚类精度;通过设置话题中心与待聚类文本比较来降低算法的计算开销。实验表明,改进后的算法相比于经典算法在准确率、召回率和F值三个指标上有所提高。

基于Single-Pass的军事网络舆情监控系统设计

军事网络舆论导向是人们获取军事信息的主要来源,这些舆论信息将直接影响人们的判断,甚至危害社会安全。本文基于军事主题特点,对比常见的文本聚类算法,改进传统的Single-Pass算法,设计适合军事主题的网络舆情监控系统,准确率和召回率都高于Single-Pass算法5个百分点以上,达到较好的效果,从而为相关部门制定决策提供可靠依据。

基于LDA模型和多层聚类的微博话题检测

随着微博这一新兴社交媒体的广泛应用,以微博为背景的相关研究不断涌现,其中基于微博的话题检测是当前研究的热点之一。结合微博文本的相关特点,文中提出了一种基于LDA模型和多层聚类的微博话题检测方法。首先,通过LDA模型对微博数据建模并提取特征;其次,利用改进的Single-Pass聚类和层次聚类对微博数据进行聚类,从而发现热点话题。通过在大规模微博数据上进行话题检测实验,通过LDA建模比通过TF-IDF进行特征选择和权重计算效果好;改进的Single-Pass聚类能够处理第一遍Single-Pass聚类未处理的微博,提高了初步聚类的精度,并且为下一步层次聚类减少了时间;多层聚类的聚类效果在准确率、召回率和F值三方面均比单一聚类算法的聚类效果好。显然,文中的话题检测方法是可行的,也是有效的。

敏感话题发现中的增量型文本聚类模型

面对网络上更新快速的海量新闻,如何快速、有效地从中自动发现敏感话题并进行持续跟踪是当下研究的热点。文章以网络舆情分析系统为应用背景,针对其敏感话题发现过程,通过对TDT领域应用较多的Single-pass算法进行改进,提出了一种基于相似哈希的增量型文本聚类算法。基于实际应用中抓取到的新闻文本数据,实验结果表明,文章提出的算法相比于原Single-pass算法在聚类效率方面具有明显提升。从实际应用的效果来看,该算法达到了实时话题发现的预期需求,具有较高的实用价值。

基于Single-Pass的网络话题在线聚类方法研究

基于Single-Pass算法思想,研究网络话题的在线聚类方法,以期及时捕捉网络信息的动态变化在分析该方法聚类流程的基础上,重点研究网络动态信息流的文本特征抽取和权重计算方法,以及话题类表示和更新等关键问题,设计实验对比分析不同的标题中特征加权系数、特征权重计算和标准化方法以及话题类向量维度对话题聚类质量和时间效率的影响。

基于改进TF* PDF算法的网络新闻热点话题检测和跟踪

对网络新闻文本进行研究,发现网络新闻结构包含标题和正文,基于这种结构提出加权词频统计方法,该方法提高了可能成为热点话题的特征项的权重。通过Single-Pass聚类算法,对新闻报道进行聚类,得到话题列表。基于TF*PDF思想,引入话题权重,提出新的话题热度计算方法,同时使用"话题指数"描述话题的发展趋势。通过实验表明新的热度计算方法比原热度计算方法检测效果好,得到的话题发展趋势与实际吻合。

基于用户角色定位的微博热点话题检测方法

针对在海量微博数据中提取热点话题效率较低的问题,在对用户角色分类的基础上,提出了一种新的热点话题检测方法。首先,根据用户关注度进行用户角色定位,过滤掉部分用户的噪声数据;其次,采用结合语义相似度的TF-IDF函数计算特征权重,降低语义表达形式带来的误差;然后,用改进的Single-Pass聚类算法进行话题聚类,提取出微博话题;最后,根据微博转发数、评论数等对话题热度进行评估排序,从而发现热点话题。实验表明,所提出的方法使漏检率和误检率分别平均降低12.09%和2.37%,有效地提高了话题检测的正确率,验证了该方法的可行性。

面向藏文WEB的话题发现系统的设计

针对互联网上新闻网站和论坛、博客等发布的海量自然语言文本,本文设计了一个面向藏文的话题发现系统,将大量藏语文本分类整理并聚合成各个话题。本文采用两层聚类策略对文本进行聚类,实验结果表明文本聚类取得了不错的结果,具有较高的应用价值。