基于自适应结构学习的深度文本聚类

近年来,将结构信息应用于深度文本聚类中以提升聚类效果取得了较优的成果。然而,结构信息的构造方法大多只进行简单的距离测算且近邻数量固定,导致构建的图难以获得较精确的文本结构信息。另外,众多方法对近邻文本只进行一阶挖掘,使图结构信息未得到完全挖掘,限制了结合结构信息的深度文本聚类性能。为此,提出一种基于自适应结构学习的深度文本聚类模型DCMBS。首先,设计一种阈值构图方法,动态调整近邻文本数量,解决因近邻文本固定存在结构信息不精确的问题;其次,引入一种拓扑探索近邻的方法,对近邻文本进行多阶挖掘,解决以往方法只进行一阶挖掘存在结构信息不完整的问题。此外,设计了1个阈值衰减策略,避免拓扑过程中因拓扑阶数增加导致学习泛化。在4个真实数据集的实验结果表明,DCMBS与现有较好的聚类模型相比,准确度、归一化互信息(NMI)和调整兰德指数(ARI)平均提高了6.83、2.93、6.23个百分点。

超文本信息结构导航力分析

本文以超文本信息组织为基点 ,引入了线性力、自由度和导航力三个术语来对超文本信息结构进行分析 ,通过对它们之间关系的分析 。

基于增强加权共现图和图核相似性的文本分类方法

为有效表示文本结构信息,提高文本分类性能,提出一种增强加权共现图的文本分类方法。利用加权共现图表征文本,基于术语与文本分类的相关性对术语及其相依性进行加权;通过词相似性矩阵对加权图进行增强,增强图的节点和边。采用基于边匹配的图核,计算文本之间的相似性。实验在3个公开数据集上进行,在标准设置情况下,相比于其它优秀方法,所提方法在精度、召回率和F1得分提高约5%。在少量标注样本情况下,所提方法Micro-F1的增益在3%到8%之间。

基于多元信息加权协调的超文本分类算法

本文综合利用超文本的各种多元化信息规则,提出一种基于多元信息加权协调的超文本分类算法。该算法在分类时,通过对抽取到的数据集超文本文档中的超文本信息进行加权处理,更好的综合协调地利用了超文本的多元结构化信息。通过三个数据集的综合实验,结果表明,相较于单独利用某种超文本结构信息进行分类的方法,基于多元信息加权协调超文本算法具有较好的性能。

一种改进的基于VSM的文本分类算法

在文本分类中,向量空间模型(VSM)是常用的文本表示形式,但是它把文本看作词袋,忽略了文本的结构信息。通过区别对待文本的不同部分来改进基本的向量空间方法:对于标题和段落首尾句采用核心词共现的方法来计算其对分类的作用;对其它部分采用基本的向量空间模型方法进行计算。对这两部分的计算结果进行加权求和,来综合判定文本的类别。对改进的文本分类方法进行了测试,实验结果表明改进的方法提高了分类的精确率、召回率和F1测试值。

双语词汇自动获取系统

介绍了一个基于 Internet的双语词汇获取系统 ,提出了根据文本结构信息和内容信息进行对齐的方法 .该方法的实现不依赖于任何语言的特点 ,从对齐结果中自动抽取双语词汇 ,系统最终的结果词汇又被用作鉴定未知词汇的依据 .所抽取出的词汇反映了大量的新词、专有名词和在不同上下文里的各种译文 ,可以应用在机器翻译和多语种信息检索中 .

基于异构中文在线百科的层次话题构建

中文在线百科包含大量有价值的信息,很多工作成功地将其用于各类知识获取任务。例如,拥有相似话题的文档可以被归为一个概念。从这些在线百科中构建出的针对某一概念的层次话题对于搜索与浏览、信息组织和检索等应用都有很大的帮助。然而,目前尚未出现对在线百科中某一概念层次话题构建的研究。针对中文在线百科的异构性与粗糙性的问题,提出了一种基于贝叶斯网络的话题层次构建方法。该方法同时综合文档的结构化目录信息和非结构化文本信息,采用最大树形图算法自动地在文档所属概念的贝叶斯话题网络中建立层次话题。实验证明,与原有的百科话题结构相比较,所提方法在保持75%的准确性的同时扩充了4倍的内容。