双重选词和启发式约简的粗糙集文本分类

本文研究使用粗糙集对文本分类的方法,提出一种双重特征选取的特征项选取方法,该方法将加权后的TF-IDF和CHI两种方法相结合,取它们的交集,这样可以过滤掉一些代表性较弱的特征词。另外本文对基于区分矩阵核的启发式约简算法做了改进,加入了一个代表性强的特征词集,以保证重要的特征词不被约简掉。实验表明使用双重特征选取和改进后的启发式约简所得的分类效果良好。

基于相对比较法的文本特征提取

文本自动分类中,比较常用的特征选择算法是通过评估函数来计算特征对类别的区别能力,虽然对这些方法已有了大量的改进,但是特征选择还有进一步改进的空间。本文提出了一种新的文本自动分类特征选择算法--基于相对比较法,该方法考虑特征与特征之间的相关性,不仅选择出对文本区别度大的特征词作为特征词集,还减少了冗余的特征词,从而降低文本特征向量的维数,提高文本分类的效率。

基于词频和情景语义的产品特征提取方法

为解决目前产品特征提取方法在种子特征词集构建上存在需要大量人工标注、代表性不足等问题,提出一种基于词频和情景语义的产品特征提取方法。通过少量高频名词和关联规则构建种子特征词集,采用神经网络语言模型进行词向量训练,再通过计算向量间余弦相似度对种子特征词集进行扩充,最后经人工分类后得到完整的产品特征词典。实验结果显示,该方法采用种子特征词集相似度排名前九的单词(top9)来进行产品特征扩充时效果最好,F1值达到了76.44%。此外,与K-means+Word2vec、LDA等方法在top5,top10,top15,top20水平上的对比实验表明,无论是准确率、召回率还是F1值,该方法都更优。

基于全局性确定聚类中心的文本聚类

文本聚类关键是有效解决特征词向量选择及特征词权重计算方法、文本相似度计算方法、聚类中心确定等三个问题。针对相关算法在三个关键环节上存在的问题,提出了适合自由文本特点的特征词权重计算方法和文本相似度计算方法;在此基础上提出了改进的CBC算法,从全局上自适应地确定文本集中的各个聚类中心。算法在实验中准确地确定了各个聚类中心,并在两个文本集上分别获得88.50%和94.00%的聚类准确率。

结合时间信息的事件追踪的动态模型

针对互联网新闻事件追踪,结合时间信息提出了一种用于事件追踪的动态模型。该模型将时间因素加入到传统向量模型中,在此基础上得到文档与事件包含的相同特征词之间的时间相似度,并将其应用于文档与事件的相关性计算。若文档与事件相关,则把文档中新的特征词加入事件特征词集并重新调整事件特征词集中特征词的权重和时间信息。实验采用检测错误权衡(DET)曲线进行评估,结果显示与传统向量模型相比,用于事件追踪的动态模型有效地提高了系统性能,其最小的归一化追踪损耗代价降低了约9%。

语义文本挖掘算法优化研究

本文介绍了语义文本挖掘的相关理论及学术概念,阐述了文本挖掘过程及贝叶斯算法等概念,针对文本算法"贝叶斯算法"在文本分类领域的应用算法进行了优化并通过对newsgroup文档集进行了实验而给出了优化结果。探索了对朴素贝叶斯算法的优化。

基于语义分析法的投资理财类金融产品用户感知模型研究

用户评价与反馈是互联网产品迭代优化过程中重要的需求来源之一。本文基于用户评论,通过认知心理学中的语义分析方法,从大量的用户评论数据中提取并构建了基于用户评价的语义特征集,得出包括11类名词和8类形容词在内的特征词集,并运用统计学方法,有效地验证了数据的可靠性和独立性。同时,根据名词大类标签之间的相关性矩阵,提炼出包含"动态簇""静态簇"和"信息簇"的三大强关系簇,得出了用户与系统交互时三个最为明显的感知点及其之间的关系,并创新性地提出了基于语义分析法的用户感知模型的构建方法,以期为后续的投资理财类金融产品需求分析、交互设计工作从用户侧提供有效指导。