基于改进互信息的特征提取的文本分类系统

文章提出并实现了一种改进互信息的特征提取和支持朴素贝叶斯的文本分类系统,改进的互信息算法加强了负值单词的互信息值,弥补了原来互信息预处理算法的不足,从而提高了分类精度.实验结果表明本算法和系统具有较高的分类准确率。

一种改进的互信息特征选取预处理算法

讨论了基于互信息的特征选取算法在文本分类中的性能问题,分析了利用这种特征选取算法存在分类精度不高的原因,认为互信息为负值的特征在分类中具有很重要的作用.在此基础上提出了一种基于互信息特征选取的改进算法,该算法加强了互信息为负值的特征在分类中的作用.实验结果表明,改进后的算法可以有效地提高文本分类精度.

文本分类中改进的互信息特征选择方法研究

特征选择是文本分类的重要环节,评估函数直接影响特征选择的质量,互信息是几种常用的评估函数之一,也是一种分类精度相对较低的特征选择方法。本文在分析传统互信息方法缺陷的基础上,提出了一个改进方案,改进了互信息的计算公式,在其中引入了频度因子和分散度因子,并通过理论和实验证明了这一改进的有效性。

基于互信息的特征提取方法在中文法律案情文本分类中的改进及应用

本文主要论述了一种改进的基于互信息的特征提取方法及其在中文法律案情文本分类中的应用,文中给出了具体实现过程及实验数据。

基于互信息改进的VMD算法及管道泄漏信号降噪

为了消除供水管道泄漏信号的噪声,准确定位供水管道泄漏位置,提出将基于互信息优化的VMD算法应用于供水管道泄漏振动信号的降噪处理。在处理前期,根据泄漏信号幅频特性,确定泄漏信号特征频带,并通过分析各模态函数中心频率确定合适的分解参数K。在处理后期引入作为各模态分量的评价指标,选择合适模态分量重构信号,并使用带通滤波器对重构信号进行滤波。经实验和实地测试表明该算法能有效提高定位精度。

改进的文本特征选取算法研究

特征选取的好坏决定了文本分类的准确度。文本特征选取通常有文档频率、互信息、信息增益、卡方统计量等方法。文中讨论了文档频率和互信息在特征选取时的缺点,基于这些缺点,提出了一种混合文档频率和互信息的改进算法。文档频率进行特征选取时会偏向选择高频词,而没有考虑到该词是否在类别间有区分度,所以提出通过计算词的文档频率的类别方差作为文档频率的权重来进行特征选取。互信息偏向选择低频词,也忽略了互信息值为负的那些特征作用,有些互信息为负的词反而包含更多的类别信息。所以对互信息的值取了绝对值来加强互信息为负的词的作用。通过对比DF、MI和改进的DFMI的实验结果,发现该算法在精度、召回率和F_1度量上都有所提高,验证了该方法的有效性。

一种新的中文文本分类特征提取的研究

特征提取是中文文本分类中的关键,传统的互信息算法没有考虑特征存在负值时,互信息量对分类的影响,因此削弱了这些特征在分类中的作用.首先提出一种改进的互信息算法,对特征和类的互信息量取绝对值的方法来克服这个缺点.然后实现了基于传统互信息KNN算法和改进互信息FV-KNN算法的两种中文文本自动分类系统.最后实验结果表明改进互信息FV-KNN算法在分类准确率、分类招回率和分类速度上都有较大的提高.