基于X^2统计的改进文本特征选择方法

为克服传统X^2统计模型未考虑特征词频数因素不足的缺陷,根据特征项的词频数及其在类间、类内不同分布情况,提出一种改进的X^2统计特征选择方法,使特征频数信息得到有效利用。实验对比改进前后的方法对文本分类的结果,实验结果表明,改进后方法的分类效果优于传统X^2统计方法,验证了其有效性。

一种改进的X^2统计量方法

对文本特征提取中的统计量方法进行了介绍,并且指出了该方法在分类中的不足之处;在此基础上,提出了一种改进的特征选择方法,并把该方法应用到后续的文本分类中.分类实验结果表明,分类准确率得到了一定的提高.

认知诊断模型-资料拟合检验统计量及其性能

本文将IRT常用资料-模型拟合检验统计量χ2和G2引入认知诊断领域,具体讨论了这两个统计量在认知诊断资料-模型拟合检验的可行性及其侦查效果,为研究者及实际应用者在认知诊断资料模型拟合检验中提供借鉴及方法学支持。

数值天气预报时效统计检验方法的研究与应用

本文采用X2统计检验方法,对3000多组降水预报和实况数据进行了统计分析,求算了两个部门所做的数值天气预报的时效。结果如下:中国气象局在气象网上发布的数值天气预报时效为7.0 d,达到国际先进水平;XX公司发布的数值天气预报时效为2.0-4.5 d,预报水平落后于中国气象局12-17 a。

用于不完整数据的选择性贝叶斯分类器

选择性分类器通过删除数据集中的无关属性和冗余属性可以有效地提高分类精度和效率.因此,一些选择性分类器应运而生.然而,由于处理不完整数据的复杂性,它们大都是针对完整数据的.由于各种原因,现实中的数据通常是不完整的并且包含许多冗余属性或无关属性.如同完整数据的情形一样,不完整数据集中的冗余属性或无关属性也会使分类性能大幅下降.因此,对用于不完整数据的选择性分类器的研究是一项重要的研究课题.通过分析以往在分类过程中对不完整数据的处理方法,提出了两种用于不完整数据的选择性贝叶斯分类器:SRBC和CBSRBC.SRBC是基于一种鲁棒贝叶斯分类器构建的,而CBSRBC则是在SRBC基础上利用χ2统计量构建的.在12个标准的不完整数据集上的实验结果表明,这两种方法在大幅度减少属性数目的同时,能显著提高分类准确率和稳定性.从总体上来讲,CBSRBC在分类精度、运行效率等方面都优于SRBC算法,而SRBC需要预先指定的阈值要少一些.

基于特征选择的实体关系抽取

提出了一种实体关系抽取方案,该方案针对实体关系抽取中特征空间维数过高问题,引入了文本分类中的特征选择算法,如信息增益、期望交叉熵和x2统计,实现了特征空间降维。实验结果表明,各特征选择算法均能在尽量保证抽取性能的同时有效地降低向量空间维数,提高分类效率,其中x2统计取得的效果最好。

基于交叉覆盖算法的文本分类

分类是文本信息搜索和挖掘的核心内容,被广泛应用于搜索引擎的设计以及数据挖掘的研究中。首先对文本进行分词,对分词的结果采用x2统计量的方法提取特征,再使用前向神经网络的交叉覆盖算法作为分类器进行文本分类。实验表明,x2统计量可大规模降低特征维数,在此基础上结合交叉覆盖算法的优秀分类能力,可在特征维数较低的情况下获得一个性能较好的文本分类器。

文本分类中特征提取方法的比较改进

介绍了IG(Information gain)信息增益,MI(Mutual information)互信息值,CHI(χ2统计法)、DF(Document frequency)文档频率4种常用的文本特征提取方法,然后针对CHI方法提出了改进方法,并对改进的方法进行了实验分析,结果表明改进的方法提高了文本分类的正确率.

应用谱直方图相似性的纹理图像分割研究

提出基于谱直图相似性的纹理图像分割算法,在提出的纹理分割算法中,无需选择种子点。首先通过使用一组滤波器来获取纹理图像的纹理特征,基于空域/频域的表示方法,使用谱直方图作为特征统计,然后利用x2统计特征度量谱直方图之间的相似性,得到初始分割,然后基于形态学骨架化的原理,对区域边界进行精确定位,得到最终的分割结果。实验结果验证了算法的有效性。

文本分类中基于改进的词语权重算法的研究

文本分类领域中,TF-IDF特征权重是一种常用的分类算法。本文介绍了TF-IDF特征权重算法,对于能够表征文本特征的文本特征词,常常按某一方法赋予相应的权重,表示它们对于区分文本类别的重要程度。但是在该算法中将训练集的文档看成一个整体来考虑,不能表示特征项与类别之间的关联特性。针对该弊端本文引进了x2统计量函数计算权重。实验结果表明改进的TF-IDF权重算法是可行的,同时也比较好地提高了分类器的性能。