基于字频向量的中文文本自动分类系统

本文提出了一种根据汉字统计特性和基于实例映射的中文文本自动分类方法。该方法采用汉字字频向量作为文本的表示方法。它的显著特点是引入线性最小二乘方估计技术建立文本分类器模型 ,通过对训练集语料的手工分类标引以及对文本和类别间的相关性判定的学习 ,实现了基于全局最小错误率的汉字—类别两个向量空间的映射函数 ,并用该函数对测试文本进行分类。

基于字频相似度的《红楼梦》作者辨析

基于《红楼梦》文本,统计120回每一章回的单字字频数据形成字频向量作为每一回的特征向量,并推算它们之间的余弦相似系数,进而推算前80回之间、后40回之间、以及前80回与后40回交叉的相似系数平均水平,并分别用t检验与Wilcoxon秩和检验两种假设检验方法,考察三者之间差异的显著性水平,结果表明,如果认可前80回为曹雪芹一人所著,那么更有理由认为后40回也出自一人之手;前80回与后40回来自两位不同的著者,同时不排除前80回有后人增补的痕迹,后40回有曹雪芹遗留的残稿,差异均具有极其显著性水平。

一个中文文本自动分类数学模型

本文提出了一种根据汉字统计特性和基于实例映射的中文文本自动分类模型。该模型采用汉字字频向量作为文本的表示方法。它的显著特点是引入线性最小二乘方拟合（ＬｉｎｅａｒＬｅａｓｔＳｑｕａｒｅＦｉｔ，ＬＬＳＦ）技术建立文本分类器模型，通过对训练集语料的手工分类标引以及对文本和类别间的相关性判定的学习，实现了基于全局最小错误率的汉字———类别两个向量空间的映射函数，并用该函数对测试文本进行分类。

电子邮件过滤新方法的研究与实现

电子邮件给人们带来极大便利,但垃圾邮件的日益泛滥,也给人们带来了极大的不便和危害。传统的邮件过滤方法的过滤精度较低,不能很好满足需要。文中提出了一种基于向量空间模型的电子邮件过滤系统,并对向量空间模型进行了改进:采用字作为文本向量的特征表示,并且在字频向量的特征提取时采用了一种新的特征提取函数,从而提高了邮件分类的精度,达到了较好的过滤垃圾邮件的目的。