基于句子的文本表示及中文文本分类研究

文本挖掘技术是信息资源管理的一项关键技术。向量空间模型是文本挖掘中成熟的文本表示模型,通常以词语或短语作为特征项,但这些特征项只能提供较少的语义信息。为实现基于内容的文本挖掘,本文将文本切分粒度从词语或短语提高到句子,用句子包表示文本,使用句子相似度定义文本相似度,用KNN算法进行中文文本分类,验证模型的可行性。实验证明,基于句子包的KNN算法的平均精度（92.12%）和召回率（92.01%）是比较理想的。

基于改进BoS的Web文本分类研究

提出了改进的文本相似度计算方法,在计算文本的相似度时,赋予不同文本块中的句子不同的权值,同时直接去掉短句子和合并高相似度的句子以精简句子包中句子数量以提高运算速度。改进后的文本相似度计算方法为:先根据句子相似度的计算方法计算句子的相似度,再计算文本块的相似度,最后按照文本块的权值计算整个文本的相似度。经试验证明,改进后的算法在文本召回率、准确率和F1值上都有明显的提高。

基于文本结构树的论文复制检测算法

针对目前学术界抄袭现象日趋严重的问题,提出基于文本结构树的论文复制检测算法。将一篇论文分为三层的结构树:最上层的根节点表示整篇论文,分支节点表示句子包,叶节点表示句子。根据一个函数和句子的综合相似度计算句子相似度,以最大句子相似度计算叶节点相似度,上层节点的相似度由相邻的下层节点相似度计算得到。选用中国期刊全文数据库中的论文进行测试,实验结果证明该算法是可行的、高效的。