结合TFIDF方法与Skip-gram模型的文本分类方法研究

随着时代的发展,各种各样的数据信息不断涌现,如何正确有效地对各种类别信息加以分类、区分,是一个很有研究价值的问题。本文在传统的TFIDF模型的基础上,结合了Skip-gram模型,通过对给定语料库的文本进行类别训练,得到了文本的类别向量,接着计算出文档向量和各类别向量的相似度对文本进行分类。实验证明,该方法在给定的语料库范围内,取得了较好的测试性能,准确率、召回率、F1明显优于余弦定理方法。

面向领域新闻的词汇输入预测

为解决领域新闻中词汇使用频率对输入预测准确度的影响,提出一种面向领域新闻的词汇输入预测方法,结合样本修剪提升LSTM应用于领域新闻词汇预测中的准确性。利用文本的词序关系形成词汇网络,构建词汇相关度度量模型计算词汇间的相关度,依据词汇间的强弱关系进行词汇修剪。基于词序关系,采用LSTM进行训练,生成词汇输入预测序列。实验结果表明,相比传统LSTM模型,所提方法能够提升平均4.73%的准确率,验证了所提方法的可行性与有效性。

基于兴趣的P2P网络关键技术研究

本文提出一种基于兴趣的P2P网络架构和分布式IDF计算方法,并且改进了友邻节点探测机制。该架构结合非结构化网络和兴趣网络。分布式IDF计算方法基于样本集估计单词的IDF值。自适应探测机制和基于TFIDF的特征选择方法有效的减少了探测信令的数目和尺寸,从而减小网络负载。