面向元信息分类的支持向量机改进技术

针对传统元信息分类方法的准确率不能满足主动P2P网络监测模型要求的问题,提出了一种基于改进支持向量机算法的元信息分类方法.该方法首先通过在加权最小二乘支持向量机的基础上加入对数据偏斜的处理,解决了元信息分类时关键词特征稀疏和样本高度不均衡问题,在对元信息文件名进行分词时,加入了词条之间的组合关系处理,在进行特征向量表示时,加入了对词条权值和语义属性的处理,最后使用基于粗糙集的属性规约方法进行特征向量选择,有效地降低了特征向量维度.实验结果表明,与传统方法相比,所提方法在进行元信息分类时能够大幅度提高分类准确率,准确率可达到97.8%,完全能够满足主动P2P网络监测模型的要求.

面向P2P特定信息的爬虫改进技术

针对现有主题爬虫技术在获取"元信息"时会抓取大量不相关网页的问题,对现有主题爬虫技术进行改进,加入了URL分类技术。该分类方法根据提供的URL样本信息,生成多个不相关URL关键词集合以及"元信息"URL关键词集合;对集合中的关键词设置权限信息,设置集合的分类判断阈值;将URL使用特征向量表示,计算与关键词集合的距离,对URL进行分类;对算法性能进行了详细分析。实验结果表明,所提方法在进行"元信息"获取时,与传统主题爬虫技术相比能够大幅度提高效率,在相同时间内,"元信息"获取数量可增加96.21%,完全能够满足主动监测模型对网络爬虫的性能要求。