通信垃圾文本识别的半监督学习优化算法

在对非平衡通信文本使用随机下采样来提高分类器性能时,为了解决随机下采样样本发生有偏估计的问题,提出基于否定选择密度聚类的下采样算法(NSDC-DS)。利用否定选择算法的自体异常检测机制改善传统聚类,将样本中心点和待聚类样本分别作为检测器和自体集,对两者进行异常匹配;使用否定选择密度聚类算法对样本相似性进行评估,改进传统的下采样方法,使用NBSVM分类器对采样后的通信样本进行垃圾识别;使用PCA对样本所具有的信息量进行评估,提出改进的PCA-SGD算法对模型参数进行调优,完成通信垃圾文本的半监督识别任务。为了验证改进算法的优越性,使用不平衡通信文本等多个数据集,在否定选择密度聚类、NSDC-DS算法、PCASGD与传统模型上进行对比分析。实验结果表明,改进的模型不仅具有较好的通信垃圾文本识别能力,而且具有较快和稳定的收敛速度。

基于自适应Voronoi检测器的故障检测算法

否定选择算法在单分类算法中具有良好特性,但在故障检测中,传统的否定选择算法训练时间过长,实际的检测精度不高。针对这些问题,提出一种基于自适应Voronoi检测器的否定选择算法。算法利用自体空间的内外边界样本生成检测器,弥补了实值检测器存在孔洞的缺陷,提高了检测器的覆盖率,且检测器仅需一次训练,减少了训练时间。通过对Iris数据和华北某电厂真实数据进行实验,将传统否定选择算法同V-Detector算法进行对比。实验证明该算法相对传统否定选择算法减少了检测器的生成时间,提高了算法整体的检测精度,避免了检测器间孔洞的发生。