基于Scrapy+LR分类器的暗链检测方法的设计与实现

随着网页被植入暗链的网络安全事件不断增加,传统基于规则检测暗链的规则库覆盖不全面、低检出率等问题更加凸显。设计一种基于Scrapy和LR分类器的暗链检测方法,通过Scrapy爬取目标网页,利用分类器模型检测是否植入暗链,检测结果用来扩充数据集,迭代更新分类器模型。模型训练中利用网格搜索与交叉验证选择最优超参数,最优模型的f1分数达到0.956。此外随着数据集的扩充,测试集的暗链检测召回率及f1分数逐渐提高。

基于特征选择改进LR-Bagging算法的电力欠费风险居民客户预测

本文从电力欠费风险预测的角度出发,提出了一种基于特征选择改进的LR-Bagging(即以逻辑回归为基分类器的Bagging集成学习)算法,其精髓在于每一个训练的LR基分类器的记录和字段均通过随机抽样得到。且算法的终止迭代准则由AUC统计量的变化率决定。该改进算法充分考虑了LR的强泛化能力、Bagging的高精确度,以及特征选择带来的LR基分类器的多样性、弱化的多重共线性与"过拟合"度,效果优于单一LR模型。且最终的实验表明,该改进算法得到的电力欠费居民客户风险预测模型的准确性与有效性得到提升。