基于联邦平均的异常检测拜占庭容错算法

传统联邦学习训练模型时假定所有参与方可信,但实际场景存在恶意参与方或恶意攻击模型,现有的联邦学习算法面对投毒攻击时,存在模型性能严重下降的问题。针对模型投毒问题,本文提出一种基于联邦平均(federated averaging,Fedavg)与异常检测的联邦检测算法——FedavgCof,该算法考虑到所有参与方之间的差异对比,在中心服务器和本地模型之间添加异常检测层,通过基于聚类的本地异常检测因子(cluster-based local outlier factor,COF)异常检测算法剔除影响模型性能的异常参数,提升模型鲁棒性。实验结果表明,虽然新型投毒方式攻击性更强,但是FedavgCof能够有效防御投毒攻击,降低模型性能损失,提高模型抗投毒攻击能力,相较于Median和模型清洗算法平均提升精度达到10%以上,大幅提升了模型的安全性。

基于Spark框架的瀑布型融合旅游推荐系统

目前旅游信息数据量庞大却无法满足用户的特定需求,很多不确定因素导致用户评分出现偏差,使推荐结果不准确且实时性差。鉴于此,本文提出构建基于Spark框架的瀑布型融合旅游推荐系统。首先,利用爬虫技术对各大旅游网站景点信息进行爬取和整理,搭建Spark框架读取数据并进行数据清洗和预处理,通过API将景点地理位置转换为经纬度坐标以便后续可视化;其次,设计2个过滤层,第一层采用SimHash算法,该算法能够实现海量数据的快速降维处理,有效节约时间。第二层采用余弦相似度算法并利用TF-IDF计算词频,进而过滤和更新旅游景点推荐数据库,最终形成反馈给用户的推荐数据库;最后,用户从系统推荐的Top-N景点选择自己感兴趣的景点,系统将会对其进行地图可视化,并标注每个省市景点的数量和平均票价,为用户提供智能旅游推荐的完美体验。该系统从用户需求出发,通过分析用户需求文本语义,与旅游数据库进行相似度计算进而获得推荐结果,达到了实时性和准确性的统一,是对旅游推荐系统的补充和完善,具有一定的实用价值。

基于NMF-HGS-RF的瓦斯涌出量预测研究

瓦斯涌出量与开采环境和开采技术之间存在复杂的非线性关系,为了精准预测瓦斯涌出量,提出将非负矩阵分解(NMF)和随机森林(RF)相结合,建立煤层瓦斯涌出量预测模型。对沈阳某矿井数据的13个特征指标进行非负矩阵分解实现降维,将提取的5个主要成分作为RF的输入,瓦斯涌出量作为输出,实现回归预测。运用饥饿游戏搜索算法(HGS)对RF进行参数优化,并与麻雀搜索算法(SSA)、冠状病毒群体免疫优化算法(CHIO)、遗传算法(GA)、算数优化算法(AOA)、Aquila优化器算法(AO)、阿基米德算法(ArchOA)参数优化结果进行对比。实验结果显示:NMF-HGS-RF的收敛速度相对较快,预测精度相对较高,其相对误差的平均值为4.74%,而NMF-RF、NMF-SSA-RF、NMF-CHIO-RF等模型相对误差的平均值分别为6.34%、5.85%、6.21%、8.49%、4.95%、6.11%和7.93%。结果表明:NMF-RF预测精度高于未经降维处理的RF,且NMF-HGS-RF相比其他参数寻优后的RF具有更好的预测性能。