基于隐式随机梯度下降优化的联邦学习

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。

基于隐式随机梯度下降的恶意代码分类算法

针对目前基于深度学习的恶意代码分类算法易出现灾难性遗忘导致分类准确率不高、收敛过慢的问题,提出基于隐式随机梯度下降的恶意代码分类算法。与现有算法不同,该算法构造内外循环网络结构来协同学习最优网络模型以提高恶意代码分类准确率。在内循环优化阶段,通过优化带有偏好正则项的损失函数迫使内循环网络沿外循环网络方向更新权重从而避免内循环网络遗忘过去学到的知识。在外循环优化阶段,通过求解近似外循环网络梯度并利用隐式随机梯度下降优化外循环网络权重,使得外循环网络能够更快更稳定地收敛。在三个恶意代码数据集上的实验结果表明,该算法有效避免了灾难性遗忘,使用较少训练轮数取得了最高的分类准确率,显著提升了恶意代码分类的稳定性和鲁棒性。

Stratonovich型随机微分方程的三阶隐式型随机Runge-Kutta算法

构造求解Stratonovich型随机微分方程的强1阶收敛的三阶隐式型Runge-Kutta算法——IMRK算法,证明了该算法与现有算法相比,具有更广的稳定区间和更高的精度。

随机微分方程1.5阶随机Taylor方法的指数稳定性

本文针对线性随机微分方程,首先证明了强1.5阶隐式随机Taylor方法能无条件保持解析解几乎处处指数稳定性;其次证明了当0<p<2时,该数值算法能无条件保持解析解的p阶矩指数稳定性(即小阶矩指数稳定性),并给出了验证所得结论的数值算例。

水库调度中隐式与显式随机优化方法的对比

以二滩水电站水库为例,介绍、搭建了隐式与显式随机水库优化调度模型;利用二滩电站的历史径流序列,针对2种随机模型,分别进行了模拟优化调度;对比分析了隐式随机与显式随机的调度结果,得出2种方法的优缺点,并为下一步研究奠定了基础。

顾及超像素光谱特征的无人机影像自动模糊聚类分割法

针对现有流行模糊C均值聚类在影像分割中存在边界依附能力弱,分割不稳定及需要手动设置聚类数目等问题,提出一种顾及超像素光谱特征的无人机影像自动模糊聚类分割方法。相对于传统分水岭变换算法,该方法首先采用两步边界推进准则,生成轮廓更加精确、形状规则更加紧凑的超像素子区域;然后,提取子区域光谱特征并结合重缩放密度峰值算法自动获取聚类数目;最后,综合利用超像素光谱特征与隐式马尔可夫随机场思想对模糊聚类进行改进,实现超像素精确合并。通过两组影像数据的定性分析和定量评价表明,本文方法能准确定位目标边界,获得较好的视觉分割结果,同时有效提高了影像分割精度。