基于自适应梯度压缩的高效联邦学习通信机制研究

针对物联网(IoTs)场景下,联邦学习(FL)过程中大量设备节点之间因冗余的梯度交互通信而带来的不可忽视的通信成本问题,该文提出一种阈值自适应的梯度通信压缩机制。首先,引用了一种基于边缘-联邦学习的高效通信(CE-EDFL)机制,其中边缘服务器作为中介设备执行设备端的本地模型聚合,云端执行边缘服务器模型聚合及新参数下发。其次,为进一步降低联邦学习检测时的通信开销,提出一种阈值自适应的梯度压缩机制(ALAG),通过对本地模型梯度参数压缩,减少设备端与边缘服务器之间的冗余通信。实验结果表明,所提算法能够在大规模物联网设备场景下,在保障深度学习任务完成准确率的同时,通过降低梯度交互通信次数,有效地提升了模型整体通信效率。

一种基于4Bit编码的深度学习梯度压缩算法

对梯度数据进行压缩,是一种减少多机间通信开销的有效方法,如MXNet系统中的2Bit方法等。但这类方法存在一个突出的问题,即过高的压缩比会导致精度及收敛速度下降,尤其是对规模较大的深度神经网络模型。针对上述问题,提出了一种新的4Bit梯度压缩策略。该方法采用4个比特位表示一个具体的梯度值(通常为32位的浮点数)。相对于2Bit,该方法能够对梯度值进行更细粒度的近似,从而提高训练结果的准确率和收敛性。进一步地,根据网络模型每一层梯度特性的不同,选择不同的近似阈值,使得压缩后的数值更合理,从而进一步加快模型的收敛速度并提高最终准确率;具体地,兼顾操作的方便性和分布的合理性,根据每层梯度特性的不同,设置3组不同的阈值,以满足不同层梯度差异化特性的需求。实验结果表明,使用多组阈值的4Bit梯度压缩策略虽然在加速方面略逊于2Bit方法,但其准确率更高,实用性更强,能够在保持模型更高精度的前提下减少分布式深度学习系统的通信开销,这对于在资源受限环境下实现性能更好的深度学习模型非常有意义。

高动态范围图像梯度压缩算法

高动态范围(HDR)图像是一种可以表示实际场景中亮度大范围变化的图像类型,图像中的像素值正比于场景中对应点的实际亮度值,因此,可以更好地表示场景中亮区和暗区的光学特性。为了在常规显示硬件上显示HDR图像,采用梯度压缩算法,在亮度图像梯度域上对大梯度进行衰减,压缩图像亮度的动态范围。实验结果表明,该算法能对HDR图像进行较高视觉质量的显示。

基于梯度压缩的YOLO v4算法车型识别

为进一步提高智能交通系统对车辆及不同车型识别的泛化性、鲁棒性与实时性.根据检测区域的特征有针对性地构建数据集,改变余弦退火衰减(CD)学习率的更新方式,提出一种基于梯度压缩(GC)的Adam优化算法(Adam-GC)来提高YOLO v4算法的训练速度、检测精度以及网络模型的泛化能力.为验证改进后YOLO v4算法的有效性,对实际路况的车流进行采集后,利用训练完成的网络模型对不同密度车流进行定量的车型检测实验验证.经实验验证,改进后方法的整体检测结果要优于改进前,YOLO v4和YOLO v4 GC CD训练得到的网络模型在阻塞流样本下检测得到的准确率分别为94.59%和96.46%;在同步流样本下检测得到的准确率分别为95.34%和97.20%;在自由流样本下检测得到的准确率分别为95.98%和97.88%.

基于梯度压缩的色阶重建算法

为了能够在传统的显示设备上显示高动态范围图像,探讨基于梯度压缩的色阶重建算法,以其对高动态范围图像进行压缩。该算法通过对图像的梯度进行衰减来修改亮度图像的梯度域,并在修改后的梯度域上求解泊松方程,结果得到一个新的低动态范围图像。实验证明,该算法对动态范围进行压缩的同时能保留图像很好的细节,可避免传统方法所出现的光晕和梯度反转等问题。

提升联邦学习通信效率的梯度压缩算法

联邦学习通过聚合客户端训练的模型,保证数据留在客户端本地,从而保护用户隐私.由于参与训练的设备数目庞大,存在数据非独立同分布和通信带宽受限的情况.因此,降低通信成本是联邦学习的重要研究方向.梯度压缩是提升联邦学习通信效率的有效方法,然而目前常用的梯度压缩方法大多针对独立同分布的数据,未考虑联邦学习的特性.针对数据非独立同分布的联邦场景,本文提出了基于投影的稀疏三元压缩算法,通过在客户端和服务端进行梯度压缩,降低通信成本,并在服务端采用梯度投影的聚合策略以缓解客户端数据非独立同分布导致的不利影响.实验结果表明,本文提出的算法不仅提升了通信效率,而且在收敛速度和准确率上均优于现有的梯度压缩算法.

梯度压缩腿套对新兵训练应力性骨损伤的影响

[目的]探讨新兵训练期间佩戴梯度压缩腿套对下肢应力性骨损伤发生的影响。[方法]本研究于2023年3月—6月在陆军某新训基地进行。共460名入伍新训男性学员纳入本研究,采用随机数字表法将研究对象分为穿戴组和未穿戴组,每组230人。穿戴组新训学员全程穿戴梯度压缩腿套,未穿戴组则不穿戴腿套,两组接受相同的训练科目。本研究在试验前、试验后1个月和2个月后进行评估,确定应力性骨损伤的发生情况,比较两组疼痛程度、疲劳程度。[结果]试验后2个月,应力性骨损伤阳性体征者,穿戴组为11例(4.8%),未穿戴组为44例(19.1%)。MRI确诊为应力性骨损伤者,穿戴组为3例(1.3%),未穿戴组为14例(6.1%),两组间差异有统计学意义(P=0.011)。试验前两组的VAS评分、Borg评分的差异均无统计学意义(P>0.05)。在试验后1、2个月,穿戴组VAS[(1.3±1.2)vs(1.7±1.3),P=0.001;(1.4±1.3)vs(1.9±1.5),P<0.001]和Borg评分[(13.0±1.1)vs(13.7±1.3),P<0.001;(13.2±1.1)vs(13.8±1.4),P<0.001]均显著低于未穿戴组。[结论]在新兵训练过程中,梯度压缩腿套可以有效改善下肢运动后疼痛和疲劳,减少应力性骨损伤发生率。

基于区域梯度压缩的少纹理目标候选框提取算法

针对某些应用中目标表面纹理较少,目标检测困难的问题,提出了一种基于区域梯度压缩的少纹理目标候选框提取算法。该算法是对模板匹配算法OCM的改进。算法对局部区域梯度方向进行压缩,保持了较低的计算复杂度,并且提出了新的梯度方向压缩方法与相似度衡量方法。实验证明,该算法相较于OCM算法,在产生接近数量候选框的情况下,召回率提高了6.5%;在召回率接近时,产生的候选框数量减少了41.9%。

降低分布式训练通信的梯度稀疏压缩方法

针对现有的梯度稀疏压缩技术在实际应用中面临时间开销大的问题,基于分布式训练中残差梯度压缩算法提出低复杂度、能快速选取top-k稀疏梯度通信集的方法.采用Wasserstein距离确定梯度分布特征符合Laplacian分布;利用Laplacian分布曲线面积关系确定关键点,并通过最大似然估计简化特征参数;估计稀疏梯度top-k阈值,并结合二分搜索对阈值修正.该方法避免了现有随机抽样方法的不稳定性和数据排序之类的复杂操作.为了评估所提方法的有效性,在图形处理器(GPU)平台采用CIFAR-10和CIFAR-100数据集对图像分类深度神经网络进行训练.结果显示,与radixSelect和层级选择方法相比,在达到相同训练精度的情况下,本研究方法最高分别实现了1.62、1.30倍的加速.

高效通信的在轨分布式高光谱图像处理

随着在轨遥感卫星数量的增加及高光谱成像技术的进步,能够获取到的高光谱数据量急剧增长,人类步入了大数据应用和数据驱动的科学发现时代。然而,如此大体量、大幅宽的高光谱数据导致了深度学习算法难以在单节点上学习和推理,为实时高效的信息智能解译带来了极大的挑战。因此,需要综合多星资源分布式协同解析,以解决分块处理带来的块效应。然而,协同处理必然伴随着信息的交互与传输,为进一步降低传输信息量,需要对梯度进行压缩,以缓解分布式学习中的通信瓶颈。本文综合探讨了多种主流的高效通信梯度压缩算法,特别关注其在通信受限的在轨环境下的优劣,并展望了梯度压缩的发展趋势。通过广泛的试验对比,本文全面评估了多种梯度压缩方法在高光谱图像处理中的表现,试验证明不同方法的适用性和性能差异,为未来在实际应用中选择最合适的梯度压缩方法提供了有力的参考。

基于联盟链的可信联邦学习方法

针对基于中央服务器的联邦学习存在的梯度泄露、投毒攻击和单点故障问题,设计一种基于联盟链的可信联邦学习方法。在客户端上传梯度前对梯度进行稀疏化,有效降低梯度泄露风险,缓解通信压力;根据参数质量筛选优质梯度进行全局聚合,降低投毒攻击对模型的影响;提出一种基于双因子贡献的区块链共识算法,在有效激励联邦学习客户端参与训练的同时,提高了系统的稳定性。实验结果表明,基于联盟链的可信联邦学习方法抗投毒攻击能力提高了30%,能够有效降低梯度泄露和系统中心化程度,提高了联邦学习的安全性。

基于双边滤波的多尺度分层色调映射算法

为增强高动态范围图像(High dynamic range,HDR)的显示效果,本文提出一种多尺度梯度域色调映射算法。首先提取高动态范围图像的亮度信息,利用双边滤波将高动态范围图像的亮度数据进行多尺度分解,得到基本层和细节层。由于视觉上的亮度变化体现为图像数据的梯度变化,因此可在梯度域对基本层图像进行自适应动态范围压缩,然后加上细节层图像信息,最后再通过色彩校正算法恢复图像色彩,实现HDR图像的动态范围压缩。通过对比算法的定量分析表明,本文算法的方差和信息熵的客观指标分别提高了30.8%和5.9%,因此,本文方法在压缩HDR图像的动态范围的同时,可以更好地保留边界、纹理等细节信息。

一种面向边缘计算的高效异步联邦学习机制

随着物联网和移动设备性能的不断提高,一种新型计算架构——边缘计算——应运而生.边缘计算的出现改变了数据需要集中上传到云端进行处理的局面,最大化利用边缘物联网设备的计算和存储能力.边缘计算节点对本地数据进行处理,不再需要把大量的本地数据上传到云端进行处理,减少了数据传输的延时.在边缘网络设备上进行人工智能运算的需求也在逐日增大,因为联邦学习机制不需要把数据集中后进行模型训练,所以更适合于节点平均数据量有限的边缘网络机器学习的场景.针对以上挑战,提出了一种面向边缘网络计算的高效异步联邦学习机制(efficient asynchronous federated learning mechanism for edge network computing,EAFLM),根据自适应的阈值对训练过程中节点与参数服务器之间的冗余通信进行压缩.其中,双重权重修正的梯度更新算法,允许节点在学习的任何过程中加入或退出联邦学习.实验显示提出的方法将梯度通信压缩至原通信次数的8.77%时,准确率仅降低0.03%.

基于CS-GPSR的电容层析成像图像重建算法

提出将基于压缩感知(CS)理论的稀疏梯度投影(GPSR)算法应用于电容层析成像(ECT)图像重建过程中。采用离散Fourier变换(DFT)基将原始图像灰度信号进行稀疏化处理;将ECT灵敏度矩阵的各行按随机顺序进行排列,得到ECT系统观测矩阵,同时将测量电容向量的各行按相同顺序进行排列,得到观测投影向量;使用GPSR算法进行图像重建。仿真实验结果表明:基于CS理论的GPSR(CS-GPSR)算法重建图像质量明显优于LBP算法和Landweber迭代算法。本文所述算法可实现较高精度的图像重建,为ECT图像重建的研究提供了一种新的手段。

基于免组装有限元的悬架控制臂拓扑优化

为了提高拓扑优化在实际工程应用中的速度,将一种基于拓扑灵敏度的拓扑优化算法与免组装有限元法结合,对汽车悬架控制臂进行多工况拓扑优化.该方法使用一致的体素单元划分网格,用压缩共轭梯度法(DCG)加速有限元的求解,得到结构的应力和应变场,从而获得拓扑灵敏度场,用来控制结构拓扑变化.通过添加多工况优化以及加工约束功能,使该方法更符合工程应用的要求.通过对比,该方法和商用软件能够获得性能接近、形状相似的优化结构,而整个优化过程的速度有显著提高.

河南省6所医院护士对机械预防静脉血栓栓塞症的认知水平

目的了解河南省6所医院护士对机械预防静脉血栓栓塞症(VTE)的认知水平情况和实施现状,发现临床现存问题,为下一步提出针对性的改进和培训方案提供指导。方法采用自行设计的《护士对机械预防静脉血栓栓塞症认知水平问卷》,对河南省6所医院共1938名临床护士进行调查,得出护士对VTE机械预防措施作用认知的现状,比较并分析影响认知差异的原因。结果临床护士所在医院成立VTE管理团队/教学组的有1237名(66.11%),在其中担任职务的有181名(9.67%),目前临床开展针对VTE的相关知识、组织护理培训和学习的覆盖率高达98.81%,但培训效果较差,机械预防措施回答正确率仅为14.54%。有36.99%的护士认为单独使用间歇性充气加压装置(IPCD)装置会增加无症状性DVT发展成肺栓塞(PE)的风险,27.1%的护士认为单独使用梯度压缩弹力袜(GCS)会面临同样风险。当排除使用禁忌证后,53.02%的护士认为可以单独使用IPCD,51.58%认为可以单独使用GCS。VTE相关知识是否培训、医院层级、学历层次与护士对IPCD/GCS等装置的认知间存在统计学差异(P<0.05)。护士职务及所在科室与护士对IPCD和药物预防作用差异有统计学意义(P<0.05)。结论基于该省6所医院的临床护士对机械预防VTE认知水平调查结果显示,护士对其作用的认识模糊,定位不明确。各级医院尤其是一二级医院应加强对低学历、普通内科护士、无职务护士的培训,并努力提升培训效果。未来需要加强该省院内VTE的组织管理及护理培训工作,使护士明晰其作用和定位,同时,实时跟进最新循证证据,为进一步提出针对性的改进和培训方案提供指导。