优化梯度增强黑盒对抗攻击算法

对抗样本能够使得深度神经网络以较高置信度输出错误的结果。对抗样本分为白盒攻击和黑盒攻击,白盒攻击目前达到了较高的成功率,而黑盒攻击由于对模型、参数的未知,导致现有黑盒攻击方法的攻击成功率还较低。为了进一步提高黑盒攻击的成功率,提出了一种优化梯度增强黑盒对抗攻击算法。使用混合图像的方式去混合其他类别的图像样本,从而得到混合了其他类别信息的混合梯度。使用上一次迭代过程中的梯度方差去调整当前图像样本的梯度,得到优化梯度。将优化梯度与Adam优化算法结合进行迭代优化生成可迁移性强的对抗样本。在ImageNet数据集上进行了实验,结果表明所提算法能有效提升对抗样本的黑盒攻击性。在单模型攻击和集成模型攻击中的平均攻击成功率分别为71.7%和88.3%,融合了三个基于转换的对抗攻击算法后平均攻击成功率则达到了96.8%。此外,对现有的5个对抗防御模型进行攻击能够实现92.7%的平均成功率,优于当前基于输入转换的攻击方法以及基于梯度的攻击方法。

结合优化梯度滤波与投影不变的航拍视频配准

考虑航拍视频配准中Harris检测的角点位置易发生偏移和产生伪角点以及匹配点精度不一致等问题,提出一种基于优化梯度滤波和投影不变的航拍视频配准算法。首先,提出一种基于优化梯度滤波的Harris检测器来实现角点的精确定位,并选择在尺度变化下局部区域最稳定的角点作为待配准点。然后,利用Delaunay三角网对待配准点进行初始匹配。最后,提出利用交比不变性方法提取精确度最高的少数匹配点,并对模型参数进行估计,完成视频帧间的配准。实验结果表明,利用提出的方法可实现帧间的精确配准,对分辨率为320pixel×240pixel的8组航拍序列的平均几何保真度误差仅为0.869,并能有效提取地面运动目标。

基于深度学习和梯度优化的弹性超材料设计

为了建立灵活通用的弹性超材料快速迭代设计框架,并实现考虑材料离散性的拓扑结构和材料参数同步优化,提出基于深度学习和梯度优化的设计方法.以变分自动编码器和带隙神经网络组成的设计网络作为框架,采用自动微分技术和梯度优化算法,利用梯度信息迭代调整设计变量;提出协同优化策略以考虑材料离散性,使结构优化的同时在材料库中选择最佳材料.基于所提方法分别进行约束条件下带隙宽度最大化和指定带隙区间设计,并探讨同步优化和拓扑构型的影响.结果表明,与材料和拓扑结构的单独优化相比,同步优化具有更优越的性能;在相同带隙目标和材料组成下,多层构型可以设计出更小尺寸的元胞.频域和时域分析的数值模拟结果表明,所设计的超材料结构在目标带隙范围内表现出明显的减振性能.

基于动态批量评估的绿色无梯度优化方法

在基于语言模型即服务的提示词黑盒微调、机器学习模型超参数调节等优化任务中,由于解空间到性能指标之间的映射关系复杂多变,难以显式地构建目标函数,故常采用无梯度优化方法来实现寻优.解的准确、稳定评估是有效实施无梯度优化方法的关键,完成一次解的质量评估常要求在整个数据集上完整运行一次模型,且优化过程有时需要大量评估解的质量.随着机器学习模型复杂度以及训练样本量的不断增加,准确、稳定的解的质量评估时间成本与计算代价越来越高昂,这与绿色低碳机器学习与优化理念背道而驰.有鉴于此,提出了一种基于动态批量评估的绿色无梯度优化方法框架(green derivative-free optimization with dynamic batch evaluation,GRACE),基于训练子集的相似性,在优化过程中自适应动态调节评估解时使用的样本量,使得GRACE在保证优化性能的同时,降低优化成本与代价,达到绿色低碳高效的目标.在语言模型即服务提示词黑盒微调、模型超参数优化等实际任务上进行了实验验证,通过与一系列对比方法以及GRACE消融退化版算法进行比较分析,表明了GRACE的有效性、高效性、绿色低碳性.超参数分析结果表明了其具备超参数稳健性.

基于鲁棒交叉熵与梯度优化的安全强化学习方法

智能体在复杂环境下执行任务时,如何保证安全性和效率性是一个很大的难题。传统强化学习方法解决智能体决策问题时采用无模型的强化学习,利用大量数据不断试错寻找最优策略,忽略了智能体的训练成本和安全风险,因此无法有效保证决策的安全性。为此,在模型预测控制框架下对智能体动作添加安全约束条件,设计安全强化学习算法获得最安全的动作控制序列。同时,针对交叉熵方法存在计算量大与效率低、梯度优化方法存在着陷入局部最优的问题,结合鲁棒交叉熵与梯度优化方法优化动作控制序列,以提升算法安全性和求解效率。实验表明,所提方法相较于鲁棒交叉熵法能有效提升收敛速度,相较于其他优化算法在不损失较多性能的前提下安全性能最优。

基于改进平衡优化器算法的电力消费预测

针对当前用电预测模型预测精度不足的问题,提出一种基于改进平衡优化器算法的电力消费预测方法。首先,在基本平衡优化器中引入自适应搜索机制,以克服其易陷入局部最优的缺陷;其次,使用自适应平衡优化器调节梯度增强回归器的参数;最后,使用平衡优化器改进的优化梯度增强回归器进行电力消费预测。为了验证所提模型的有效性,使用大规模数据集对所提算法进行了测试。结果表明,所提出的电力消费预测模型具有较好的预测准确性和预测稳定性。

基于梯度优化物理信息神经网络求解复杂非线性问题

近年来,物理信息神经网络(PINNs)因其仅通过少量数据就能快速获得高精度的数据驱动解而受到越来越多的关注.然而,尽管该模型在部分非线性问题中有着很好的结果,但它还是有一些不足的地方,如它的不平衡的反向传播梯度计算导致模型训练期间梯度值剧烈振荡,这容易导致预测精度不稳定.基于此,本文通过梯度统计平衡了模型训练期间损失函数中不同项之间的相互作用,提出了一种梯度优化物理信息神经网络(GOPINNs),该网络结构对梯度波动更具鲁棒性.然后以Camassa-Holm(CH)方程、导数非线性薛定谔方程为例,利用GOPINNs模拟了CH方程的peakon解和导数非线性薛定谔方程的有理波解、怪波解.数值结果表明,GOPINNs可以有效地平滑计算过程中损失函数的梯度,并获得了比原始PINNs精度更高的解.总之,本文的工作为优化神经网络的学习性能提供了新的见解,并在求解复杂的CH方程和导数非线性薛定谔方程时用时更少,节约了超过三分之一的时间,并且将预测精度提高了将近10倍.

面向联邦学习的学习率裁剪梯度优化隐私保护方案

联邦学习中,攻击者通过模型梯度攻击来恢复训练数据集,使训练数据集的隐私性受到威胁。为保护数据隐私性,差分隐私技术被引入到联邦学习中,但在神经网络训练过程中存在学习率过大导致梯度爆炸不收敛或学习率过小导致梯度收敛过慢的问题,降低学习的准确率。针对上述问题,本文提出一种具有自适应学习率的梯度优化算法(CAdabelief算法),该算法在神经网络中引入学习率裁剪动态界限的概念,动态调整学习率达到理想的值,并趋于稳定;继而将CAdabelief算法引入联邦学习差分隐私框架,提出了面向联邦学习的学习率裁剪梯度优化隐私保护方案,并采用MNIST数据集进行测试实证。实验表明,在相同的隐私预算下,CAdabelief算法训练结果的准确率高于常用的SGD、Adam、Adabelief算法。

基于Hession优化梯度滤波的全局航拍视频配准

提出一种基于优化梯度滤波的全局航拍视频配准算法。该方法首先提出一种基于优化梯度滤波的Hession检测器,以实现特征点的精确定位,同时,为了保证在不同摄像机焦距下获得相同的特征点,保留3个分辨率下具有恒定不变的特征点。然后利用最小生成树方法对待配准点进行初始匹配。一致特征点建立后,通过利用非线性最小二乘(NLLS)和随机采样一致性(RANSAC)算法选取具有全局最小误差的变换参数对视频帧间实现配准。实验结果表明,通过利用优化梯度滤波和全局最优模型估计可实现帧间的精确配准,对不同动态场景和光照变换具有较强的适应性。

基于BOBYQA算法毛细管电泳弯管效应的优化

本文通过数值仿真分析了毛细管U型弯管输运过程弯管效应的产生机理,分析了不同Pe数下浓度脉冲受弯管效应的影响,并基于梯度自由优化(BOBYQA)算法对弯管壁面Zeta电位分布进行优化。研究结果表明:利用有限元建模和BOBYQA算法可快速实现微通道弯管壁面Zeta电位分布的优化,有效抑制了微通道内弯管效应,优化后的浓度脉冲带宽长度相比优化前得以减小,弯管处流场速度分布得到改善。对微流控系统中物质分离检测及芯片设计有一定参考价值。

全脑全脊髓放疗中不同优化方法的对比研究

目的:对比梯度优化(gradient optimization,GO)方法和动态多叶准直器自动优化(dynamic multi-leaf collimator automatic optimization,dMLC-AO)方法在全脑全脊髓放疗(craniospinal irradiation,CSI)中的剂量学参数差异,为Monaco治疗计划系统的CSI计划设计提供可行性参考。方法:回顾性选取在某院接受CSI的15例患者,通过Monaco治疗计划系统为每例患者设计GO计划(作为GO组)和dMLC-AO计划(作为dMLC-AO组)进行容积旋转调强放疗。比较2组的计划靶区(planning target volume,PTV)、剂量衔接区、危及器官的剂量学参数。采用SPSS 24.0统计学软件进行数据分析。结果:dMLC-AO组的D98%和均匀性指数略优于GO组,差异有统计学意义(P<0.05),但2组的D2%、D50%和适形性指数比较,差异无统计学意义(P>0.05)。除肠道Dmean外,2组的危及器官辐射剂量差异无统计学意义(P>0.05)。GO组较dMLC-AO组跌落区的剂量分布更均匀有序,GO组中段计划36 Gy等剂量线覆盖的靶区长度明显长于dMLC-AO组。结论:GO方法相较于dMLC-AO方法可有效地控制CSI计划剂量衔接区的剂量跌落。

基于梯度下降法的永磁同步电机单电流弱磁优化控制

针对目前的单电流弱磁控制方法无法实现内置式永磁同步电机高速区运行效率最优的问题,提出一种基于梯度下降的单电流弱磁优化控制方法。首先在分析单电流弱磁控制思想的基础上,根据电机运行点恒转矩方向在电流下降梯度上的投影关系,在线寻优修正交轴电压使其工作电流达到最小值,从而实现了系统效率的提升;同时证明了梯度下降方法在解决内置式永磁同步电机弱磁优化控制问题时结果的惟一性;最后分别搭建了基于Matlab/Simulink和d SPACE的仿真与试验平台,与现有弱磁优化方法的对比试验研究结果表明,该文提出的方法可提高内置式永磁同步电机高速区的运行效率,为系统的高效运行提供了有效途径。

人参皂甙的反相高效液相色谱多台阶梯度优化方法

建立了一种反相高效液相色谱多台阶梯度分离人参皂甙的方法 .该方法以乙腈 -水溶液为流动相 ,通过一系列等度实验 ,获得了 8种人参皂甙 Rg1 ,Re,Rf,Rg2 ,Rb1 ,Rc,Rb2和 Rd的色谱保留参数 ,发现两参数保留方程不适合用于人参皂甙这种天然产物的分离条件的优化 ,而三参数保留方程的高精度才可满足预测的要求 .在三参数保留方程的基础上 ,通过计算确定了 8种人参皂甙 (包括 3台阶梯度 )的液相色谱分离条件 .通过实验对此优化条件进行了验证 ,实验结果显示了较好的预测精度和分离度 .将本方法用于分离人参皂甙 ,分析时间短且分离度高 。

基于形态学开闭运算和梯度优化的分水岭算法的目标检测方法

提出了一种基于形态学开闭运算和梯度优化的分水岭算法的目标检测方法。该方法首先利用形态学开闭运算对原始图像进行平滑处理,再对梯度图像进行阈值优化,去除过多的区域极小值,然后利用分水岭分割算法检测目标,最后利用目标的面积和空间关系等特征去除少量误提目标。实验表明,新方法可以取得很好的效果。

神经网络共轭梯度优化算法在激光加工定位中的应用

在应用激光技术加工复杂曲面时,通常以采样点集为插值点来建立曲面函数,然后实现曲面上任意坐标点的精确定位。人工神经网络的BP算法能实现函数插值,但计算精度偏低,往往达不到插值精确要求,造成较大的加工误差。提出人工神经网络的共轭梯度最优化插值新算法,并通过实例仿真,证明了这种曲面精确定位方法的可行性,从而为激光加工的三维精确定位提供了一种良好解决方案。这种方法己经应用在实际中。

基于梯度优化的自适应小生境遗传算法

针对基本遗传算法全局搜索能力差和收敛速度慢,且在求解多峰函数时仅能得到部分最优解的缺点,提出一种基于梯度优化的自适应小生境算法。该算法利用当前种群适应度和种群代数来设计交叉算子和变异算子,有效地保持了种群的多样性,改善全局搜索能力,加快了收敛速度,应用改进的梯度优化算子保证进化向最优解方向靠近,提高了计算峰值的精确度。对Shubert函数的仿真试验证明,该算法能改善全局搜索能力,加快算法收敛速度并提高计算精度。

拱坝封拱灌浆盖重区目标温度分层梯度优化研究

拱坝横缝灌浆时,为保证横缝张开度,除灌区混凝土要降至封拱温度外,灌浆区上部盖重区混凝土温度也要达到规定值。盖重区混凝土温度对灌浆区横缝张开度的影响与盖重区至灌浆区的距离有关,因此对盖重区分层提出冷却目标温度是合适的。以拉西瓦拱坝为例,运用仿真分析方法,针对盖重区不同目标温度的影响进行了研究。研究结果表明,将9 m盖重区分成3层,每层的目标温度分别提高1、2、3℃,对灌浆区横缝开度和后期应力无显著影响;沿高程设置一定梯度的目标温度,可有效降低灌浆冷却时的上下层温差,减小温度应力,大大减少灌浆冷却时间和成本。

烧结热量梯度优化技术的研究与应用

针对传统工艺存在的弊端,济钢烧结厂开发出了一种烧结过程热量梯度优化技术,该技术的核心是将生产过程中所用固体燃料的加入方式由原来在配料室一次加入,或在配料室与燃料分加处多次加入,改为在最后一次圆筒或圆盘混料之前一次性加入。在此基础上又开发了与之配套的多维交叉混料造球、横向有序偏析布料、区域加水梯级控制等多项技术,最终使烧结过程热量分布得到优化,技术经济指标得到全面改善。该项目已获国家知识产权局发明专利。

基于梯度优化法的连续波近红外光断层成像研究(英文)

研究了两种基于梯度的优化算法用于连续波近红外光断层成像的情况 .分析了现有优化算法存在的收敛速度慢 ,空间分辨率低等缺点的产生原因 .为减少计算量并提高重构精度 ,采用了一种空间位置加权的基于梯度的优化算法 .

带批和离散机柔性流水车间问题的混合异步次梯度优化的拉格朗日松弛算法

为有效解决串行批调度问题,提出了一个混合异步次梯度优化的拉格朗日松弛算法,来求解带批和离散机的柔性流水车间问题(FFSP),目标是最小化总加权完成时间。该问题来源于钢铁业的炼钢-连铸-热轧一体化生产过程,为了加快算法的求解速度,扩大求解规模,在拉格朗日松弛优化算法中引入异步次梯度优化,每次迭代仅最优求解一个批级子问题,而其他子问题的解仍维持为前一次迭代的值,以此获取一个合理的乘子更新方向,大大缩短了每次迭代所消耗的运行时间。通过与基于批解耦和次梯度法的拉格朗日松弛算法的实验对比,说明了无论是实际生产数据还是随机产生的大规模数据,所提出的改进拉格朗日松弛算法都能获得具有竞争性的结果,对于较大规模问题,它在解的质量和收敛速度方面的优势更加明显。