基于迭代Bargaining策略优化服务合成执行路径

服务质量(QoS)是优化服务合成执行路径的关键研究内容,当前绝大多数存在的方法很少注意到商业环境下服务商之间存在的隐性竞争压力可能会迫使服务商动态改变他们的QoS值以至于合成优化执行路径发生改变。针对此问题,提出一个基于迭代Bargaining策略的约束违背纠正方法。该方法使用本地最优化策略,在没有考虑用户QoS约束的情况下建立一条最优执行路径。对此路径,全局QoS计算模型和全局约束违背检查模型能找出所有发生的约束违背。一个迭代的Bargaining策略被递归作用于关键路径执行节点,使得更好服务提供商被选出替换原有执行节点,从而一个优化的执行路径能被重新建立以满足用户综合的QoS约束需求。

基于策略迭代的滑动自平衡偏置倒立摆自适应最优控制

针对具有未知参数的滑动自平衡偏置倒立摆系统,提出一种自适应控制方案,能够在线求解系统最优反馈增益,而不需要了解系统内部动态模型。基于策略迭代技术,所提出的算法在策略评估和策略更新步骤之间交替进行,直到控制策略的更新不再改善系统性能为止。因此,该方法提供了一种自适应最优控制算法,能通过收集系统状态数据,求得最优控制策略。通过在滑动自平衡偏置倒立摆系统上仿真验证和进行实物实验证明所提出算法的有效性。

基于航迹消除与策略迭代的无人机集群区域目标搜索方法

无人机集群区域搜索在军事领域以及民用领域的搜救、巡逻、监测、环境勘测等方面有着广泛的应用,但如何保证不同场景下无人机集群搜索方法的效率问题依然是个难题。为了更好地解决搜索目标先验信息已知的无障碍区域内多无人机集群搜索航迹规划问题,提高无人机集群搜索效率,本文根据目标区域热度以及传感器探测概率等先验信息,提出了一种基于无人机航迹消除策略的概率计算方法,并在此基础上结合策略迭代算法动态规划无人机航迹,找到单个无人机航迹覆盖率最优策略;进而通过适当组合顺序实现无人机集群区域目标搜索整体覆盖率最优;最后,通过仿真计算验证了算法的有效性。

窗口长度自适应调整的策略迭代最优控制

在系统模型参数未知的最优控制问题中,策略迭代能否快速收敛到最优控制策略的关键在于值函数的估计.为了提升值函数的估计精度以及收敛速度,本文提出一种窗口长度自适应调整的策略迭代最优控制算法.充分利用一段时间内的历史样本数据,通过影响力函数构建窗口长度与值函数估计性能之间的定量关系,根据数据窗口长度对估计性能影响力的不同,实现窗口长度的自适应调整.最后,将本文所提方法应用到连续发酵过程,结果表明,本文所提方法能够加快最优控制策略的收敛,克服参数变化或外部扰动对控制性能的影响,从而提升控制精度.

求解大规模机组组合问题的策略迭代近似动态规划

针对动态规划存在的“维数灾”问题，提出了一种求解大规模电力系统机组组合（unit commitment，UC）问题的策略迭代近似动态规划（policy iteration-approximate dynamicprogramming，PI．ADP）方法。采用策略迭代对动态规划过程中的值函数进行近似，替代了从可行状态中精确计算值函数的过程，避免了“维数灾”的发生。在值函数的近似过程中，利用了实际系统的运行约束有效压缩状态空间，减少可选择的启停动作，进一步降低了计算量。10－1000机96时段系统的计算结果表明，所提方法能在较少时间内获得高质量的解，从而为求解大规模电力系统UC问题提供了参考。

基于策略迭代和值迭代的POMDP算法

部分可观察Markov决策过程是通过引入信念状态空间将非Markov链问题转化为Markov链问题来求解,其描述真实世界的特性使它成为研究随机决策过程的重要分支.介绍了部分可观察Markov决策过程的基本原理和决策过程,提出一种基于策略迭代和值迭代的部分可观察Markov决策算法,该算法利用线性规划和动态规划的思想,解决当信念状态空间较大时出现的"维数灾"问题,得到Markov决策的逼近最优解.实验数据表明该算法是可行的和有效的.

一种批量最小二乘策略迭代方法

策略迭代是一种迭代地评估和改进控制策略的强化学习方法。采用最小二乘的策略评估方法可以从经验数据中提取出更多有用信息,提高数据有效性。针对在线的最小二乘策略迭代方法对样本数据的利用不充分、每个样本仅使用一次就被丢弃的问题,提出一种批量最小二乘策略迭代算法(BLSPI),并从理论上证明其收敛性。BLSPI算法将批量更新方法与在线最小二乘策略迭代方法相结合,在线保存生成的样本数据,多次重复使用这些样本数据并结合最小二乘方法来更新控制策略。将BLSPI算法用于倒立摆实验平台,实验结果表明,该算法可以有效利用之前的经验知识,提高经验利用率,加快收敛速度。

一种高斯过程的带参近似策略迭代算法

在大规模状态空间或者连续状态空间中,将函数近似与强化学习相结合是当前机器学习领域的一个研究热点;同时,在学习过程中如何平衡探索和利用的问题更是强化学习领域的一个研究难点.针对大规模状态空间或者连续状态空间、确定环境问题中的探索和利用的平衡问题,提出了一种基于高斯过程的近似策略迭代算法.该算法利用高斯过程对带参值函数进行建模,结合生成模型,根据贝叶斯推理,求解值函数的后验分布.在学习过程中,根据值函数的概率分布,求解动作的信息价值增益,结合值函数的期望值,选择相应的动作.在一定程度上,该算法可以解决探索和利用的平衡问题,加快算法收敛.将该算法用于经典的Mountain Car问题,实验结果表明,该算法收敛速度较快,收敛精度较好.

基于状态-动作图测地高斯基的策略迭代强化学习

在策略迭代强化学习中,基函数构造是影响动作值函数逼近精度的一个重要因素.为了给动作值函数逼近提供合适的基函数,提出一种基于状态-动作图测地高斯基的策略迭代强化学习方法.首先,根据离策略方法建立马尔可夫决策过程的状态-动作图论描述;然后,在状态-动作图上定义测地高斯核函数,利用基于近似线性相关的核稀疏方法自动选择测地高斯核的中心;最后,在策略评估阶段利用基于状态-动作图的测地高斯核逼近动作值函数,并基于估计的值函数进行策略改进.10×10格子世界的仿真结果表明,与基于状态图普通高斯基和测地高斯基的策略迭代强化学习方法相比,本文所提方法能以较少的基函数、高精度地逼近具有光滑且不连续特性的动作值函数,从而有效地获得最优策略.

多核自适应迭代LSSVR的模拟电路性能评价策略

针对模拟电路的性能评价问题,运用标准支持向量回归机,结合自适应技术的优越性,利用迭代算法改善传统最小二乘支持向量回归的支持向量稀疏性问题,提高训练响应速度。同时采用多径向基核函数以实现核宽度在线调整的灵活度,进一步提高支持向量数目确定的精简性。给出了基于多核自适应迭代最小二乘支持向量回归法的设计思想及构造步骤。实验以高校模拟电路实验为依托,采用近两年内由精密仪器设备测评所得的小功率放大器的8项技术指标构建训练集,进行多核自适应迭代最小二乘支持向量回归评价。实验表明,所提出的方法性能优于传统最小二乘支持向量回归法及ε-SVR法,与精密仪器性能评价结果较为接近,且运算速度优。

基于去伪策略的间歇过程自适应迭代学习

针对间歇聚合反应的质量控制问题,设计一种双层迭代学习的控制结构:外层面向批次间可测的终点质量指标采用基于在线式最小二乘支持向量机的终端质量学习控制,为内层控制提供最优的设定值;对于内层面向批次内可测的过程变量,提出基于去伪策略的自适应迭代学习控制方案,可以较好地解决批次间温度设定值发生改变的问题,提高内层控制鲁棒性。内层控制方法具体如下:首先给出基于共轭梯度法的改进去伪控制算法,然后将改进的去伪控制算法应用于迭代学习的控制框架中,利用去伪算法的实时自适应能力来调整内层迭代学习控制的控制器参数,并以闭环P型迭代学习控制算法为基础推导去伪迭代学习控制器参数自适应律的数学描述。最后,将本文的方法应用于典型的间歇聚合反应过程。仿真结果表明:该方法具有良好的控制效果,在一定程度上可以克服传统迭代学习算法要求参考曲线在迭代过程中保持一致的缺点,而且具有较快的收敛速度。

一种基于元启发式策略的迭代自学习K-Means算法

类内误差平方和最小化的聚类准则求解是NP难问题,K-Means采用的迭代重定位方法本质上是一种局部搜索的爬山算法,因此聚类结果对初始代表点的选择非常敏感,只能保证局部最优。为此,引入元启发式策略,通过建立评估函数对K-Means初始代表点和目标函数之间的依赖关系进行近似,然后利用近似评估函数指导新的初始代表点的选择,构成一种迭代自学习框架下的K-Means算法。实验表明算法可以很好地克服K-Means对初始代表点的依赖性,获得较高质量的聚类结果。

模型未知非零和博弈问题的策略迭代算法

提出了一种在线积分策略迭代算法,用来求解内部非线性动力模型未知的双人非零和博弈问题.通过在控制策略和干扰策略中引入探测信号,从而避开了系统的模型信息,得到了一个求解非零和博弈的无模型的近似动态规划算法.该算法同步更新值函数、控制策略、扰动策略,并且最终得到收敛的策略权值.在算法实现过程中,使用4个神经网络分别近似两个值函数、控制策略和扰动策略,使用最小二乘法估计神经网络的未知参数.最后仿真结果验证了算法的有效性.

一种基于最优策略概率分布的POMDP值迭代算法

随着应用中POMDP问题的规模不断扩大,基于最优策略可达区域的启发式方法成为了目前的研究热点.然而目前已有的算法虽然保证了全局最优,但选择最优动作还不够精确,影响了算法的效率.本文提出一种基于最优策略概率的值迭代方法 PBVIOP.该方法在深度优先的启发式探索中,根据各个动作值函数在其上界和下界之间的分布,用蒙特卡罗法计算动作最优的概率,选择概率最大的动作作为最优探索策略.在4个基准问题上的实验结果表明PBVIOP算法能够收敛到全局最优解,并明显提高了收敛效率.

一种电液伺服系统位置控制的模糊迭代控制策略

控制电液伺服系统对期望位置进行准确的追踪,有利于提高工作安全性和工作效率。对此,提出了采用模糊迭代控制策略的电液伺服系统位置控制方法。通过分析电液伺服系统位置控制模型,得出液压伺服阀的动力学方程,计算液压缸中不同腔室内的压差值,求得活塞的动力学模型,获取液压缸对负载施加压力的动力学模型。利用T-S模型,采用If-Then规则,在模糊集合的基础上求得控制量方程。以位置误差为依据,构造参数因子的迭代控制率,以完成模糊迭代控制策略的设计。采用所提模糊迭代控制策略和干扰观测控制策略对阶跃和三角形期望位置进行追踪测试。测试结果显示:在对阶跃和三角形期望位置进行追踪时,所提方法比干扰观测控制策略在x方向上的最大追踪超调值分别减小了35.06%和39.45%,在y方向上的最大追踪超调值分别减小了32.55%和11.68%。所提方法具备较好的位置控制性能,可准确地追踪期望位置。

迭代全息搜索策略及其在动力学参数估计中的应用

针对反应动力学参数估计的复杂性,设计了一种新颖的优化方法—迭代全息搜索策略(IHRS)。全息搜索策略(HRS)将多维空间中的寻优问题直观地通过二维全息图上的近邻搜索来实现,是一种全局搜优效率较高的确定性优化方法,但它只能用于离散系统的优化。IHRS通过对连续变量进行离散化处理,并运用迭代计算逐步缩小离散系统与原连续系统的偏差,将复杂的多维连续变量优化问题转化为多个串联的较为简单的离散变量组合优化问题,再运用HRS寻优。并讨论了等分区间数、搜索域收缩率、群规模等参数对IHRS搜优效率的影响。六维Alpine函数测试表明,IHRS的全局优化性能优于单纯形法和遗传算法(GA)。将IHRS应用于SO2催化氧化反应动力学模型参数的估计,取得了满意的结果。

联合图像层级特征的压缩感知迭代重构

基于卷积神经网络(Convolutional Neural Networks,CNN)的图像压缩感知重构算法难以捕捉高分辨率图像的长距离依赖关系,采用Transformer虽能解决该问题,但网络参数量和图像重构时间成倍增长。基于此,本文提出了一种联合图像层级特征的压缩感知迭代重构网络(Combining Image Hierarchical-Feature Network,CHFNet),在提高图像重构质量的同时减少重构时间。CHFNet由采样和重构两个子网络组成,采样子网络通过可学习的采样矩阵为重构过程提供更有效的测量值。在重构子网络中,设计了一种使用梯度下降操作和特征优化操作的迭代策略,同时提出一种轻量级CNN-Transformer混合架构,能够建模并优化高细粒度的图像层级特征,在增强网络感知能力的同时降低计算复杂度。此外,CHFNet通过联合优化学习采样重构,实现了完整的端到端训练。实验结果表明,所提算法在多个公共基准数据集上取得了良好的重构效果。在Urban100数据集上,相较于现有最优算法CSformer,平均PSNR,SSIM分别提升0.63 dB和0.0076;在0.10采样率下,相较CSformer在Set11,BSD68和Urban100数据集上的平均重构时间分别减少了2.7447 s,3.5510 s和4.7750 s。

基于Monte-Carlo迭代求解策略的局部社区发现算法

针对现有的局部社区发现算法因采用贪心策略进行社区扩张而导致的过早收敛和查全率低的问题,提出一种基于Monte-Carlo迭代求解策略的局部社区发现算法。首先,在每轮迭代的社区扩张阶段,根据节点对社区紧密度增益的贡献比例为所有邻接候选节点赋予选择概率,并结合此概率,再随机选择一个节点加入社区。然后,为避免随机选择导致扩张方向偏离目标社区,根据社区质量变化情况判断本轮迭代中是否触发节点淘汰机制。若触发,计算各个已加入社区节点与社区内其他节点的相似度和,根据相似度和的倒数赋予淘汰概率,并结合此概率,再随机淘汰一个节点。最后,在给定数量的最近迭代轮次中,根据社区规模是否增加判断是否继续迭代。在三个真实的网络数据集上进行实验,相较于局部紧密度扩展(LTE)算法、Clauset算法、加权共同邻居节点(CNWNN)算法和模糊相似关系(FSR)算法,所提算法的局部社区发现结果的F-score值分别提升了32.75、17.31、20.66和25.51个百分点,且能够有效避免查询节点在社区中所处位置对局部社区发现结果的影响。

基于策略迭代ADP的碳纤维角联织机张力控制

针对碳纤维角联织机经纱张力控制问题,考虑开口等不确定因素对经纱张力的影响,建立了离散非线性送经系统张力控制模型,提出了策略迭代自适应动态规划(ADP),并对ADP中评价网络设计了自适应权值更新率;证明了策略迭代ADP在离散系统的收敛性,削减了非线性及不确定因素对经纱张力的影响,实现了对经纱张力的稳定控制,提高了系统鲁棒性。仿真结果表明:相比传统ADP,策略迭代ADP可以使经纱张力在2 s内快速无波动的到达稳定状态,使系统性能指标函数收敛更优。

六自由度道路模拟试验台架控制策略对迭代结果影响的研究

基于六自由度道路模拟试验台架,开展台架控制策略对迭代结果影响的研究,为道路模拟试验中台架控制策略的制定提供参考。