基于博弈论与强化学习的多智能体路径规划算法

针对平面上多个智能体构成的路径规划求解算法普遍存在的速度慢效率低等问题进行研究,将多智能体路径规划问题归结为非零和随机博弈,使用多智能体强化学习算法赢或快速学习-策略爬山(win or learn fast-policy hill-climbing,WoLF-PHC)得到纳什均衡策略,为各智能体做出无冲突的最优路径决策,提出能够快速自适应的WoLF-PHC(fast adaptive WoLF-PHC,FA-WoLF-PHC)算法,通过构建目标函数,使用梯度下降对学习率进行自适应更新.在猜硬币和自定义收益矩阵2个博弈场景中使用FA-WoLF-PHC,并与策略爬山(policy hill-climbing,PHC)算法和Wolf-PHC算法进行比较.结果表明,FA-WoLF-PHC算法的学习速度较WoLF-PHC算法有所提升,并有效减小了WoLF-PHC算法和PHC算法在学习过程中出现的振荡现象.在多智能体路径规划问题中,FA-WoLF-PHC算法的学习速度比WoLF-PHC算法提高了16.01%.将路径规划问题的环境栅格地图扩大为6×6,智能体数量增加为3个时,FA-WoLF-PHC、WoLF-PSP和多头绒泡菌-人工势场Sarsa(physarum polycephalum-artificial potential state-action-reward-state-action,PP-AP Sarsa)算法在10次实验中学习到最终策略需要的平均时间分别为16.30、20.59和17.72 s.在多智能体路径规划问题中,FA-WoLF-PHC算法能够得到各智能体的纳什均衡策略,学习速度较WoLF-PSP和PP-AP Sarsa算法有显著提高.FA-WoLF-PHC算法在常见的博弈场景中能够快速获得纳什策略,在多智能体路径规划问题中可为多个智能体生成无冲突的最优路径,并且在学习速度等方面较其他算法有显著提高.

一种面向多Agent交互的博弈Nash均衡求解方法

现有的图型博弈Nash均衡求解方法基本是在离散化剖面空间中搜索求解,最终只能得到近似Nash均衡。针对现有求解方法存在的不足,把求解图型博弈的Nash均衡看作是连续策略空间中的函数优化问题,定义Agents在策略剖面中的效用偏离度之和为优化目标,其最优解就是博弈的Nash均衡。本文基于对实例的分析指出目标函数下降梯度的计算可归结为一组线性规划,进而提出一种求解图型博弈Nash均衡的新型梯度下降算法。算法分析及实验研究表明,对于多Agent交互模型中的相关问题,本文提出的方法可求解任意图结构图型博弈Nash均衡,对于大规模图型博弈也有较好的求解精度和求解效率。

不朽的名字属于纳什(NASH)

约翰·纳什对博弈论的伟大贡献主要体现在以下四个方面:给出策略均衡的形式定义,并证明其存在性;对二人讨价还价问题进行公理刻画并得到纳什谈判解;提出探寻非合作博弈与合作博弈之间关系的纳什规划;最早提出关于博弈论理性与进化基础的两种解释。

基于Stackelberg博弈定价的电力需求响应激励方法

结合多租户数据中心的特点,通过考虑多租户数据中心的电力定价问题提出一种基于非线性规划的高效激励定价方法。建立需求-响应模型,及其相关的成本和收益函数;为反映需求方与响应方的定价交互,采用Stackelberg博弈进行建模,证明了该模型下纳什均衡点的存在性;基于非线性规划方法求解最优得到纳什均衡点,即满足需求方成本最低和响应方利益最大化的目的。将设计的方法与其它经典的最优化方法进行比较,实验结果表明,提出方法能获得最佳的电力定价,达到需求响应方共赢的目的,时间复杂度低。

最优投资与风险控制策略的多人非零和博弈及平均场博弈

金融市场中存在大量的机构投资者,机构投资者追求高回报高财富的特性导致市场竞争日益激烈,竞争的市场环境使得机构投资者不仅追求自身财富的最大化,还关注与竞争对手之间的财富差距。本文研究多个机构投资者策略互动下的投资与风险控制问题。假设每个投资者均可以将财富投资于金融市场中以实现财富增值,同时通过购买保险等方式将面临的风险部分转移给其他金融机构。使用投资者自身财富与市场平均财富之差描述的相对业绩刻画市场竞争,投资者的目标是最大化终端时刻相对绩效的期望效用,在非零和博弈框架下构建了多人投资与风险控制博弈模型,以CARA效用函数为例,运用随机微分博弈理论和平均场博弈理论求出Nash均衡状态下的最优投资与风险控制策略,并进行参数的敏感性分析。研究发现:竞争将导致风险投资攀升,风险控制减弱,从而导致金融市场的系统性风险增加;机构投资者自身及竞争对手的风险偏好和市场竞争程度均会影响均衡投资与风险控制策略;盈余波动影响风险控制策略发生同向改变,但这种影响在波动轻微时较为明显,当波动超过一定程度时,波动对风险控制策略影响甚微。研究为机构投资者的投资与风险控制策略选择提供了有益指导。

Max-min DEA模型及效率讨价还价均衡解

建立一类新的DEA模型,即Max-min DEA模型.该模型通过最大化最小效率单元的效率,结合了自评与互评的思路,在一定程度上克服了仅仅采用自评思想的经典DEA模型的缺陷.文中Max-min均衡模型问题在于保护“弱小”单元的同时,有可能损害其它单元的效率.为克服该问题,文章通过Nash讨价还价模型求解Max-min均衡模型与CCR模型的讨价均衡解.最后用算例进行了演示计算.

借贷能力、风险收益与新型农业经营主体经营效率

通过构建一个新型农业经营主体与金融组织讨价还价的理论模型,在纳什议价均衡的基础上分析新型经营主体最优产出水平与其借贷能力、风险收益的关系。基于中国12省的微观调查数据,采用双边随机边界检验,对理论模型进行了实证研究,结果表明:借贷能力不足是新型经营主体经营无效率的主导因素,最终使平均净效率下降了8.13%;正规金融机构和民间借贷均对新型经营主体的经营效率有显著影响,并且民间借贷对经营效率的影响更强;新型经营主体的负责人能力、盈利能力、组织化程度等,与其经营效率呈正相关关系。提出应通过金融体系创新、完善民间借贷法规等途径,降低新型农业经营主体的融资约束,提高其负责人的经营水平,加强新型经营主体的组织化程度。

基于动态博弈的目标分配方法研究

以博弈论为基础,防空火力单元与攻击飞机多次对抗为作战背景,建立了基于动态博弈的防空火力单元目标分配模型。利用双矩阵博弈纳什均衡求解与数学规划的关系,建立了求解纳什均衡的二次规划,利用混合粒子群算法进行求解。仿真结果表明:用博弈论研究防空火力单元与攻击飞机多次对抗过程中的目标分配问题时,符合实际作战过程,真实性好,应用价值较高。

考虑不确定性的小水电代理竞争市场均衡分析

在小水电资源丰富的省(自治区、直辖市),小水电参与市场竞争会更有利于发挥市场优化配置资源的作用。但是,由于小水电自身的特性,参与市场会面临较常规水电站更大的电量不确定性风险;此外,数目众多的小水电站单独参与市场会使得市场复杂化。为此,文中针对小水电参与市场竞争的方式开展研究,提出了小水电采用代理参与市场的方式,建立了考虑来水不确定性的供给函数均衡模型,并采用随机模拟技术和优化算法求解,最后通过对市场均衡状态的分析,验证了小水电代理机制的有效性和合理性。

禁忌搜索算法求解带产品定价的竞争选址问题

讨论了一个在竞争环境下使获利最大的竞争选址双层规划模型,其中上层模型做出选址决策,下层模型确定产品的纳什均衡价格。在保证了不合作状态下双方价格均衡解的存在性和唯一性的前提下,设计了求解该模型的选址-定价启发式算法程序。通过贪心算法和交换算法产生禁忌搜索的初始解,设置了合理的禁忌搜索算法参数,最后通过具有一定规模的实例计算,证明了该算法在求解此类问题中的可行性和科学有效性。

MC模式下顾客需求与厂商供应的纳什均衡

在大规模定制(MC,MassCustomization)模式下,基于市场需求的复杂化,厂商对个性化的顾客需求很难做出及时准确的反应,而且由于其自身生产能力的限制,不可能对所有的个性化用户进行一一地满足,只可能对已经存在的个性化需求,根据自身的生产能力和规模,以利润最大化及顾客对产品的满意度为目标,对个性化需求进行较准确地预测,从而正确指导生产。本文通过博弈论的方法,提出了一个基于顾客对产品的满意度及企业的利润的一个非合作博弈模型,并给出求解纳什均衡的方法。

一种基于回答集程序的三方协商新机制

提出了一种基于回答集程序的三方协商新机制,该机制采用回答集程序作为协商背景知识的表示工具.参与协商的两方在达成某些初步协议的基础上,通过从第三方获得利益补偿而选择放弃自己原先的一些需求,最终三方达成最优交易.证明了三方达成最优交易所采取的策略组合是纳什均衡的.

供应链多层规划问题及其合作对策协商求解

针对由制造商、分销中心和零售商组成的多级分布式供应链协同计划问题,建立了三层规划生产-分销计划谈判模型,设计了基于合作对策的两步协商方法。首先,基于模糊隶属度原理,将三层规划问题转化为单层规划问题。接着,设计了基于合作对策的两步协商过程,描述了两步协商模型和交互协商算法步骤,并对算法进行了性能分析。最后,给出了基于多层规划的协同生产-分销计划模型,并得到了基于合作对策的协商算法的解决方案。并通过与其它优化策略的对比,验证该解决方案的优越性。

基于微分对策的供应链合作广告决策研究

针对供应链系统中制造商和零售商的合作广告计划问题,利用微分对策构建动态模型,分别研究制造商和零售商在合作和非合作条件下的广告策略.运用动态规划原理,分别得出静态反馈N ash均衡和反馈S tacke lberg均衡.将两种均衡策略加以比较,结果显示合作广告计划是供应链系统中的一种协调和激励机制,可以提高两个渠道成员以及整个供应链系统的利润。

基于自适应动态规划的反高超武器微分对策制导律

随着各国高超声速技术的武器化进程加快,对反高超声速武器拦截技术的研究也不断深入,高超声速武器高速度、大范围主动博弈突防的拦截制导问题成为拦截制导律设计领域的研究热点。针对具有主动博弈突防能力的高超声速目标拦截场景进行微分对策问题建模,并采用基于双启发式的自适应动态规划算法,对连续非线性系统的微分对策纳什均衡解进行求取;通过Matlab数字仿真对设计的拦截制导方法进行验证。结果表明:相较于最优滑模制导律,基于自适应动态规划的微分对策制导律对目标的逃逸机动具有更强的适应性,能够获得更高的拦截精度。

一类2人合作交叉规划的s-最优联合解

提出并研究了一类 2人合作交叉规划问题。引进了具有相同联合值的s 最优联合解 ,它作为 2人合作交叉规划的一种公平解 ,比Nash均衡解要更好 ,并得到了它的若干有关性质 ,证明了可以通过求解一个等价的数学规划问题的最优解来作为交叉规划的s 最优联合解。最后 ,讨论了具有不同联合值的s 最优联合解。 2人合作交叉规划可以广泛用于讨论许多具有或不具有冲突的多人决策问题 ,如生产计划控制、工程、计算机等领域中的网络冲突问题。

求解交叉规划问题的几个公平公理

对交叉规划问题作了进一步的研究,给出了一种使用替代问题求解交叉规划问题的方法,并给出了该替代问题的目标函数应当满足的几个公理:pareto原则、非强加性、非独裁性和传递性.

退耕还林政策的有效性与有效政策搭配的存在性

论文旨在提高重启的退耕还林项目生态、经济双目标实现的有效性,具体内容如下:1理论研究。利用丁伯根和丁伯根-博弈纳什均衡理论,分别从中央政府政策制定和县级政府政策执行视角,讨论现有退耕还林政策多目标实现的有效性和退耕还林政策实施过程中与其他相关政策有效搭配的存在性。2实证检验。论文首先利用贵州省既属(国家)退耕还林项目实施区又属第二次石漠化调查区的64个县(市、区)作为样本检验退耕还林政策的有效性,用"石漠化改善率"作为项目生态目标的检验结果表明项目的生态目标实现是有效的,而用"县域2005年参与退耕还林项目的农户在2011年的人均纯收入"作为项目的经济目标进行检验的有效性未通过检验。接着,论文利用贵州省晴隆县多政策配套实施退耕还草项目的结果来检验有效政策搭配的存在性,用"植被盖度"、"土壤冲刷量"和"径流量"三个指标来反映项目的生态效果并利用观测点数据进行分析,结果表明退耕还草项目具有较显著的生态效果。用晴隆县实施退耕还草项目乡镇的农户"家庭总收入"指标反映项目经济目标,并利用农户调查数据进行实证检验,结果表明项目的经济目标实现是有效的。3研究结论。从政策设计角度看,退耕还林项目无法通过自身有效地同时实现生态、经济目标;从县级政府政策实施的角度看,若县级政府在退耕还林项目实施中能整合性地配套相关政策,则项目存在"有效政策搭配",即项目可同时有效实现生态、经济双目标。因此,在县级政府绩效考核中增加生态考核指标,进而在县级层面通过政策搭配谋求退耕还林多目标的有效实现,在生态文明建设背景下显得现实与可行。

讨价还价理论的实验经济学检验

博弈论可以分为合作博弈和非合作博弈,前者主要研究合作下的利益分配问题,后者则研究个人理性下的策略行动问题。按照纳什程序的思想,二者在结果上是一致的。本文针对讨价还价博弈及其实验进行相关总结,相关的讨价还价实验拓展了讨价还价理论,讨价还价理论对讨价还价的实验结果具有一定的解释力,实验的结果也启示人们有些在理论构建中忽视的因素在现实中也是很重要的。

基于价格竞争的最优定价策略与供应链的协调方法

本文研究了一个生产商和多个有价格竞争的零售商组成的供应链问题,运用二层规划和博弈论中合作博弈与非合作博弈的理论与方法,得到了核心企业的最优定价策略,并给出整条供应链的完全协调策略.