基于深度强化学习的C+L波段弹性光网络频谱分配算法

针对C+L波段弹性光网络中受激喇曼散射(SRS)效应导致物理层损伤加剧的问题,提出一种基于深度强化学习(DRL)自适应调制格式的频谱分配算法,在路由阶段,采用K最短路由算法为业务请求预计算K条最短备选路径;在波段、调制格式与频谱分配阶段,采用DRL进行智能化决策,并结合了2种奖励函数,以降低网络阻塞率并提高频谱使用效率。仿真结果表明,该算法能够有效降低阻塞率并提高频谱利用率。

面向动态三维迷宫的综合奖励设计

动态三维迷宫是较为困难的、具有不确定性和不完全信息的强化学习任务环境,使用常规奖励函数在此环境中训练任务,速度缓慢甚至可能无法完成。为解决利用强化学习在动态迷宫中寻找多目标的问题,提出一种基于事件触发的综合奖励方案。该方案将三维迷宫中各种行为状态表达为各种事件,再由事件驱动奖励。奖励分为环境奖励和内部奖励,其中环境奖励与三维迷宫任务直接相关,含有体现任务目标的节点奖励和任务约束的约束奖励。内部奖励与智能体学习过程中的状态感受相关,含有判断奖励和心情奖励。在实验中,综合奖励的性能均值相较于改进奖励提升54.66%。结果表明,综合奖励方案在提高完成任务满意度、增强探索能力、提升训练效率方面具有优势。

弹性光网络中基于DRL的RMSA算法

为了更好地解决弹性光网络(EON)的路由、调制格式与频谱分配(RMSA)问题,进一步降低网络阻塞率,提出一种基于深度强化学习(DRL)的RMSA算法。该算法在奖励设计中将考虑影响RMSA决策的资源占用度和频谱邻接度这2个指标,以鼓励智能体优先选择资源占用度低、频谱邻接度高的路径来建立光路,并对比该算法与其它算法在不同网络中的性能。仿真结果表明:与几种典型的DRL算法相比,所提算法的网络阻塞率更低。

基于强化学习的多无人车协同围捕方法

本文面向无人车协同围捕问题开展研究,提出了一种基于柔性执行者-评论家(SAC)算法框架的协同围捕算法.针对多无人车之间的协同性差的问题,在网络结构中加入长短期记忆(LSTM)构建记忆功能,帮助无人车利用历史观测序列进行更稳健的决策;针对网络结构中引入LSTM所导致的状态空间维度增大、效率低的问题,提出引入注意力机制,通过对状态空间进行注意力权重的计算和选择,将注意力集中在与任务相关的关键状态上,从而约束状态空间维度并保证网络的稳定性,实现多无人车之间稳定高效的合作并提高算法的训练效率.为解决协同围捕任务中奖励稀疏的问题,提出通过混合奖励函数将奖励函数分为个体奖励和协同奖励,通过引入个体奖励和协同奖励,无人车在围捕过程中可以获得更频繁的奖励信号.个体奖励通过引导无人车向目标靠近来激励其运动行为,而协同奖励则激励群体无人车共同完成围捕任务,从而进一步提高算法的收敛速度.最后,通过仿真和实验表明,该方法具有更快的收敛速度,相较于SAC算法,围捕时间缩短15.1%,成功率提升7.6%.

深度强化学习的通用插件研究综述

深度强化学习的通用插件是一种可附加于大部分原生算法之上,并与其他种类插件兼容的算法类型。根据环境的不同,原生算法加入合适的插件后形成了不同的变体,并在训练速度、稳定性等方面取得了更好的效果。根据各类变体包含的通用插件在训练流程中的共性,将它们分为了6类,包括通用网络模型、内在奖励、经验回放、自我博弈、模仿学习和课程学习。综述了这6类算法中常用的通用插件,介绍了它们的应用场景和在深度强化学习中的主要作用,提出了未来的研究重点:1)提高经验利用效率;2)设计和训练出通用神经网络架构;3)提高算法在稀疏奖励环境的探索效率;4)提高算法在现实中应对各种突发状况的能力。

寓捐于玩?众筹平台游戏化设计对个人捐赠行为的助推效应研究

数字时代,网络众筹成为慈善领域数字化创新的重要场域。游戏化设计作为数字化助推策略被大型众筹平台广泛采纳,成为我国慈善捐赠激励的重要创新手段。本文基于助推理论,通过情境实验和平台二手数据构建回归模型两项研究,探究游戏化设计能否影响个人在众筹平台的捐赠行为。研究结果表明,游戏化设计可以有效提高个人的捐赠数额,且在游戏化设计中加入虚拟奖励能进一步提升积极效果。研究丰富和拓展了助推理论在慈善捐赠领域的学理内涵,在实践上为助推策略的作用效果提供了实证依据,也为进一步完善助推策略在慈善捐赠中的应用提供参考。

企业信用监管政策的结构维度、机制设计与优化发展——基于59件省级专项文本的考察

信用监管是政府推进社会信用体系建设的重要工具创新。以59件企业信用监管政策文件为分析对象,梳理了分类监管、联合奖惩和黑名单管理制度的基本架构,并通过对文件的技术结构观测、内容特征提炼和扩散规律发掘,剖析了信用监管政策在制度体系权威性、协调性、可操作性等方面的不足以及机制创设不完善的问题,提出了完善企业信用监管制度体系、强化一体化设计、提升程序规则科学性以及厘定信用治理主体角色等建议。

医院目标管理中绩效奖励方案的设计

通过对目标管理绩效奖励方案的奖励对象、奖励力度等相关因素进行分析,提出定额目标值法、全额目标值法、均值排名法、满分差值法等绩效奖励方案。比较4种目标管理绩效奖励方案的特点及适用条件,提出选择绩效奖励方案的原则。建议从合理确定目标指标、通过测算数据选择方案、通过沟通形成目标共识、坚持持续改进方案等方面,实施目标管理绩效奖励管理。

基于随机进程代数的软件体系结构建模与性能评价

软件体系结构是应用系统的逻辑框架 ,在设计阶段分析软件体系结构的各种性能指标 ,可以改进软件系统设计·提出一种基于随机进程代数 (stochasticprocessalgebra简称SPA)的软件体系结构建模方法 ,该方法把软件体系结构建模与性能评价相结合 ,从而可以在系统设计阶段分析软件体系结构的性能·实践验证该方法更简单。

国家治理进程中激励机制的转型与建构

国家治理过程中激励机制是解释发展的重要变量。我国激励机制的建构是以体制、制度、文化为支撑的,结合国家发展目标与个人理性诉求的利益兼容性激励模式。这一模式中,国家维度的目标设定与官员维度的奖励设计是激励机制的核心。从以魅力型权威为依托的政治忠诚到以科层制理性为依托的绩效追求再到多元激励目标的形成,激励机制的目标设定是随着治理环境和治理语境的改变而转型的;而从精神奖励到财政奖励再到晋升奖励的转型,激励机制中的奖励设计则为国家治理中不同历史时期的官员行为提供了不同的策略性动机和动力。

关于建立新型激励机制与综合应用激励手段的研究

本文从西方激励理论与我国企业现状出发．探索了建立适合改革中的企业管理体制的新型激励机制之路，指出新型激励机制中多种激励手段应有机地综合运用．首先对西方激励理论进行了分析．而后对“人”在管理中的地位进行了探讨．在分析我国激励机制中现存缺陷后．提出了从组织结构、企业文化、领导行为多个方面进行变革以建立新型激励机制的建议．

老工业基地国有企业推进产品自主创新的薪酬激励设计分析

东北地区等老工业基地国有企业尚未建立起有效的产品创新体系,企业自主创新能力薄弱,成为落实自主创新战略的薄弱环节。在回顾了国际制造业产品竞争的发展趋势和特点后,运用机制设计理论分析了老工业基地企业如何设计推进产品自主创新的薪酬激励机制。根据企业员工技能差异提供相应的新岗位培训项目,员工根据自身知识结构和技能水平选择相应的新岗位培训计划并获得相应的薪酬待遇,从而设计出满足激励相容的最优契约方案。最后作为一个实践应用的成功案例。

顺序迭代开发过程建模与仿真

为有效地管理和改进产品开发过程,提出了一种基于奖赏马尔科夫链的顺序迭代过程定量模型。该模型与已有的顺序迭代过程模型不同的是,模型中的返工影响因子不仅作用于直接返工任务的持续时间,而且作用于该返工任务的后续任务,即作用于返工任务的整个剩余时间。一个任务在每个阶段的返工量随着迭代次数的增加而逐渐减少。考虑了不同任务引起的同一任务返工量的不同。为估计开发过程的期望时间,建立了过程时间估计的分析模型和仿真模型,给出了仿真计算算法。以软件测试过程为例,给出了过程时间估计的分析和仿真实验结果,并与其他已有模型进行了对比分析。最后,讨论了模型估计结果产生偏差的可能原因。

教育神经科学与信息技术的跨学科整合研究--访英国著名教育神经科学家保罗·霍华德·琼斯教授

将教育神经科学与计算机信息技术进行整合,尤其是根据教育神经科学所揭示的规律探讨教育游戏的设计,研究用户中心原则在教育游戏设计中的应用,以及教育游戏对人脑基本认知过程产生的影响,是目前教育技术学的前沿研究课题。教育游戏兼具教育性和娱乐性的特征,其设计需要以科学的教育理论为支撑,通过游戏的方式完成教育过程,实现教育目标。玩游戏的过程会使大脑的奖励系统产生信号。不确定性的奖励会使人脑中的神经递质多巴胺的释放达到高峰值。因此,在结合了不确定性游戏的学习任务中,学习者的情绪反应增加,情绪反应的增强又可以支持记忆的编码,使学内容更加难忘,学习效果更好。琼斯教授是英国布里斯托尔大学神经科学与教育专业负责人,是当今世界最重要的教育神经科学专家之一,曾受邀到联合国教科文组织参加为期三个月的教育神经科学研究。2011年,他成为英国皇家学会神经科学与教育工作组成员。琼斯教授在国际上率先将教育神经科学研究和教育信息技术结合起来,探索动机、奖励和学习之间的关系。他以神经科学研究为基础,以互联网和应用软件为窗口,创造性地开发了适合提升学习水平的应用软件和教学方法,并将其应用于教育游戏中,其目的是提高教与学的效果。琼斯教授出版了《神经教育学研究导论》一书,并由笔者翻译为中文。他两次应邀访问华东师范大学。笔者借机与他就教育神经科学与教育信息技术的整合问题进行了深入的对话。

政府科技管理中的行政奖励研究

政府科技管理中的行政奖励,因其本身固有的民主、信任、合作与激励的行为取向与价值追求,在引导、激励行政相对方实施符合政府科技管理意图的行为、推进政府科技管理目标的顺利达成中发挥了积极和重要的作用。了解政府科技管理中行政奖励的主要类别和多种功能,并对其进行科学的制度设计,有助于在政府科技管理的实践中更好地发挥行政奖励的功效。

高校教师的激励型薪酬设计

薪酬体系的设计是人力资源管理的一个重要环节,本文提出了针对高校教师薪酬体系的设计。该体系设想以个性化的薪酬来激励教师,包括物质激励和精神激励。

略论高校人才流失的影响及对策

高校人才流失是学校管理当局激励不当的表症,它将给高校内部凝聚力、学科建设、品牌形象造成严重影响,从长远看对组织的危害更是不容低估,亟需引起重视。协作系统、心理契约和公平理论揭示了人才流失的成因,在对人才的激励上,诱因性报酬、激励性工作设计、晋升和目标考核四个方面都十分重要。

工程迭代设计中产品族开发过程的研究与建模

为了在工程迭代设计中减少新产品开发的提前期,提出了一种基于设计结构矩阵的产品族开发过程模型。在该模型中,基于设计参数间的依赖关系建立设计结构矩阵,并运用路径搜索算法将其整理为包含耦合子矩阵的解耦矩阵。对于其中的耦合子矩阵,运用基于马尔可夫链的串行迭代模型计算设计总时间,并运用基因算法优化排序。运用迭代设计的并行模型识别出对耦合关系贡献大的设计模态和设计参数,根据设计模态模块化设计参数,而对耦合关系贡献小的设计参数进行标准化。最后,将设计参数层的标准化和模块化映射到零件层,建立相应的产品族结构,以汽车离合器的设计为例阐述了该过程模型的有效性和应用前景。

俄联邦公开悬赏允诺之研究

在现代社会,以悬赏方式追求某种结果或者寻找遗失物品的现象非常普遍,因悬赏广告而产生的关系也是一种重要的社会关系,它涉及悬赏广告发布人和响应人之间权利义务的确定。《俄罗斯联邦民法典》对公开悬赏允诺作出了明确的规定,并将其作为一种与合同、不当得利、侵权行为等并列的债的发生根据进行规定,这种做法颇值我国民事立法借鉴。通过对俄联邦民事立法关于悬赏允诺的介绍,使我们在了解俄联邦民事立法规定的同时对其立法进行吸收和借鉴。

基于终端诱导强化学习的航天器轨道追逃博弈

针对脉冲推力航天器轨道追逃博弈问题,提出一种基于强化学习的决策方法,实现追踪星在指定时刻抵近至逃逸星的特定区域,其中两星都具备自主博弈能力.首先,充分考虑追踪星和逃逸星的燃料约束、推力约束、决策周期约束、运动范围约束等实际约束条件,建立锥形安全接近区及追逃博弈过程的数学模型;其次,为了提升航天器面对不确定博弈对抗场景的自主决策能力,以近端策略优化(Proximal policy optimization,PPO)算法框架为基础,采用左右互搏的方式同时训练追踪星和逃逸星,交替提升两星的决策能力;在此基础上,为了在指定时刻完成追逃任务,提出一种终端诱导的奖励函数设计方法,基于CW(Clohessy Wiltshire)方程预测两星在终端时刻的相对误差,并将该预测误差引入奖励函数中,有效引导追踪星在指定时刻进入逃逸星的安全接近区.与现有基于当前误差设计奖励函数的方法相比,所提方法能够有效提高追击成功率.最后,通过与其他学习方法仿真对比,验证提出的训练方法和奖励函数设计方法的有效性和优越性.