基于半马尔科夫决策过程的风力机状态维修优化

恶劣的工作环境、昂贵的维修成本和停机损失对风力机及其部件的维修提出挑战。以齿轮箱、叶片等风力机核心机械部件为对象,将部件退化过程离散成有限的退化状态;以长期折扣成本最低为目标,考虑风速、备件物流、停机损失等因素的影响,建立基于半马尔科夫决策过程的状态维修优化模型。分析各退化状态下的维修策略、检测间隔时间以及不同退化状态间的转移概率,并采用策略迭代算法求解模型。以某风力机齿轮箱为例,通过对等周期、非等周期检测条件下检测间隔时间和维修成本的分析,得到优化的维修决策。研究结果表明,该模型能有效描述风力机核心部件的退化过程,实现风力机维修优化。

基于半马尔科夫决策过程的视频传输拥塞控制算法

针对传输控制协议(TCP,transmission control protocol)的拥塞控制算法未能满足视频传输质量要求的问题,提出了一种基于半马尔科夫决策过程的视频传输拥塞控制算法。首先,为克服目前基于峰值信噪比的视频质量评估方法实时性低的缺点,设计了一种可在线运行的无参考视频质量评估方法。其次,根据接收端视频质量的反馈,采用半马尔科夫决策过程对拥塞控制进行建模,并通过求解此模型得到拥塞控制参数的调整策略。仿真实验结果表明,与目前典型的拥塞控制算法相比,该算法不但具备更好的TCP友好性,而且有效地提高了解码后视频序列的主观和客观质量。

基于半马尔科夫决策过程的虚拟传感网络资源分配策略

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切,造成较低的资源利用率,进而给资源提供者带来较低的收益问题,根据虚拟传感网络请求(VSNR)的动态变化情况,该文提出虚拟传感网络(VSN)中基于半马尔科夫决策过程(SMDP)的资源分配策略。定义VSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成VSNR的时间,给出奖赏函数的表达式,并使用免模型强化学习算法求解特定状态下的行为,从而最大化网络资源提供者的长期收益。数值结果表明,该文的资源分配策略能有效提高传感网资源提供者的收益。

基于SMDP的设备维护智能决策模型研究

对于计算机应用实验中心的设备维护来说,当设备运行过程中出现故障后,最大的问题是进行设备维修还是更新的决策问题,问题建模是基于设备的状态进行维护,利用SMDP的五元组进行决策变量分析,得到最优化的决策。实验数据表明,算法能够在机器发生故障后,进行系统的智能决策,优化整体维修成本,提高设备的使用率,有效降低维修风险,是一种新型的设备维护策略方式,为建设节约型校园提供了有力支持和保障。

基于深度强化学习的串联系统屏蔽故障维修策略研究

多部件串联系统维修决策优化问题得到越来越多的关注,目前绝大多数相关研究均假设系统失效时其失效部件是可直接观测的。实际的生产运营中,当系统发生失效时,其故障原因往往是屏蔽的,需要采用专业的工具进行诊断才能确定失效部件,继而进行维修。当诊断成本较高且部件接近更换役龄时,可以选择直接更换整个系统而不进行诊断。面向串联系统,考虑其发生屏蔽故障时,可以执行故障诊断确定失效部件继而更换,或者直接更换整个系统,建立半马尔科夫决策模型,以长周期成本率最低为目标函数,决策出每次屏蔽故障时的最佳动作。考虑到多部件导致的状态空间维数灾难问题,采用深度强化学习算法进行求解。最后将模型和算法应用于水电站液压自动抓梁系统,证明了其有效性。

可变服务率模式下基于需求驱动的传送带给料加工站系统的优化控制

本文主要研究可变服务率模式下基于需求驱动的传送带给料加工站(CSPS)系统的优化控制问题,主要目标是对系统的随机优化控制问题进行建模和提供解决方案.论文以缓冲库和成品库剩余容量为联合状态,以站点前视距离和工件服务率为控制变量,将其最优控制问题描述为半马尔科夫决策过程(SMDP)模型.该模型为利用策略迭代等方法求解系统在平均准则或折扣准则下的最优控制策略提供了理论基础,特别地,据此可引入基于模拟退火思想的Q学习算法等优化方法来寻求近似解,以克服理论求解过程中的维数灾和建模难等困难.仿真结果说明了本文建立的数学模型及给出的优化方法的有效性.

基于SMDP的虚拟化无线传感网络资源分配策略

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切从而造成较低的资源利用率问题,将虚拟化技术引入WSN,提出基于半马尔科夫决策过程(SMDP)的资源分配策略。定义虚拟化WSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成虚拟传感网络请求(VSNR)的时间,给出奖励的表达式,并使用值迭代的方法求解特定状态下的行为,在提高资源利用率的同时最大化网络资源提供者的长期收益。数值结果表明,所提的资源分配策略能有效提高资源提供者的收益。

基于SMDP的异构无线网络联合接纳控制策略研究

为了异构无线网络中不同无线技术的融合协同工作可以为终端接人提供随时随地的高质量的网络服务,联合呼叫接纳控制机制是适用于异构无线网络的判决呼叫准入的机制.提出一种优化的联合呼叫接纳控制机制用于异构无线网络,将新的呼叫和切换呼叫作为触发接纳控制的事件,对影响服务质量的参数和接纳控制开销进行网络效用建模分析,使用改进的值迭代算法来降低计算复杂度,将阈值函数分成多个域,来获得最优决策策略.提出的联合接入控制策略可提供优化服务质量保证,节约整个网络的能耗成本,并且有效降低呼叫阻塞率和切换掉线率.实验结果表明:算法具有较高的求解有效性,而且求解速度快,具有较高的推广应用价值.

异构无线网络多网资源优化管理研究

针对异构无线网络多网协同的特点,从分析多个无线网络共存的资源管理优化体制构建思想出发,建立了新的异构无线网络资源统一管理优化模型,实现了协同信息的控制和管理,同时保证了异构数据呼叫业务的服务质量,解决了多网间资源管理优化问题。首先,该模型在对呼叫服务请求做优化决策时,不仅考虑了本网络服务域的可用资源、服务请求的速率以及本系统的长期收益,同时也考虑了其他网络服务域的整体长期收益;其次,通过对所提出的基于异构无线网络多网资源优化管理模型的性能进行理论分析,得到其重要服务质量参数——新呼叫阻塞率;最后,通过仿真比较可以看出,通过该模型获得的优化决策策略能充分利用异构无线网络中各个网络域的资源,不仅提高了资源的利用率,而且在提高网络整体长期收益的同时,也保证了移动服务的服务质量。与资源完全共享算法相比,本方法降低了新呼叫阻塞率。理论分析和实验证明了异构无线网络资源域间资源优化管理方法的有效性、适应性。

分层强化学习原理研究

首先介绍了强化学习基本原理,分析了马尔科夫决策过程与半马尔科夫决策过程的理论基础及其在强化学习中的应用,其次阐述了分层强化学习中分层与抽象的思想,分析了HAM、Options与MaxQ等方法,并从分层与抽象角度进行了比较,最后指出了分层强化学习的研究发展方向。

打印参数可变模式下3D打印批调度问题研究

研究打印参数可变模式下3D打印批调度问题,旨在对打印任务随机到达的3D打印服务系统进行优化建模.考虑到工作台尺寸的限制以及打印参数层高对打印质量的影响,论文以各个任务队列长度作为系统联合状态,以任务组合以及打印参数层高作为系统的联合控制变量,以提高生产率、减少打印质量损失、节约电能为综合目标,将优化问题描述为半马尔科夫决策过程(SMDP),以便采用策略迭代算法、Q学习等算法求解系统最优调度策略.仿真结果表明,与层高参数固定模式以及先到先服务(FCFS)模式相比,本文求解的批调度策略能够有效提高生产性能.

基于性能势的A*平均奖赏强化学习算法研究

强化学习和性能势理论是当前人工智能领域的研究热点,RoboCup足球机器人仿真为人工智能和机器人学研究提供了一个良好的实验平台,针对强化学习和性能势理论在足球机器人仿真应用中求解过程不稳定和收敛速度过慢问题,提出了一个新的强化学习算法——基于性能势的A*平均奖赏强化学习算法(GA*-learning)。GA*-learning在基于性能势的平均奖赏强化学习算法(G-learning)中加入启发式函数,根据启发式策略确定动作的选择,从而加快学习收敛速度。把GA*-learning运用到通过简化的机器人足球领域——keepaway,仿真结果验证了算法能有效提高系统的性能和收敛速度。

车载云计算系统中的资源管理优化研究

车联网是物联网(Internet of Things,IOT)技术在智能交通领域的典型应用,研究车联网关键技术,可以高效促进我国交通系统建设。车载云计算(Vehicular Cloud Computing,VCC)作为实现智能交通的关键技术之一,在降低功率和时间的消耗,提高车辆总体资源利用率和系统长期收益等方面具有至关重要的作用。针对车辆自身资源受限以及将任务卸载到中心云将导致较高通信成本的情况,提出在车载云之间引入服务迁移的机制,同时将路边单元(Road Side Unit,RSU)和车辆异构性考虑进VCC系统中,基于半马尔科夫决策过程(Semi-Markov Decision Processes,SMDP)建立了VCC系统模型,最后应用值迭代算法求解,来寻找VCC资源分配的最优策略。仿真结果展示了车辆异构性对资源分配的影响,同时表明了SMDP资源管理方案的优越性,SMDP相比于贪婪算法(Greedy Algorithm,GA)和模拟退火算法(Simulated Annealing,SA)这两个传统算法,系统长期收益分别提高了10%和3%左右。

认知无线电中基于POMDP的机会频谱接入方案

为了充分利用先验信息,更好地对空闲频谱进行接入,针对认知无线电的多信道接入问题提出了一种基于半可观马尔可夫决策过程的认知无线电频谱接入方案。该方案采用信任向量,结合当前感知结果对主用户行为进行预测,并利用半可观马尔可夫决策理论选择出当前空闲概率最大的信道进行接入。同时根据信道前后相关性对次用户的发送时间、休眠时间进行了优化。仿真结果表明,该方案能够改善频谱接入方案,提高频谱利用率。

V2X异构车载网络下智能任务卸载策略研究

随着自动驾驶技术的迅速发展,车辆日益增长的处理需求与资源受限的车载处理器之间的矛盾日渐突出.车载边缘计算的出现解决了车载资源的物理限制,增强了单个车辆的计算能力.然而,由于车载服务通常具有时延敏感性,如何选择合适的通信接入技术,更好地满足自动驾驶场景中时延要求便成为一个挑战性难题.鉴于此,综合考虑两种V2X通信接入技术,即短距通信(DSRC)和基于蜂窝网的车载通信(C-V2X),提出一种V2X异构车载网络任务卸载模型.首先分析车辆移动性特征,并对车载资源进行虚拟化处理;然后基于半马尔科夫决策过程原理对任务卸载问题进行建模,分别制定状态、动作、奖励和转移概率;最后基于强化学习智能算法获取最优任务卸载策略,并通过大量数值仿真实验验证其任务卸载性能优于贪婪算法.