基于多时隙业务联合整形的低能耗资源调度方法

面向未来6G移动通信系统超高数据密度的业务需求场景,为保障用户服务质量(QoS)并降低系统能耗,首先分析了移动通信系统的能耗构成,发现了系统能耗的非线性特征。然后在此基础上,设计了多时隙业务联合整形的低能耗资源调度方法。该方法通过感知用户业务流量和时延要求等需求侧的数据特征,利用深度强化学习算法在给定的多个时隙内动态调整基站资源分配策略。该资源分配策略降低了用户业务请求的非平稳性,从而减少了基站的非线性传输特性产生的额外能耗。最后通过软件仿真对比不同方法,验证了基于多时隙业务联合整形的理论和算法的正确性及有效性。

太空望远镜观测调度优化研究进展

随着人类对太空的持续探索,空间碎片数量不断增加,对空间碎片的观测需求也逐步增长。太空望远镜作为空间目标观测的重要设备,其性能需求也不断提高,使得观测调度变得更加困难。首先,本文列出了太空望远镜调度问题的几种典型模型和每种模型的常用求解算法,同时介绍了不同应用场景下的望远镜调度约束条件和优化目标,并对每种模型的常用算法进行了优劣分析。其次,阐述了国内外太空望远镜调度系统的发展过程及最新研究进展。最后,根据望远镜调度的研究现状,对太空望远镜调度的未来发展趋势进行展望。

基于连续时间半马尔可夫决策过程的Option算法

针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势.

基于平均报酬模型的强化学习算法研究

对于有吸收目标状态的循环任务,比较合理的方法是采用基于平均报酬模型的强化学习.平均报酬模型强化学习具有收敛速度快、鲁棒性强等优点.本文介绍了平均报酬模型强化学习的3个主要算法:R学习、H学习和LC学习,并给出了平均报酬模型强化学习的主要应用及研究方向.

高层建筑深基坑喷锚网支护技术研究

喷锚网支护由喷射混凝土、锚入钢锚杆和挂设钢筋网构成，是高层建筑深基坑边坡支护中的一种新技术。它在基本原理、设计计算、工程施工等方面提供了一种新的设计思路和施工方法。实践证明它技术可靠、速度快、造价低，前景良好。

莞惠城际轨道交通工程深基坑施工对邻近建筑物的影响及控制分析

在城际轨道建设中,将深基坑周边邻近建筑物影响降到最低,是设计及施工必须研究的课题。为了解决深基坑开挖过程中邻近建筑物的安全问题,结合莞惠城际轨道GZH-5标工程实例,采用有限元模拟分析方法及该工程大量监测数据,通过建筑物加固前后变形情况对比,深入地研究超深基坑开挖对其邻近建筑物的影响及控制。主要得出以下结论:1)与基坑的距离关系,是影响开挖期间建筑物变形规律的主要因素;2)模型能有效预测莞惠城际GZH-5标施工过程中10层居民楼变形终值超过控制值,可为制定加固措施提供参考;3)该施工加固方案能有效控制10层建筑物的变形与沉降,合理可行。

探地雷达及双液注浆在特大型基坑支护加固中的应用

某工程项目基坑支护因开挖后长期搁置,导致基坑支护体系超过使用时限,为确保基坑支护结构的使用安全,对此基坑支护结构进行了加固处理。采用预应力锚杆对面层脱落部位重新编网并进行锚喷加固;采用探地雷达检测基坑周边地质变化情况,对形成的空洞危害状况进行了专业分析,并选用双重管无收缩双液注浆改良土体工法(即WSS工法)进行加固施工。检测结果表明,采用双液注浆技术配合探地雷达检测,能较好地完成复杂基坑土体的压密、固化和止水,值得推广应用。

视频帧预测算法探究

视频预测一直以来都是计算机视觉领域的热点问题,由于其广泛的实用价值和理论价值,引起了研究人员的广泛关注。该文对主流的视频帧预测算法进行了研究,首先介绍了视频预测领域的常见问题,并由基本架构对视频预测算法进行了分类,接下来介绍了该领域常用的数据集并给予评价,最后从视频预测算法的运行流程和最新的论文角度上,总结该领域算法的发展方向。

基于强化学习的任务型对话策略研究综述

对话系统在自然语言处理中发挥着重要作用,具有较好的实际应用前景和许多值得研究的方向.对话策略是基于管道方法的人机对话系统的核心组件,能够根据对话状态生成响应动作,进而指导对话生成.对话策略学习常建模为(半)马尔可夫决策过程,然后通过强化学习求解.近年来,基于强化学习算法解决任务型对话策略问题的研究层出不穷,而相关综述缺乏.因此,本文对基于强化学习的任务型对话策略进行分析、归类、总结.首先,介绍分类强化学习的一般模型,并基于强化学习的分类,分析并总结现有对话策略学习的一般思路和存在问题;其次,基于不同的研究热点,包括多领域、多模态、多代理和共情对话策略,深度剖析新近研究的理论模型、研究进展和存在的问题;接着,针对对话策略的相关研究,包括用户模拟器、对话策略评估、对话策略平台与数据集以及大语言模型与对话策略等进行介绍;针对现有研究的不足,本文从5种不同的角度分析了对话策略的未来研究方向;最后,对全文进行总结与展望.本文不仅从强化学习分类上概述任务型对话策略,而且从应用的角度分类任务型对话策略,全方面、多角度地综述了任务型对话策略,为未来的任务型对话策略的研究提供启示.