时序差分低秩约束的人体运动数据恢复研究

从观测到的人体运动捕获数据中恢复缺失数据是一个重要的研究问题.传统方法利用矩阵核范数和矩阵l1范数分别对运动捕获数据潜在的低秩性和噪声稀疏性进行约束,并额外添加时序光滑项,构建的目标函数包含3个正则化项.为更好刻画运动数据的低秩性并简化模型,提出一种利用时序差分低秩先验(Temporal Difference Low-rank Prior,TDLRP)且目标函数只含2个正则化项的人体运动捕获数据恢复模型;在保证收敛的前提下,采用交替方向乘子法求解模型.在公开的CMU数据集和HDM05数据集上与现有算法进行比较,实验结果验证了TDLRP算法具有较好的恢复性能.

基于时序差分的动态信道分配算法

合理的信道分配可以提高移动蜂窝网络的服务质量,用户高速移动以及流量突增等应用场景给移动蜂窝网络信道分配技术带来了挑战,动态信道分配算法成为当前研究的热点。基于此,首先引入用户呼叫的移动模型及其相关定义;其次建立了移动蜂窝网络信道分配环境的马尔可夫模型,使用时序差分对问题模型求解;最后通过搭建移动蜂窝网络信道分配仿真平台,在小区均匀流量和不均匀流量分布场景下对不同信道分配算法进行仿真实验。结果表明,所提算法大大降低了切换呼叫阻塞率,满足高移动高流量通信场景下的用户需求。

基于二阶时序差分误差的双网络DQN算法

针对深度Q网络(DQN)算法因过估计导致收敛稳定性差的问题,在传统时序差分(TD)的基础上提出N阶TD误差的概念,设计基于二阶TD误差的双网络DQN算法。构造基于二阶TD误差的值函数更新公式,同时结合DQN算法建立双网络模型,得到两个同构的值函数网络分别用于表示先后两轮的值函数,协同更新网络参数,以提高DQN算法中值函数估计的稳定性。基于Open AI Gym平台的实验结果表明,在解决Mountain Car和Cart Pole问题方面,该算法较经典DQN算法具有更好的收敛稳定性。

基于递推最小二乘法的多步时序差分学习算法

强化学习是一种重要的机器学习方法。为了提高强化学习过程的收敛速度和减少学习过程值函数估计的误差,提出了基于递推最小二乘法的多步时序差分学习算法(RLS-TD(λ))。证明了在满足一定条件下,该算法的权值将以概率1收敛到唯一解,并且得出和证明了值函数估计值的误差应满足的关系式。迷宫实验表明,与RLS-TD(0)算法相比,该算法能加快学习过程的收敛,与传统的TD(λ)算法相比,该算法减少了值函数估计误差,从而提高了精度。

高分辨率TerraSAR-X时序差分干涉沉降监测及精度验证

城市地面沉降属于缓慢性地质灾害,其对社会经济和人类生活具有持续性负面影响,对城市沉降进行广域高效监测具有重要现实意义。选取天津市为研究区域,以2009年4月7日—2010年12月14日获取的34幅高分辨率TerraSAR-X SAR影像为数据源,采用基于相干点目标分析(interferometric point target analysis,IPTA)的时序差分干涉处理方法进行沉降监测,使用精密水准数据进行精度验证,并提出一种基于最小二乘拟合的沉降时间序列验证方法,最后基于验证后的结果进行沉降分析和解释。与水准数据对比表明,IPTA解算沉降速率、时间序列最小二乘拟合沉降速率的均方根误差分别为3.15 mm/a和-3.25 mm/a。对沉降结果进行分析表明,实验区总体沉降呈不均匀性,最大沉降速率为-128.41 mm/a,沉降时空分布与研究区地表覆盖类型及地下水开采相关。

基于一般化斜投影的异策略时序差分学习算法

在强化学习的值函数线性估计问题中,时序差分不动点解和贝尔曼残差的方法都是对真实值函数的斜投影,然而这两种解经证明都不是最优解.通过对两种投影进行加权平均,提出了一种一般化的斜投影算子.基于此推导出两种残差时序差分学习算法,并给出了这两种算法在异策略下的收敛性证明.在著名的Baird的异策略反例实验上,与相关算法进行了对比,实验结果验证了所提算法的正确性和有效性.

电场时序差分在雷电预警中的有效性分析

目前国内应用地面大气电场仪进行雷电预警一般使用阈值法,这一方法直接使用电场观测值的多重阈值来进行预警,在实际应用中容易出现误报和漏报的现象。本文通过对晴天大气电场和雷暴天气大气电场分析了大气电场时序差分的基本特征,并结合SAFIR3000闪电定位观测数据,对典型雷暴过程下的电场时序差分进行了深入分析。本文还选取了有雷暴发生和无雷暴发生的预警应用个例进行了分析,分析结果表明电场时序差分的应用能在一定程度上提高雷电预警的效率。

基于时序差分学习的强化学习算法实验教学案例设计

为方便初学者快速掌握强化学习算法原理、降低机器学习教学门槛,利用强化学习中基于时序差分学习的SARSA和Q学习两个基本算法,介绍了强化学习的内容框架、基本理论、数学公式和算法流程,并将两个算法合理应用到智能体迷宫寻宝的实验案例中。对比发现,Q学习算法整体表现优于SARSA算法。通过实验操作及编程改进,可以唤醒学生探索求真的科研精神,激发学生对优化机器学习算法的热情,为机器学习实践教学方法提供参考依据。

时序自回归差分方程模型在传染病预测中的应用

本文通过分析传染病的特性,建立了时序自回归差分方程模型,对SARS传染病的流行规律进行了进一步研究,并讨论了平衡点及其稳定性.仿真结果表明,使用自回归差分方程模型预测传染病的流行趋势,具有精度高、简单易行的特点.

基于时序InSAR技术的京津高铁区域沉降稳定性评估

高速铁路对轨道的平顺性及线下构筑物的稳定性有严格的要求,而铁路地理跨度大,采用定期的常规地面人工测量方法无法及时有效得到高速铁路沿线的形变,给线路的稳定性评价和列车的安全运营造成了潜在的隐患.本文以京津高速铁路永乐站至天津站区段为研究区域,利用时序差分雷达干涉测量技术,选用C波段雷达数据对沿线区域进行了形变监测,获得了该区域在2007-02—2010-07时间范围内的纵断面方向平均沉降速率曲线及沿线平均沉降变化率曲线;对比分析了沿线区域沉降变形规律,提出区域内差异性沉降是对线路稳定性影响较大的因素;并根据影响程度对线路进行了分级评估.该结论对于京津高铁的运营及维护具有重要参考意义和实用价值.

基于优先采样模型的离线强化学习

离线强化学习通过减小分布偏移实现了习得策略向行为策略的逼近,但离线经验缓存的数据分布往往会直接影响习得策略的质量.通过优化采样模型来改善强化学习智能体的训练效果,提出两种离线优先采样模型:基于时序差分误差的采样模型和基于鞅的采样模型.基于时序差分误差的采样模型可以使智能体更多地学习值估计不准确的经验数据,通过估计更准确的值函数来应对可能出现的分布外状态.基于鞅的采样模型可以使智能体更多地学习对策略优化有利的正样本,减少负样本对值函数迭代的影响.进一步,将所提离线优先采样模型分别与批约束深度Q学习(Batch-constrained deep Q-learning,BCQ)相结合,提出基于时序差分误差的优先BCQ和基于鞅的优先BCQ.D4RL和Torcs数据集上的实验结果表明:所提离线优先采样模型可以有针对性地选择有利于值函数估计或策略优化的经验数据,获得更高的回报.

梯级水库深度强化学习长期随机优化调度研究

梯级水库调度相较于单库调度状态空间呈指数级增大,为解决基于表格的强化学习方法在解决梯级水库长期随机优化调度问题时面临的维数灾问题,提出采用深度强化学习中的深度Q网络算法求解。首先基于Copula函数分析梯级水库随机入库径流的联合分布函数;再根据时序差分思想分别建立目标神经网络和主神经网络,分别逼近当前和下一状态对应的动作状态价值,并采用ε-贪婪探索利用策略获取最优调度策略;最后将主要参数分步调优保障调度效益。算例对比表明,深度Q网络算法相较于Q学习算法及其改进算法提升了优化调度目标值,加快收敛速度,有效解决了梯级水库随机优化调度中的维数灾问题.

基于深度强化学习的动态装配算法

针对动态装配环境中存在的复杂、动态的噪声扰动,提出一种基于深度强化学习的动态装配算法。将一段时间内的接触力作为状态,通过长短时记忆网络进行运动特征提取;定义序列贴现因子,对之前时刻的分奖励进行加权得到当前时刻的奖励值;模型输出的动作为笛卡尔空间位移,使用逆运动学调整机器人到达期望位置。与此同时,提出一种对带有资格迹的时序差分算法改进的神经网络参数更新方法,可缩短模型训练时间。在实验部分,首先在圆孔–轴的简单环境中进行预训练,随后在真实场景下继续训练。实验证明提出的方法可以很好地适应动态装配任务中柔性、动态的装配环境。

时序InSAR技术在太原地铁沿线形变监测中的应用

城市轨道交通的建设与运营会引起地铁沿线的持续形变而造成地面沉降,给地面及地下基础设施带来安全隐患。为了解太原市首次开通运营太原地铁二号线一期线路以来沿线地面形变情况,以二号线一期工程沿线为研究对象,使用2020年6月至2021年11月共20景Sentinel-1A影像,基于永久散射体、小基线集技术对研究区进行地面形变监测。研究表明,两方法所得沉降分布情况、形变时序分析结果有很高的一致性,线路沿线最大沉降为31.96 mm,最大沉降速率为32 mm/a,存在三个较明显的沉降区域,推断与其处于大规模的不断的城市建设区域密切相关。本次研究可为后续太原市地铁建设沿线地表形变监测提供参考。

基于双边全变差滤波算法的台区线损模式自动识别方法

为有效提升电网运行稳定性,维护供电企业经济效益,提出基于双边全变差滤波算法的台区线损模式自动识别方法。构建数字全变差模型,代入双边滤波机制和规整化参变量,通过广义Gaussian分布近似得到信号噪声概率密度函数,消除台区线路信号噪声;计算台区日统计线损,提取台区系统时间序列信息,利用差分化序列波动判断异常线路;创建台区评估指标,采用最大期望方法将归一化后的线损率拟合成混合高斯模型,根据不同线损率范围自动识别台区线损模式。实验结果表明方法可快速准确识别出不同工况下的台区线损模式,为用户提供更加安全稳定的供电服务。

基于大气电场资料的预警体系及其阈值控制分析

文章详细介绍了Pre-storm 2.0场磨式大气电场仪的系统组成与功能、信号输出与级别等预警程序,同时结合辖区内雷暴过程的发生、发展、监测预警体系及大气电场幅值阈值控制,运用统计学原理、幅值差分方法对典型雷暴过程进行案例剖析,所得结果以期提高预警准确率,为辖区防灾减灾提供必要的支持。

呼和浩特市大气颗粒物质量浓度变化对大气电场强度的影响研究

利用2018—2021年呼和浩特郊区站的大气颗粒物质量浓度资料和内蒙古气象局的闪电定位资料及大气电场资料,采用相关性分析方法和时序差分法,研究大气颗粒物质量浓度对大气电场的影响。结果表明:(1)大气颗粒物质量浓度是影响大气电场预警系统空报发生的主要因素之一。(2)雷暴日的差分大气电场强度值较大,而晴天空报日的差分大气电场强度值集中在相对较小的范围内。(3)当大气电场差分绝对值达到0.6 kV·m^(-1)以上,且此刻出现大气电场强度的初次极性反转,则该地区在30 min后发生地闪的可能性较大,经过验证后发现,使用该方法进行预警的准确率较高。

采用改进模糊层次分析法的风速预测模型

针对风速具有较强随机性的特点,提出一种基于改进模糊层次分析法的风速预测组合模型。以风速预测周期、风速的振荡性及预测者对预测模型的信赖度为目标准则;通过模糊判断矩阵的方法确定组合模型的最优权重。该组合模型可以综合考虑影响风速预测的多种不确定性因素,在综合不同模型预测结果的基础上引入专家经验。算例分析表明,该组合预测模型的预测结果与传统的单一预测模型相比,误差更小,精度更高。

基于深度强化学习的非置换流水车间调度问题

针对传统调度算法不能有效利用历史数据进行学习,实时性较差而难以应对复杂多变的实际生产调度环境等问题,首次提出一种基于时序差分法的深度强化学习算法。该方法综合神经网络和强化学习实时性、灵活性的优势,直接依据输入的加工状态进行行为策略选取,更贴近实际订单响应式生产制造系统的调度决策过程。通过将调度问题转化为多阶段决策问题,用深度神经网络模型拟合状态值函数,把制造系统加工状态特征数据输入模型,采用时序差分法训练模型,把启发式算法或分配规则作为调度决策候选行为,结合强化学习在线评价—执行机制,从而为每次调度决策选取最优组合行为策略。在非置换流水车间标准问题集上的测试结果表明,该算法能够取得低于实例上界的较优解。

加强学习主要算法的比较研究

文章介绍了加强学习模型,分别给出了加强学习的四个主要算法:动态规划、蒙特卡罗算法、时序差分算法、Q-学习,并指出了它们之间的区别和联系。最后给出加强学习的两个应用以及今后的研究方向。