基于TD-error自适应校正的深度Q学习主动采样方法

强化学习中智能体与环境交互的成本较高.针对深度Q学习中经验池样本利用效率的问题,提出基于TD-error自适应校正的主动采样方法.深度Q学习训练中样本存储优先级的更新滞后于Q网络参数的更新,存储优先级不能准确反映经验池中样本TD-error的真实分布.提出的TD-error自适应校正主动采样方法利用样本回放周期和Q网络状态建立优先级偏差模型,估计经验池中样本的真实优先级.在Q网络迭代中使用校正后的优先级选择样本,偏差模型在学习过程中分段更新.分析了Q网络学习性能与偏差模型阶数和模型更新周期之间的依赖关系,并对算法复杂度进行了分析.方法在Atari 2600平台进行了实验,结果表明,使用TD-error自适应校正的主动采样方法选择样本提高了智能体的学习速度,减少了智能体与环境的交互次数,同时改善了智能体的学习效果,提升了最优策略的质量.

TD-LTE系统中信道估计LMMSE算法Q矩阵的ASIC实现分析

研究了TD-LTE（Time Division-Long Term Evolution）系统下信道估计LMMSE（Linear Minimum Mean-Square Error）算法中Q矩阵的实现。从ASIC设计的角度考查LMMSE算法中Q矩阵实时生成的硬件实现可行性,包括实现方案、资源开销和时间开销。为整个TD-LTE基带芯片信道估计哪部分采用软件实现,哪部分采用硬件实现提供决策参考。

Q-Td与室速、室颤关系的探讨

为探讨Q-Td与室性心律失常的关系,观察因室速、室颤而死亡患者(n=20)体表ECG Q-T间期弥散度(Q-Td)。发现室颤发作前数天内Q-Td增大,Q-Td值室颤组为0.0795±0.022s,对照组(n=20)为0.028±0.014s,两组有非常显著性差异(P〈0.01)。认为Q-Td增大可作为预测室颤发生的简便方法。

平板运动试验中Q-Td、Q-Tcd的变化及对比分析

目的 :了解Q-Td、Q -Tcd对活动平板运动试验结果判断的价值。方法 :对30例平板运动试验阳性者及30例平板运动试验阴性者运动试验不同阶段的Q-Td、Q-Tcd进行对比分析。结果 :运动前两组Q-Td、Q-Tcd无显著差异 ;运动后2分钟及运动中或运动后ST段压低最明显时 ,运动试验阳性组与阴性组比较Q-Td、Q -Tcd差异有显著性 (P<0 01) ;阳性组运动后2分钟、运动中或运动后ST段压低最明显时Q-Td、Q-Tcd较运动前显著延长 (P<0 01) ;阴性组运动后2分钟Q-Td、Q-Tcd与运动前相比差异无显著性 (P>0 05)。结论 :运动试验后Q-Td。

健康成人Q-Td及Q-Tcd测定的正常值

为探讨Q-Td、Q-Tcd正常值,测量油校360例20～59岁健康教工常规体表12导联心电图Q-T间期,并计算出Q-Td、Q-Tcd结果显示:(1)Q-Td均值为23.97±10.10ms,Q-Tcd均值为23.89±8.54ms,Q-Td范围均在10～50ms之间,Q-Tcd在2～45ms之间;(2)男女之间无显著性差异(P>0.05),(3)各年龄组Ⅳ与Ⅰ组(t=2.202P<0.05),Ⅳ与Ⅱ(t=2.403P<0.05)间Q-Td差异有显著性(P<0.05)。认为Q-Td、Q-Tcd均可暂定为<50ms。

一种二阶TD Error快速Q(λ)算法

Q(λ)学习算法是一种结合值迭代与随机逼近的思想的基于模型无关的多步离策略强化学习算法.针对经典的Q(λ)学习算法执行效率低、收敛速度慢的问题,从TD Error的角度出发,给出n阶TD Error的概念,并将n阶TD Error用于经典的Q(λ)学习算法,提出一种二阶TD Error快速Q(λ)学习算法——SOE-FQ(λ)算法.该算法利用二阶TD Error修正Q值函数,并通过资格迹将TD Error传播至整个状态动作空间,加快算法的收敛速度.在此基础之上,分析算法的收敛性及收敛效率,在仅考虑一步更新的情况下,算法所要执行的迭代次数T主要指数依赖于1/1-γ、1/ε.将SOE-FQ(λ)算法用于Random Walk和Mountain Car问题,实验结果表明,算法具有较快的收敛速度和较好的收敛精度.

急性心肌梗塞后Q-T及J-T离散度改变的临床意义

为了解急性心肌梗塞后Q-T及J-T离散度改变的临床意义,观察53例AMI后Q-T及J-T离散度动态变化。结果表明:(1)急性心肌梗塞部位与Q-Td及J-Td无明显关系(P〉0.05)。(2)猝死组Q-Td及J-Td明显高于非猝死组(P〈0.05或P〈0.001)。(3)再发AMI病人Q-Td及J-Td明显高于首发病人(P〈0.01—0.001)。认为测量AMI时Q-Td及J-Td可用于预测猝死发生的危险性,而再发性AMI后Q-Td及J-Td变化更为明显。

冠心病持续性室性心动过速患者的Q-T离散度

为评价Q-T_d对冠心病患者发生室性心动过速的预测价值,观察18例冠心病持续性室性心动过速患者和20例对照组的Q-T_d。结果显示持续型室性心动过速组Q_(Td)(104±28ms)明显大于对照组(61±19ms,P<0.01)。表明Q-T_d的增加可作为预测室性心动过速发生的重要指标。

束支传导阻滞患者Q-T、J-T离散度与室性心律失常的关系

为探讨左、右束支传导阻滞患者Q-T_d、J-T_d与室性心律失常之间的关系,观察63例右束支传导阻滞、30例左束支传导阻滞并与30例正常QRS波群者作对照。结果显示:束支传导阻滞两组的Q-T_d、J-T_d值比对照组显著增高,差异有非常显著意义(P<0.01);左束支传导阻滞组的Q-T_d、J-T_d值高于右束支传导阻滞组,但两者Q-T_d差异无显著意义(P>0.05),而两者J-T_d差异有显著意义(P<0.05)。提示束支传导阻滞时J-T_d更能反映心肌复极情况,J-T_d值较高的左束支传导阻滞组临床上高危室性心律失常发生率较高。

冠心病及高心病的Q-T离散度

为评价冠心病者及高心病的Q -T离散度的临床意义 ,观察了 97例冠心病、高心病患者的Q -T离散度 ,并与 96例正常组对比。结果表明 ,冠心病、高心病患者的QTd、Q -Tcd、J-Td、J -Tcd均比正常组延长 ,有显著差异 ,P <0 0 1。冠心组高心组发生心律失常占 4 1%。认为Q -Td、J -Jd增大是预测心律失常有意义的指标。

不同局麻药的颈丛阻滞效果及对Q-T间期和Q-T离散度的影响

目的:研究不同局麻药用于颈丛神经阻滞的效果及其对Q-T间期和Q-T离散度(Q-Td)的影响.方法:60例ASAⅠ或Ⅱ级拟在颈丛阻滞下行甲状腺肿物切除患者,随机分为4组(每组15例):罗哌卡因组(Ⅰ组),布比卡因组(Ⅱ组),罗哌/利多卡因组(Ⅲ组),布比/利多卡因组(Ⅳ组),各组分别用3.75g/L罗哌卡因、3.75g/L布比卡因、3.75g/L罗哌卡因/10.0g/L利多卡因及3.75g/L布比卡因/10.0g/L利多卡因20mL行颈丛神经阻滞,观察麻醉效果及并发症发生情况,记录麻醉前(T0),麻醉即刻(T1),麻醉后10min(T2),30min(T3),1h(T4)及手术结束即刻(T5)的HR,MAP,SpO2,RR,PetCO2,同时记录各时间点的Q-T,Q-Td及校正后的Q-Td(Q-Tcd).结果:Ⅰ,Ⅱ组;Ⅲ,Ⅳ组麻醉效果相似(P>0.05),均能满足手术要求;各组对抬头肌力的影响:Ⅱ组强于I组(P<0.05),Ⅳ组与Ⅲ组差异无统计学意义(P>0.05).各组患者HR,MAP在麻醉后均有不同程度升高,均在临床安全范围;SpO2,RR,PetCO2差异无统计学意义(P>0.05).Q-T间期、Q-Td,Q-Tcd麻醉后均延长,其中以II组延长最为明显(P<0.01).结论:不同局麻药及其配伍用于颈丛神经阻滞均能满足临床麻醉需要,罗哌卡因、罗哌/利多卡因对Q-T间期、Q-Td影响小,临床应用更为安全.

Q-T离散度在慢性肺心病中的临床意义

目的 :探讨Q T离散度 (Q Td)在慢性肺心病中的临床意义。方法 :观察 3 2例慢性肺心急性加重期病人Q Td、校正Q Td(Q Tcd)的变化 ,并与 2 5例慢性肺心病心功能代偿期及 3 0例正常人的Q Td、Q Tcd对照研究。结果 :慢性肺心病Q Td、Q Tcd较正常人明显延长 (P <0 .0 1) ,慢性肺心病急性加重期较缓解期Q Td、Q Tcd明显延长 (P <0 .0 1)。结论 :Q Td、Q Tcd在慢性肺心病中有重要临床意义 ,纠正使Q Td、Q

脑出血对Q-T离散度的影响

目的:探讨脑出血对Q-T离散度(Q-Td)的影响。方法:测定了43例脑出血病人的QT离散度并与对照组比较。同时将脑出血死亡组与存活组以及脑出血合并冠心病组与无合并冠心病组进行比较。结果:脑出血组Q-Td显著大于对照组(P<0.05);脑出血死亡组Q-Td显著大于存活组(P<0.01);脑出血合并冠心病组与无合并冠心病组无显著差异(P>0.05)。结论:Q-Td可作为评估脑出血者病危程度的重要参考指标,而无论其有无基础冠心病存在。

基于Q学习和TD误差的传感器节点任务调度算法

针对现有合作学习算法存在频繁通信、能量消耗过大等问题,应用目标跟踪建立任务模型,文章提出一种基于Q学习和TD误差(Q-learning and TD error,QT)的传感器节点任务调度算法。具体包括将传感器节点任务调度问题映射成Q学习可解决的学习问题,建立邻居节点间的协作机制以及定义延迟回报、状态空间等基本学习元素。在协作机制中,QT使得传感器节点利用个体和群体的TD误差,通过动态改变自身的学习速度来平衡自身利益和群体利益。此外,QT根据Metropolis准则提高节点学习前期的探索概率,优化任务选择。实验结果表明:QT具备根据当前环境进行动态调度任务的能力;相比其他任务调度算法,QT消耗合理的能量使得单位性能提高了17.26%。

血液透析对尿毒症患者QT离散度的影响

目的 观察血液透析对慢性肾功能衰竭尿毒症患者QT离散度的影响。方法我们观察了1999年1月～2001年12月在我院血液净化中心行维持性血液透析的63例慢性肾功能衰竭尿毒症患者,在透析前、透析1小时、2小时、透析后行心电图检查,测定QT离散度(Q-Td)和心率校正的Q-T离散度(Q-Tcd)。结果 所有慢性肾功能衰竭尿毒症患者的QTd(62.1±16.9)和Q—Tc(68.3±16.9)较正常人延长(P<0.05);透析后的QTd(48.7±14.6)和Q-Tc(52.6±15.8)较透析前明显缩短(P<0.05)。结论 慢性肾功能衰竭尿毒症患者发生恶性心律失常和心脏猝死的机率明显增高,但规律、有效的血液透析能降低此危险性,提高血液透析患者的生存率。

基于二阶时序差分误差的双网络DQN算法

针对深度Q网络(DQN)算法因过估计导致收敛稳定性差的问题,在传统时序差分(TD)的基础上提出N阶TD误差的概念,设计基于二阶TD误差的双网络DQN算法。构造基于二阶TD误差的值函数更新公式,同时结合DQN算法建立双网络模型,得到两个同构的值函数网络分别用于表示先后两轮的值函数,协同更新网络参数,以提高DQN算法中值函数估计的稳定性。基于Open AI Gym平台的实验结果表明,在解决Mountain Car和Cart Pole问题方面,该算法较经典DQN算法具有更好的收敛稳定性。

深度Q学习的二次主动采样方法

实现深度Q学习的一种方式是深度Q网络(Deep Q-networks,DQN).经验回放方法利用经验池中的样本训练深度Q网络,构造经验池需要智能体与环境进行大量交互,这样会增加成本和风险.一种减少智能体与环境交互次数的有效方式是高效利用样本.样本所在序列的累积回报对深度Q网络训练有影响.累积回报大的序列中的样本相对于累积回报小的序列中的样本更能加速深度Q网络的收敛速度,并提升策略的质量.本文提出深度Q学习的二次主动采样方法.首先,根据序列累积回报的分布构造优先级对经验池中的序列进行采样.然后,在已采样的序列中根据样本的TD-error(Temporal-difference error)分布构造优先级对样本采样.随后用两次采样得到的样本训练深度Q网络.该方法从序列累积回报和TD-error两个方面选择样本,以达到加速深度Q网络收敛,提升策略质量的目的.在Atari平台上进行了验证.实验结果表明,用经过二次主动采样得到的样本训练深度Q网络取得了良好的效果.

强化学习原理、算法及应用

强化学习(ReinforcementLearningRL)是从动物学习理论发展而来的,它不需要有先验知识,通过不断与环境交互来获得知识,自主的进行动作选择,具有自主学习能力,在自主机器人行为学习中受到广泛重视.本文综述了强化学习的基本原理,各种算法,包括TD算法、Q-学习和R学习等,最后介绍了强化学习的应用及其在多机器人系统中的研究热点问题.

加强学习

加强学习(Reinforcement Learning,简称RL)是一种重要的机器学习方法,在机器入规划、分析预测等领域有许多应用。加强学习的任务即是寻找一条策略,为行为者(agent)

平板运动试验对大学生室性早搏的评价

应用美国MAX运动平板试验系统,观察了16名大学生不明原因室早患者与16名健康对照者运动平板试验过程中心率、早搏、心电图Q-T间期、Q-T离散度的变化。结果是室早组次极量运动时室早明显减少或消失14例,良性早搏占87.5%,对照组中1名运动过程中出现偶发室早。与对照组相比,两组运动前后心率、心电图Q-Td、Q-Tcd差异均无统计学意义(P>0.05)。运动平板试验能够作为评价青年人不明原因室早的依据,有益于指导临床治疗。