基于经验指导的深度确定性多行动者-评论家算法

连续控制问题一直是强化学习研究的一个重要方向.近些年深度学习的发展以及确定性策略梯度(deterministic policy gradients, DPG)算法的提出,为解决连续控制问题提供了很多好的思路.这类方法大多在动作空间中加入外部噪声源进行探索,但是它们在一些连续控制任务中的表现并不是很好.为更好地解决探索问题,提出了一种基于经验指导的深度确定性多行动者评论家算法(experience-guided deep deterministic actor-critic with multi-actor, EGDDAC-MA),该算法不需要外部探索噪声,而是从自身优秀经验中学习得到一个指导网络,对动作选择和值函数的更新进行指导.此外,为了缓解网络学习的波动性,算法使用多行动者评论家模型,模型中的多个行动者网络之间互不干扰,各自执行情节的不同阶段.实验表明:相比于DDPG,TRPO和PPO算法,EGDDAC-MA算法在GYM仿真平台中的大多数连续任务中有更好的表现.

眉下缘切口上睑皮肤松弛矫正术临床应用探讨

目的：探讨眉下缘切口上睑皮肤松弛矫正术的临床疗效。方法：2010年6月-2013年6月,对30例上睑皮肤松弛的患者（年龄30~60岁）进行了眉下缘切口上睑皮肤松弛矫正术,根据术前测量去除多余的眉下上睑松弛的皮肤,将切口下缘眼轮匝肌深部固定,伤口分层减张缝合。结果：术后随访6月~1.5年,手术切口印痕不明显,手术效果满意。结论：眉下缘切口上睑皮肤松弛矫正术具有效果好、术后恢复快、再现自然重睑且切口瘢痕隐蔽等优点,具有较好的临床应用价值。

一种加速时间差分算法收敛的方法

时间差分算法(Temporal difference methods,TD)是一类模型无关的强化学习算法.该算法拥有较低的方差和可以在线(On-line)学习的优点,得到了广泛的应用.但对于一种给定的TD算法,往往只能通过调整步长参数或其他超参数来加速收敛,这也就造成了加速TD算法收敛的方法匮乏.针对此问题提出了一种利用蒙特卡洛算法(Monte Carlo methods,MC)来加速TD算法收敛的方法(Accelerate TD by MC,ATDMC).该方法不仅可以适用于绝大部分的TD算法,而且不需要改变在线学习的方式.为了证明方法的有效性,分别在同策略(On-policy)评估、异策略(Off-policy)评估和控制(Control)三个方面进行了实验.实验结果表明ATDMC方法可以有效地加速各类TD算法.

新形势下消防宣传在消防工作中的价值探讨

分析近年来各地火灾的成因可知,火灾频发与群众的消防安全素养高低存在密切的联系。因此,必须重视消防宣传工作,尽量提高群众的消防安全意识,才能有效减少火灾的发生,也能为消防工作的顺利开展打好基础。文章首先就消防宣传在消防工作中的重要价值进行分析,然后针对当前消防宣传存在的问题提出一系列改进对策,以期进一步提高消防宣传效果。

响应面法优化超声辅助提取芒果多糖工艺

目的确定芒果多糖的最佳超声辅助提取条件。方法采用响应面法优化芒果多糖提取工艺,Plackett-Burman设计法对影响芒果多糖的提取条件进行筛选。选取的相关因素为超声温度、超声功率、超声时间、液料比以及提取次数,对影响最为显著的三个因素进行最陡爬坡实验,以确定中心点。通过Box-Benhnken Design实验得到最佳提取芒果多糖的工艺参数。结果芒果多糖的最佳提取参数为液料比32∶1(mL∶g)、超声温度33℃、提取次数3次,实际多糖提取率是3.58%。结论响应面法优化芒果多糖工艺研究是可靠的。

让美术教学充满生活的乐趣

美术课教学相对语文、数学而言有较大的特殊性,这给了美术课堂改革提供了较大的空间和自由度。美术教师应秉持'让美术教学充满生活的乐趣'的中心论点,摆事实,讲道理,通过创设生活情境,将生活知识引进课堂,走进生活,使学生感知美术教学充满生活乐趣的价值。