基于延迟策略的最大熵优势演员评论家算法

在强化学习中智能体通过与环境交互获得奖励值,更高的奖励值需要更优的策略,但在高维复杂的环境中,传统的强化学习算法交互产生的样本复杂度较高,并且会产生过估计问题,导致计算最优策略的过程产生较大的波动,算法难以收敛.针对上述问题,提出了一种基于延迟策略的最大熵优势演员评论家强化学习算法(DAAC).DAAC算法基于传统的策略梯度演员评论家算法框架,使用了两个评论家网络,分别计算状态值函数和动作的优势估计值函数并最大化目标策略的预期熵,在评论家网络中使用延迟策略更新的技巧.该算法在基于Linux平台的OpenAI Gym的物理仿真模拟器Mu JoCo进行了实验,并与传统的强化学习算法DQN,TRPO,DDPG在不同的机器人模拟器中作对比,实验结果表明,DAAC算法有效地降低了计算过程的波动性,使策略更快收敛到最优解并获得了更高的奖励值.

基于Spark平台的ALS加速算法研究

协同过滤推荐算法在推荐系统中发挥着重要作用,但其存在执行效率与排名精度较低的问题,交替最小二乘(ALS)算法可实现并行计算,从而提高执行效率,但是该算法数据加载与迭代收敛的时间较长。为此,将非线性共轭梯度(NCG)算法与ALS算法相结合,提出一种ALS-NCG算法,以达到加速ALS算法的目的。在Spark分布式数据处理环境中对ALS-NCG算法进行性能评估,实验结果表明,相比ALS算法,ALS-NCG算法获取高精度推荐排名时需要的迭代次数与时间更少。

蜂蛹提取物对顺铂诱导小鼠肾损伤的保护作用试验

蜂蛹具有抗氧化、降血糖、抗衰老、抗炎等多种功效,为研究蜂蛹提取物对顺铂(LDDP)诱导小鼠肾损伤的保护作用,本试验以云南胡蜂蜂蛹提取物为原料,测定了提取物中蛋白对超氧自由基及DPPH自由基的清除活性。通过构建顺铂诱导的小鼠肾损伤模型,测定血清及组织超氧化物歧化酶(SOD)、谷胱甘肽过氧化物酶(GSH-Px)、脂质过氧化物丙二醛(MDA)、肌酐(Cr)和尿素氮(BUN)的活性或含量,对小鼠肾脏进行组织切片染色分析。结果显示,当蜂蛹提取物浓度达到200 mg/mL时,其DPPH自由基清除率达到57%,最大氧自由基清除率接近97%,蜂蛹提取物具有良好的自由基清除活性,且自由基清除能力具有剂量依赖效应;与顺铂组相比,蜂蛹组中血清SOD和GSH-Px含量均升高约2倍,MDA、Cr、BUN含量均显著降低(P<0.05);结合肾脏组织切片H.E.染色分析,蜂蛹组小鼠肾脏组织的透明细胞和炎性细胞浸润现象有所改善,其损伤程度明显减轻。表明蜂蛹提取物可以减轻顺铂诱导的组织病理损伤,对小鼠肾损伤具有保护作用。