一种深度强化学习空间关系与记忆融合方法研究

深度强化学习结合了深度学习在视觉上强大的感知能力来解决复杂环境的序列决策问题,但是由于采样效率低,对于复杂高维数据输入,学习其重要特征较为困难.为了从序列样本中更有效地提取信息,本文提出在深度强化学习中融合空间关系推理和记忆推理(Spatial Relationship Reasoning and Memory Reasoning,SRRMR)的模型结构.模型分为空间关系推理和记忆推理两部分,空间关系推理使用注意力机制作为空间关系学习方法隐式地推理任意两个实体间的关系,注意力机制中的查询向量融合了记忆推理的内容;记忆推理将输入图像的特征和关系作为记忆的输入,利用自注意力与记忆组成部分进行推理和交互,并将交互的结果存储在记忆单元中,使得记忆存储单元融合了空间信息与记忆信息.SRRMR模型在不同种类的Atari游戏中进行了训练和验证,结果表明,空间关系推理与记忆推理的融合在7/15个游戏环境中以更少的交互次数收敛到更好的结果,记忆推理网络在12/15个游戏中获得提升,提升智能体学习效率,更高效地利用序列中的样本,提高了强化学习的样本利用率.

牛Pbx-1基因的电子克隆及生物信息学分析

新基因全长cDNA序列很难获得,但电子克隆却提供了基因克隆的一种策略。利用小鼠Pbx-1基因编码序列(NM_183355)为种子序列进行电子克隆获得牛Pbx-1基因完整编码序列。然后,用生物信息学方法分析了牛的Pbx-1基因的结构,密码子偏性和氨基酸的同源性等。结果表明:该基因cDNA全长1 754 bp,无内含子,最大开放阅读框1 305 bp,编码434个氨基酸,预测其编码的蛋白分子量为47 189.5 D a,与小鼠的同源性为81%。

奶牛HSP70基因3'-侧翼区多态性分析及其与生产性能的关系

以160头荷斯坦和娟姗奶牛作为研究对象,分别测定了其在不同温度条件下,直肠温度、呼吸频率、产奶量及乳成分,并进行了统计分析。同时设计引物扩增HSP70基因3'-侧翼区,通过PCR-SSCP技术分析HSP70基因3'-侧翼区的多态性,并发现一个多态位点。结果表明:扩增片段为292bp,扩增产物有基因多态性,共发现4种基因型,分别为荷斯坦牛的AA(H)型、AB(H)型和娟姗牛的AA(J)型、AB(J)型。其中B基因可能为抗热应激基因,这4种基因型奶牛个体的生产性能差异不显著(P>0.05)。