前额叶皮层和纹状体间功能性连接的量化分析

奖励预测对于大脑的学习记忆、行为决策等高级认知功能具有至关重要的意义。前额叶皮层(Prefrontal Cortex,PFC)和纹状体(Striatum)是大脑中的两个重要脑区,以往的研究发现,前额叶皮层和纹状体中的神经元都参与了对奖励信息的编码,然而,对于这两个脑区之间信息交流、相互影响的具体方式仍然不够明确。为了研究这一问题,在对猴子进行非对称奖励预测实验的过程中,用多通道电极同时记录了其前额叶皮层和纹状体两个部位的局域场电位(Local Field Potentials, LFP)信号。通过计算非线性相互依赖性(Nonlinear Interdependence,NLI)来量化分析前额叶皮层和纹状体之间功能性连接的强度。结果显示,在β频段(15～30 Hz),小水奖励条件下前额叶皮层和纹状体间的功能性连接强度显著高于大水奖励条件下的结果,同时,前额叶皮层和纹状体间不同方向的连接强度也有显著差别。实验结果表明,前额叶皮层中LFP的β频段可能与纹状体神经元的活动有关,并在一定程度上调节猴子在奖励预测过程中的行为。

基于深度强化学习的区域化视觉导航方法

针对移动机器人在分布式环境中的导航问题,提出一种基于深度强化学习的区域化视觉导航方法.首先,根据分布式环境特征,在不同区域内独立学习控制策略,同时构建区域化模型,实现导航过程中控制策略的切换和结合.然后,为使机器人具有更好的目标导向行为,在区域导航子模块中增加奖励预测任务,并结合经验池回放奖励序列.最后,在原有探索策略的基础上添加景深约束,防止因碰撞导致的遍历停滞.结果表明:奖励预测和景深避障的应用有助于提升导航性能.在多区域环境测试过程中,区域化模型在训练时间和所获奖励上展现出单一模型不具备的优势,表明其能更好地应对大范围导航.此外,实验在第一人称视角的3D环境下进行,状态是部分可观察的,利于实际应用.

前额叶皮层和纹状体的局域场电位的功率编码奖励信息

前额叶皮层和纹状体是大脑内两个重要的区域,研究表明它们都参与了许多高级认知过程,如学习记忆、奖励信息处理、行为决策等。单细胞电生理记录实验已显示前额叶皮层和纹状体的神经元能够编码奖励信息,但不清楚这两个区域的局域场电位(local field potential,LFP)是否也能编码奖励信息。为研究这个问题,当猴子在进行一个奖励预测实验时,用多通道电极同时记录了前额叶皮层和纹状体的LFP。采用短时傅里叶变换,将记录的LFP转换为时、频域上的信号,比较不同奖励条件(大容量水奖励和小容量水奖励)下功率值的分布。结果显示前额叶皮层和纹状体的LFP的功率能够区分不同的奖励条件,并且小容量水奖励条件下的功率值大于大容量水奖励条件下的功率值;进一步研究显示LFP在β频段(14~30 Hz)能更好地编码奖励信息。以上结果表明前额叶皮层和纹状体的LFP能够有效地编码奖励信息,有助于进一步理解LFP在处理奖励信息过程中的作用。

前额叶皮层和纹状体群体神经元编码视觉刺激和奖励信息

以往的文献报道了前额叶皮层和纹状体中的一些神经元编码视觉刺激(visual stimulus)和奖励(reward)信息,但从单个神经元角度来看,编码信息的方式很复杂,不同的神经元在不同时刻各自编码刺激或奖励信息。本文旨在研究这两个区域的群体神经元能否在整个试验期间(in a whole trial)稳定地表征与任务相关的信息。在一个刺激-奖励预测实验中,记录了日本猕猴(Macaca fuscata)前额叶皮层和纹状体中单个神经元的活动,采用多变量回归分析和线性支持向量机分类的方法研究了群体神经元编码的信息。结果显示,尽管与任务相关的神经元的比例在整个试验中变化较大,但前额叶皮层群体神经元稳定、可靠地编码了奖励和刺激信息,纹状体群体神经元在整个试验期间也编码了奖励信息,但没有编码刺激信息。这两个区域的神经元都编码了刺激和奖励的组合信息,并且前额叶皮层的神经元编码了一组刺激(一个集合)与奖励的关系,而纹状体神经元编码了一个特定刺激与奖励的关系。以上结果提示,前额叶皮层和纹状体群体神经元都能稳定地表达任务相关的参数,但各自编码的信息是不一样的,对应于它们在价值决策中不同的作用。