基于改进好奇心的深度强化学习方法

在深度强化学习方法中,针对内在好奇心模块(intrinsic curiosity model,ICM)指导智能体在稀疏奖励环境中获得未知策略学习的机会,但好奇心奖励是一个状态差异值,会使智能体过度关注于对新状态的探索,进而出现盲目探索的问题,提出了一种基于知识蒸馏的内在好奇心改进算法(intrinsic curiosity model algorithm based on knowledge distillation,KD-ICM)。首先,该算法引入知识蒸馏的方法,使智能体在较短的时间内获得更丰富的环境信息和策略知识,加速学习过程;其次,通过预训练教师神经网络模型去引导前向网络,得到更高精度和性能的前向网络模型,减少智能体的盲目探索。在Unity仿真平台上设计了两个不同的仿真实验进行对比,实验表明,在复杂仿真任务环境中,KD-ICM算法的平均奖励比ICM提升了136%,最优动作概率比ICM提升了13.47%,提升智能体探索性能的同时能提高探索的质量,验证了算法的可行性。

基于内在好奇心与自模仿学习的探索算法

针对深度强化学习算法在部分可观测环境中面临的稀疏奖励、信息缺失等问题,提出一种结合好奇心模块与自模仿学习的近端策略优化算法。该算法利用随机网络来生成探索过程中的经验样本数据,然后利用优先经验回放技术选取高质量样本,通过自模仿学习对优秀的序列轨迹进行模仿,并更新一个新的策略网络用于指导探索行为。在Minigrid环境中设置了消融与对比实验,实验结果表明,所提算法在收敛速度上具有明显优势,并且能够完成更为复杂的部分可观测环境探索任务。

着眼孩子的好奇心与想象力——宋庆龄幼儿园STEM活动简述与思考

五月初的一个下午,在宋庆龄幼儿园的草坪上,正在举行一场气动纸火箭大赛(如图1)。25支大班代表队依次站在了各自的发射位前,小朋友三人一组,听到裁判的指令后开始发射。“嘭”的一声,纸火箭在观众的加油与欢呼声中冲向云霄,落在了草坪的远端。裁判拉着卷尺跑向远端的纸火箭,然后对所有的参赛者公布成绩。获胜的孩子脸上洋溢着兴奋、惊叹和喜悦的神情,没有获胜的孩子感到惋惜和失落。

结合注意力机制与好奇心驱动的近端策略优化算法

大多数真实世界的问题中外在世界的激励往往极其稀疏,Agent因得不到反馈而缺乏有效的机制更新策略函数。单纯利用内在好奇心机制驱动会受到无用或有害好奇心的影响导致探索任务失败。针对以上问题,提出一种结合注意力机制与好奇心驱动的近端策略优化算法,Agent能够通过好奇心驱动探索未知环境,同时结合注意力机制的理性好奇心能够有效控制Agent因有害好奇心导致的异常探索,使近端策略优化算法保持较快速度和更稳定的状态进行策略更新。实验结果表明该方法下Agent有更好的性能,能取得更高的平均奖励回报。

指向学生好奇心培养的小学科学教学策略

为落实《义务教育课程方案(2022年版)》《义务教育科学课程标准(2022年版)》的文件要求,以跨学科课程为载体,激发学生的好奇心、想象力、探求欲,学生在与各种真实情境持续的社会性互动中,增强持续探究的动力,提升综合素养、面向未来社会的创新思维及解决社会复杂问题的能力。真实情境下的跨学科学习联结了生命、学科和世界,赋予了学生发现和探究的双眼、具身的体验,促使学生更热情自由、更有兴趣、更富创造性地投入未知世界的探索,能够点燃学生的学习热情,深刻认识科学本质。

好奇心是把双刃剑

近年来,职场好奇心被看作领导者应该拥有的一项最重要的、最具变革性的和最有价值的特质。然而,好奇心可能是一把双刃剑。比如说,好奇的员工被他们的领导者视为违反和打破规则的人,进而也不那么讨人喜欢。“好奇心可能会害死猫”,但这并不意味着好奇这种行为对员工的职业成功来说一定是致命的。通过提高政治技能和以具有建设性的方式来表达自己的好奇心,并且在不累及自己的情况下为组织的成功作出贡献。

满足学生的科学好奇心

自古至今,好奇心一直是哲学、教育学、认知心理学等诸多领域的研究对象。围绕好奇心的产生机制有两种主要观点:一是“本能论”。这种观点认为,好奇心是生物的一种本能反应,它把人类的好奇心看作生物个体对外界环境的一种适应性表现。古希腊哲学家亚里士多德在其著述《自然哲学基础》开篇即说:人类在本性上是好奇的。二是“信息缺口理论”。所谓“信息缺口”,指的是一个人目前所知道的信息总是与他想知道的信息之间存在着差距。新知识的获得消除了原先的“信息差距”,同时又会促生新的“信息差距”。这种理论比较合理地解释了个体好奇心的发展变化和动态起伏。

保持好奇心 从不同纬度解读新闻

记者对新闻的解读相较公众而言更具专业性,因此公众也更倾向于获取记者的解读结果。而在当前信息技术高速发展的时代背景下,公众对新闻解读的结果不再唯专业化,新闻报道要想持续抓住公众的注意力,就需要记者尝试从不同纬度解读新闻,进而推动新闻行业在当今时代下的发展。

青少年科普要重视好奇心引导和创造力培养

习近平总书记最近在谈到青少年科学教育、阐述创新精神时,多次提到了好奇心。他说:“科学研究特别是基础研究的出发点往往是科学家探究自然奥秘的好奇心。”“好奇心是人的天性,对科学兴趣的引导和培养要从娃娃抓起,使他们更多了解科学知识,掌握科学方法,形成一大批具备科学家潜质的青少年群体。”“要在教育‘双减’中做好科学教育加法,播撒科学种子,激发青少年好奇心、想象力、探求欲,培育具备科学家潜质、愿意献身科学研究事业的青少年群体。”

保护儿童好奇心——一年级科学教材初始单元的理想追求

在科学课程的学习中,保护儿童的好奇心,有利于培养他们的科学兴趣和创新能力。为了培养一年级儿童科学学习的好奇心,科学教材的初始单元具有如下几个特点:活动内容贴近儿童生活,富有趣味性;内容呈现方式图文并茂,具有生动性;拓展活动贴合教学内容,具有操作性。一年级科学初始单元可以采取学习目标关注好奇心和兴趣、学习过程注重积极的评价反馈、学习结果支持成功的体验、学习时空提供更多研究期待的教学策略。

科技馆展品激发好奇心功能研究

科技馆是开展科普教育、提升公民科学素质的重要机构。激发观众的好奇心是科技馆的建馆理念和立馆之本。展品是科技馆开展科普工作的重要载体,本文通过文献研究系统梳理科技馆展品激发观众好奇心的心理学研究基础,激发好奇心对场馆学习的重要意义以及以激发好奇心为目的的科技馆展品设计实践,为进一步运用心理学方法量化研究科技馆展品激发好奇心的程度,并为发掘提升科技馆展品激发好奇心的相关方法奠定重要基础。

稀疏场景下基于理性好奇心的多智能体强化学习

强化学习当前越来越多地应用于多智能体系统。在强化学习中,奖励信号起引导智能体学习的作用,然而多智能体系统任务复杂,可能只在任务结束时才能获得环境的反馈,导致奖励稀疏,大幅降底算法的收敛速度和效率。为解决稀疏奖励问题,提出一种基于理性好奇心的多智能体强化学习方法。受内在动机理论的启发,将好奇心思想扩展到多智能体中,并给出理性好奇心奖励机制,利用分解求和的网络结构将不同排列的联合状态编码到同一特征表示,减少联合状态的探索空间,将网络的预测误差作为内在奖励,引导智能体去研究新颖且有用的效用状态。在此基础上,引入双值函数网络对Q值进行评估,采用最小化算子计算目标值,缓解Q值的过估计偏差和方差,并采用均值优化策略提高样本利用。在追捕任务和合作导航任务的环境中进行实验评估,结果表明,在最困难的追捕任务中,该方法相较于基线算法,胜率提高15%左右,所需时间步降低20%左右,在合作导航任务中也具有较快的收敛速度。

好奇心蒸馏双Q网络移动机器人路径规划方法

针对移动机器人的路径规划中DQN算法存在过估计、样本利用率低、奖励稀疏等,从而影响机器人获取最优路径的问题,提出基于好奇心蒸馏模块竞争架构的双Q网络(curiosity distillation module dueling deep double Q-network prioritized experience replay,CDM-D3QN-PER)方法。该方法以D3QN为基础,在输入端添加长短时记忆网络(long short term memory,LSTM)处理雷达和相机的信息,降低过估计的影响,获得更有利的环境信息;采用优先经验回放机制(prioritized experience replay,PER)作为采样方法,使样本得到充分利用,提高样本利用率;引入好奇心蒸馏模块(curiosity distillation module,CDM),缓解奖励稀疏的问题。通过仿真实验与DQN、DDQN、D3QN相比,CDM-D3QN-PER算法训练的机器人到达目标点的次数明显增加,为DQN算法的3倍。该算法使奖励值得到提升,加快了收敛速度,能够在复杂的未知环境中获得最优路径。

积极反馈还是消极反馈?团队创造力提升的反馈效价探索——好奇心与情感临场感的作用

团队创造力对组织越来越重要,提升创造力是一项关键的管理挑战。在创造力提升过程中,反馈是一种重要管理工具,利用其提升团队创造力的一个重要问题是,积极反馈和消极反馈哪种更有效?已有关于反馈效价与创造力的研究大多限于个体层面,对反馈效价如何影响团队创造力的理解仍然有限。采用实验研究方法,通过对107个团队379名大学生合计约1600min的实验,探究反馈效价对团队创造力的影响机制。结果表明,反馈效价正向影响团队创造力,积极反馈更有利于团队创造力,情感临场感中介反馈效价与团队创造力之间的关系;消极反馈正向影响团队消极情感临场感,负向影响团队积极情感临场感,进而负向影响团队创造力;多样性好奇心在反馈效价与团队创造力、反馈效价与情感临场感之间起调节作用。结论不仅能丰富反馈效价、情感临场感、好奇心与团队创造力的理论研究,而且可为管理实践中寻求提高团队创造力提供有价值的启发。

工作好奇心、创造性过程投入对工作绩效的影响研究——一个理论分析框架

随着信息技术的发展,创新对企业的生存与进步至关重要。作为企业的重要组成部分,员工的好奇心与创造性过程投入对工作绩效和企业发展起着关键作用。本文对工作好奇心与创造性过程投入的相关文献进行综述,并结合资源保存理论(COR),探讨工作好奇心、创造性过程投入与工作绩效间的影响,同时引入组织支持感作为调节变量构建了一个理论分析框架。分析发现:工作好奇心促进创造性过程投入与工作绩效;组织支持感在工作好奇心与创造性过程投入间起正向调节作用;创造性过程投入对工作绩效呈倒U型关系,并中介了工作好奇心与工作绩效的关系。本文丰富了我国情境下工作好奇心的研究,揭示了创造性过程投入对工作绩效存在曲线关系的原因,并为管理者培养高好奇心人才、合理运用创造性投入提供了新思路。

基于好奇心机制改进的策略优化算法

针对强化学习决策模型生成过程中,由于复杂环境和状态信息观察不完全导致经典的近端策略优化算法处理过程中面临的探索与利用效率较低、生成的策略效果较差等问题,提出了一种基于好奇心机制改进的基于最大到达次数的近端策略优化算法(proximal policy optimization based on maximum number of arrival&expert knowledge,MNAEK-PPO)。围绕策略空间的探索困难问题,通过构建智能体在训练过程中的探索频次矩阵,对探索频次进行处理后作为内在奖励参与到智能体的强化学习训练过程,此外还加入了专家知识辅助智能体进行决策。通过在智能化战场仿真环境中的实验确定了MNAEK-PPO中内在奖励的最佳构造方式,并进行了一系列对比实验,实验结果表明,MNAEK-PPO大幅提升了决策空间的探索效率,收敛速度和对局得分均有明显提升,为推动深度强化学习在智能战术策略生成中的应用与发展提供了新的解决思路。

剥夺型好奇心对消费者多样化寻求行为的影响研究

本文探讨了剥夺型好奇心对消费者多样化寻求行为的影响,提出了控制感缺失的中介机制及结构需求的调节作用。本文采用5个实验验证假设。结果表明:(1)高(vs低)剥夺型好奇心会增加(vs减少)多样化寻求行为;(2)控制感缺失在剥夺型好奇心对多样化寻求行为的影响中起中介作用;(3)结构需求在剥夺型好奇心对多样化寻求行为的影响中起调节作用。本文首次提出并验证了剥夺型好奇心对多样化寻求行为的影响,揭示了多样化寻求行为的一个新前因。研究结论能帮助企业更好地了解消费者剥夺型好奇心并改进相关营销策略。

大学生认识性好奇心与学习投入的关系:自我控制双系统的中介和调节作用

为探讨大学生认识性好奇心、学习投入、自我控制的关系及作用机制,采用修订后的I/D认识性好奇心量表、学习投入量表、自我控制双系统量表,对广东省202名高校大学生进行施测。结果发现:1) 认识性好奇心对学习投入有显著的正向预测作用;2) 自我控制双系统的自我控制系统在认识性好奇心与学习投入之间发挥部分中介作用;3) “认识性好奇心→学习投入”这一直接路径受到自我控制双系统的冲动系统的调节,具体表现在:相对于高冲动系统水平,在低冲动系统水平的条件下,认识性好奇心对学习投入的预测作用增强。本研究揭示了认识性好奇心和自我控制对学习投入的影响机制,为如何提高大学生的学习投入提供一定的现实指导意义。

科学好奇心对小学科学教学的价值与启示

科学好奇心是影响科学教学效果的重要因素,科学好奇心与科学知识的积累、主动探索的行为、复杂问题的解决以及学科偏向的形成等都有着内在联系。科学好奇心具有以下教学价值:科学好奇心能形成主动学习的课堂氛围;科学好奇心能催生深度学习的探究愿望;科学好奇心能支持持续学习的科学活动;科学好奇心能解释个体学习的差异表现。了解科学好奇心形成机制,明晰其独特的教学价值,有助于科学教师合理设置教学目标、整合教学素材、营造趣味教学氛围,有利于在课堂中形成一种内化性、凸显好奇心的教学常态。

流动幼儿好奇心的城市趋同效应及父母教养方式的作用

流动幼儿跟随父母在城市漂泊,由于家庭条件有限、社会保障不足等众多因素,相较于城市幼儿往往处于不利境地;但流动经历并不总是风险因素,也可能改变其父母教养方式、提供较好的学校教育资源,促进其好奇心等积极品质的发展。本研究对流动幼儿父母(n=113)和城市幼儿父母(n=175)进行问卷调查,发现流动幼儿父母对小班幼儿的好奇心评价显著低于城市幼儿父母,但两组父母对中班和大班幼儿的好奇心评价没有显著差异;流动幼儿父母的回应性教养显著低于城市幼儿父母,且回应性教养在小班的幼儿类型(流动幼儿/城市幼儿)和幼儿好奇心之间起完全中介作用;流动幼儿父母的平均城市生活时间与幼儿好奇心、父母回应性教养显著正相关,回应性教养在父母平均城市生活时间与幼儿好奇心之间起部分中介作用。教师评定验证了家长评定结果,即低年段(非高年段)流动幼儿的好奇心显著低于城市幼儿。总之,流动幼儿的好奇心相较于城市幼儿存在先落后、后持平的差异趋同效应,家庭是促进流动幼儿好奇心发展、改变不利处境的重要动力,引导其父母回应性教养行为、保障其接受良好幼儿园教育均可使流动幼儿受益颇多。