基于两阶段意图共享的多智能体强化学习方法

近年来,强化学习技术在连续决策问题上展现出了强大的能力,成为机器学习领域的一个重要分支.通过强化学习技术在多智能体系统下的发展和研究,多智能体强化学习技术有望成为群体智能行为涌现的关键技术手段,但在现阶段仍有诸多科学问题亟待解决.在多智能体强化学习领域,如何提高智能体在协作场景下的合作能力一直是一个热门研究话题.通信被认为是实现多智能体高水平协作的重要元素,因此有不少研究尝试从通信的角度入手,让智能体通过交流来实现更好的协作.现有的大部分与通信有关的多智能体强化学习领域的工作关注于部分可观测问题,在这些工作中智能体通过通信信道共享了部分局部观测.最新的一些研究开始关注如何让智能体通过共享意图来实现更好的协作.然而,在不加限制的意图共享框架下,若智能体的最终行为与原先的意图不符,则可能会对其它智能体产生误导,此时引入通信反而产生了负作用.因此需要一个新的多智能体意图共享框架,在有效利用意图信息的同时避免出现智能体间的意图误导.针对上述问题,本文基于交流意图的思想,提出了一个新的多智能体强化学习意图通信框架2SIS.在2SIS框架下,智能体在决策前需要进行两次通信,第一次通信传播意图信息,第二次通信传播意图依赖关系.两次通信结束后每个智能体各自建立起意图依赖关系图,为了避免出现意图误导,对于意图依赖关系图上被依赖的智能体,2SIS禁止其基于其它智能体的意图进行重新决策,其最终决策即为其初始意图,仅有不被依赖的智能体被允许基于意图信息重新决策.2SIS可以与任意基于值函数的强化学习算法结合实现训练.在2SIS框架下训练的智能体能够学会如何正确地建立意图依赖关系从而实现单向的意图传播,并且不存在意图误导问题.我们选用较具代表性的Double DQN算法作为基算法,在两个多智能体场景下验证了所提出方法的有效性.有效性实验结果表明,相比于无通信以及广播式通信意图方式训练的智能体,2SIS框架下训练的智能体在收敛速度以及最终累积奖赏上有明显提升.为了验证性能的提升来自于本文提出的方法,我们额外组织了消融实验,对方法的关键部分进行了控制变量,消融实验的结果说明2SIS框架下训练的智能体能够正确选择依赖对象是性能提升的关键.最后我们组织了参数实验来说明本文引入的超参数会对训练过程产生怎样的影响以及如何为该参数选取一个合适的值.

虚拟社区公民行为在虚拟社区感与知识共享意图间的中介作用:自我效能感的调节机制

采用问卷法对445名虚拟社区成员及与其比较亲密的其他社区成员进行调查,探讨了虚拟社区感的三个维度(成员感、影响力、沉浸感)对成员知识共享意图的影响及其内在作用机制。结果表明:(1)成员感对成员知识共享意图具有显著的正向预测作用,而影响力和沉浸感的预测作用不显著;(2)虚拟社区公民行为是成员感对成员知识共享意图作用的中介变量;(3)自我效能感在成员感—虚拟社区公民行为—知识共享意图关系中不具有显著的调节效应。

微信学术信息共享意图影响因素研究

文章以扩充的计划行为理论为基础理论框架,同时结合"信任"因素构建了微信学术信息共享意图影响因素的理论模型。通过问卷调查法收集到213条样本数据对模型进行分析验证。研究结果表明:被共享较多的两类学术信息分别为方法、工具、技术类信息和机构类信息;微信公众号和朋友圈是用户获取学术信息最主要的来源,朋友圈是最主要的学术信息分享渠道;感知兼容性、助人的乐趣会正向影响共享态度,自我效能显著正向影响感知行为控制,自我效能和感知行为控制会显著正向影响共享意图。

中小学与师范院校合作伙伴关系构建的共享意图

中小学作为实习基地与实习生培养院校即师范院校构建合作伙伴关系,是教师教育培养质量提升的重要渠道,是“U-G-S”协同发展教师教育的重要路径。这一合作伙伴关系的构建,需要中小学转变陈旧观念,变被动接纳指导实习生为主动全面协同培养实习生,以共享意图为动力,以实习生指导为纽带,以共研课题为抓手,组建教师指导团队,加强协同培养方式和共研课题的研究,主动寻求共享意图,激发主动参与,强化内涵式发展,以不断提高人才培养质量。

教育工作者参与网络空间教育知识共享影响因素研究

当前,网络空间的信息资源成为人们现实空间知识获取的有效补充,但是其科学性和权威性有待商榷。教育工作者在教育主题知识共享领域具有优势,实际活动参与率却不高。本文借助结构方程模型,实证调查探究教育工作者参与面向公众的知识共享行为影响因素发现,行动控制认知对知识共享意图、行为两个阶段都会产生积极影响,责任感与结果预期会促进教育工作者产生知识共享意图,自我效能感与伪科学风险感知对知识共享意图影响不显著,共享意图和应对计划对知识共享行为会产生正向影响。在此基础上提出,提高教育工作者知识共享参与度需要共享平台营造轻松氛围,增强行为控制认知;提高教育工作者知识共享的责任感与绩效期望;面对亟须解决的热点问题仍需单位的统筹规划;需要有意识地提前做好共享应对计划。

基于社会责任的企业道德主体论

承担社会责任扩大了企业的边界,这不仅重申了企业与社会的深度关联,也确立了企业的道德责任主体地位。企业的道德责任通过企业共享意图加以落实。企业具备共享意图并且实际地呈现于企业决策过程、促发具有内在价值的团体行动,这种企业共享意图融摄在企业内部结构和权力关系之中,传达了企业全体人员共享的价值共识,引导企业以共同体方式展开价值求同化行为,推动企业成为道德主体。然而,道德责任主体并非企业内在的属性,一般意义的社会责任外在于企业的原初目标,这表明:企业只是有限的道德主体。

个人信息合作保护的可能与限度——基于共享合作行动理论的分析

个人信息保护是一项需要合作以谋求个人、企业与政府共同受益的复杂法律实践,但各主体间如何参与合作并实现互惠共赢仍面临困窘局面。共享合作行动理论以共享意图为背景框架,通过共同认识与行动、相互回应与支持以及和平开放地解决偏好冲突等路径,对隐私政策的设计、应用与监督这三个过程进行系统性关照与针对性纠偏。这不仅正视了隐私政策现存的诸多无效或不足的境况,而且有效地指引了隐私政策未来的可改进方向。个人信息保护的合作实践可减少信息不对称、认知缺陷、缺乏信任以及多元偏好等情形对个人信息的威胁,但也需要克服主体间权力失衡、态度各异以及目标不一等三方面的不利因素。

婴幼儿对合作行为共享性特征的理解

合作行为的共享性特征是指合作伙伴对彼此的动作和意图进行反应、承诺完成共同的目标、进行角色转换并支持彼此的角色。同时,预期未来奖赏的能力以及合作活动结束分享奖励的趋势也是互惠性合作活动的共享性本质之一。婴幼儿已经开始理解合作行为的共享性特征,他们能与同伴形成共享性意图和关于任务的共同目标;当同伴完成任务有困难时,能够主动提供帮助;能够理解自己和他人的角色;合作后更倾向于平等分享所得资源。本文从合作行为的共享性特征出发,基于合作中情绪和语言的作用、合作的对象以及合作的研究工具等方面提出未来的研究构想。

基于结构方程模型的教师知识共享影响因素研究

探究教师知识共享影响因素,提高教师知识共享意愿与效果,对教师专业发展具有重要价值。采用自编量表对2269名中小学教师调查并建立结构方程模型,分析发现:教师知识共享意图对共享行为影响较大;共享态度、主观规范与资源适配会影响共享意图;利他精神、社会资本与风险预期会影响共享态度;工作性质会对其知识共享的主观规范产生影响。为促进教师知识共享,要完善制度支持,建立学校文化,更新互动方式。

幼儿对交流过程中信息传递的理解

本研究系统探讨2~3岁幼儿对存在多个个体的交流场景中信息传递的理解。结果发现幼儿能够根据交流者的选择偏好预测接收者的行为(实验一)。当破坏交流双方的联合注意信号(实验二)、改变测试对象(实验三)或测试前交流者离开任务场景(实验四)时,幼儿不再根据交流者的偏好来预测接收者的行为。上述结果说明交流双方的联合注意是幼儿理解信息传递的重要因素,这些结果为社会交互和意图行为的认知发展研究提供参考。

社会存在论:一种社会形成机制的分析

社会是聚集物(aggregate)还是由诸个体整合形成的具有自身属性的新的整体单元?作为整体单元的社会是自治的(autonomous)吗?作为整体单元的社会可以用某些心智概念(如意向性、记忆、情绪、意志等等)来刻画吗?社会是一个超级有机体吗?这些都是关于社会本质的讨论。过去20年,一些哲学家提出了若干有价值的概念来拓展社会存在论的研究。有的学者从个体优先的立场出发,探讨了多个体的共享意图和联合行动等集体或社会现象;有的学者则从社会优先的立场出发,探讨了将个体凝聚为社会的惯例、制度和文化的基础。通过这两种立场的互补,我们就能更全面地来理解集体或社会的组织-过程机理和存在形态。