开放式情境判断测验的自动化评分

受限于评分成本,开放式情境判断测验难以广泛使用。本研究以教师胜任力测评为例,探索了自动化评分的应用。针对教学中的典型问题场景开发了开放式情境判断测验,收集中小学教师作答文本,采用有监督学习策略分别从文档层面和句子层面应用深度神经网络识别作答类别,卷积神经网络(ConvolutionalNeuralNetwork,CNN)效果理想,各题评分准确率为70%~88%,与人类评分一致性高,人机评分的相关系数r为0.95,二次加权Kappa系数(Quadratic Weighted Kappa,QWK)为0.82。结果表明,机器评分可以获得稳定的效果,自动化评分研究能够助力于开放式情境判断测验的广泛应用。

基于哲学探究活动的5-6岁儿童批判性思维能力的情境判断测验编制

批判性思维是一种从儿童期开始发展并影响人一生的重要能力。基于哲学探究活动的5~6岁儿童批判性思维能力的情境判断测验,选取符合儿童真实生活的故事情景,从综合调节、评价调节、说明、分析和推断五个能力维度,重点评价儿童思维的“过程”而非思维的“结果”。结果显示,批判性思维各个能力维度与儿童情感意识、同理心、解决冲突、工作记忆、抑制控制和社会性显著正相关;师幼冲突与综合调节、分析能力显著负相关;外化情绪问题与评价调节能力相关不显著,与其他能力维度显著负相关;内化问题和学习问题与各个能力维度显著负相关。

用好情境判断测验助力深化新时代教师评价改革

2020年10月,《深化新时代教育评价改革总体方案》颁布,为我国新时代评价改革提供了基本原则。当前我国教师评价存在着三个主要困境,一是过分强调结果评价;二是评价结果会因评价者的不同而存在差异;三是师德的考核评价方法还是以自评或他评为主,其结果准确性还有待商榷。为了推进教师评价改革,应引入情境判断测验。情境判断测验是一种基于行为样本的情境模拟测评方法。测验题目来自实践工作中的关键事件或典型情境,具有较强的情境性、针对性、客观性、预测性等特征。在教师评价中,情境判断测验可用于测量以往难以通过纸笔测验考察的师德、教师教学能力和教师学科教学知识等内容,且具有良好的测验质量。在教师评价改革中,情境判断测验可以提供良好的测评技术载体,能有效服务于“改进结果评价,强化过程评价,探索增值评价,健全综合评价”的改革目标,但同时也应考虑到情境判断测验的局限性,应多种测评方法互为补充,构建系统的教师评价体系。

基于情景判断测验的工程担保职业道德研究

职业道德缺失是造成承保风险的主要原因之一,而有效的测量工具对于提升职业道德至关重要。情景判断测验可反映从业人员面对道德困境时的真实行为。通过专家访谈和案例研究来收集关键事件,筛选、设置了8个典型和常见的情景。基于两轮德尔菲法函询、量表形成了32个真实度和区分度较高的行为反应,其有效性得到了83%的专家认可。研究将从三个方面改进测量工具,有效准确地评价从业人员职业道德,改善工程担保的市场环境和秩序。

情境判断测验与医学人才选拔培养

本文总结分析情境判断测验的理论基础、设计与开发步骤、特点,认为其在医学领域应用较为成熟,适用于我国医学人才选拔培养。同时,围绕发挥医学人才选拔效能、探索培养与教育改革应用、挖掘医学人才评价潜力3方面探讨未来发展方向与启示,为医学教育和医学人才培养提供参考。

北京奥运志愿者的胜任特征模型——情境判断测验的应用

根据北京奥组委志愿者部的选拔需求,运用行为事件访谈技术对3组人员进行访谈。3组人员分别包括奥组委志愿者部的8位官员、北京某高校参加"好运北京"奥运测试赛某项赛事的10名骨干志愿者、北京另一所高校学生志愿者组织的10名骨干成员。通过对现场录音的访谈记录进行内容分析,抽取频次分布处于前8位的北京奥运会志愿者的胜任特征。根据访谈过程中的典型事件,结合情境判断测验的要求,共编制了62道情景判断测验题目。预试选取某高校学生458名,经过项目分析和验证性因素分析,删除10道题目,保留52道题目。正式测验选取某高校学生志愿者候选人3189名,验证性因素分析的结果表明,情境判断测验的信效度良好。所编制的情境判断测验为北京奥运志愿者选拔决策提供了依据,为将情境判断测验引入体育运动领域进行了尝试。所编制的情境判断测验共测查了8方面的胜任特征,分别是责任意识、团队合作、客服意识、自控、主动性、压力应对、应变能力和人际沟通。

情景判断测验的性质、功能与开发编制

给出了情景判断测验的定义,对其性质、功能作了探讨,提出了开发编制的两种基本模式。特别是,分析了行为情景所蕴涵的问题常系结构不良,而对行为反应选项所作判断却属定向比较选择,指出了二者间的不同;同时,主张引进表征水平理论等来指导试题编写。

幼儿教师胜任力研究之二:情景判断测验的编制

采用行为事件访谈获得幼儿教师工作事件,通过开放式调查获得教师对这些事件的真实行为反应,并采用德尔菲法对事件和行为反应进行筛选,经验证性因素分析,最终得到由34个情景共103个行为反应项的幼儿教师胜任力情景判断测验。测验的信、效度检验表明：（1）测验各维度的内部一致性信度在0.72~0.85之间,全测验为0.95;（2）验证性因素分析表明测验的结构效度符合测量学要求,效标关联效度交叉验证表明,测验具有较好的效标关联效度。

情境判断测验的研究进展

目前,情境判断测验的相关研究主要呈现两大趋势———效度研究和跨文化比较研究。其中,效度研究主要分为效标关联效度和构想效度研究,跨文化比较研究则主要探讨测验的文化公平性,以及对不同种族员工工作绩效的预测作用。文章还将介绍研究呈现出的新趋势———对情境判断测验本质的研究,即探讨测验形式特点和被试信息加工过程对测验结果的影响。

情境判断测验的信度与效度研究:以我国公务员内隐知识测验为例

作为一种有效的人事选拔评价方法,情境判断测试一直受到研究者和企事业单位的广泛关注。但由于受到目前情境判断测试的信度和效度研究有限、国内公开发表的数据少等的制约,该测试的有效运用受到了一定影响。本文通过《我国公务员内隐知识情境判断测验》量表对151名在岗公务员和61名在读本科生施测,检验了情境判断测验量表的信度和效度及其部分影响因素,丰富了相关研究的实证证据,能更好地帮助理解SJT的价值及其在中国情境中的运用规范。研究结果表明公务员内隐知识情境判断测验量表具有较好的构思效度,能够测到公务员认知能力和工作经验;量表也具有较好的效标关联效度,能够预测与公务员工作相关的指标。通过对不同赋分方式下情境判断测验效度以及不同性别的被测对象的量表得分进行比较,我们发现赋分方式是公务员情境判断测验效度的影响因素之一,性别因素对公务员内隐知识情境判断测验效度没有显著影响。

情景判断测验效度的研究述评

文章在回顾近年来情景判断测验研究的基础上,总结了情景判断测验的效标关联效度、结构效度、增量效度和情景判断测验效度的影响因素。研究发现情景判断测验有较高的效标关联效度,是一种较好的人才选拔工具;情景判断测验是一种测量方法,可以用来测量指定的结构;情景判断测验对认知能力、人格、工作知识等变量具有增量效度;试题特性、测验开发模式、研究设计、评分方式等会影响情景判断测验的效度。

人事选拔情景判断测验作假的实证研究

选用情境差异范式,以情景判断测验为实验材料,以140名大学生为被试,探讨警告以及标准识别能力对考生作假的影响.结果表明,情景判断测验中存在作假现象.标准识别能力显著正向预测作假.警告与标准识别能力的交互作用可预测作假,对于标准识别能力较高的考生,警告不但不能减少作假,反而助长作假;对于标准识别能力较低的考生,警告无明显作用.

情景判断测验的开发程序、构思效度及研究趋势

文章详细介绍情景判断测验开发的一般程序,对情景判断测验的多种形式和记分方法进行了总结和比较。同时,从情景判断测验的结果与认知能力、个性和工作经验等关系的角度出发,分析了情景判断测验的构思效度,认为情景判断测验测量的是多维构思。文章最后认为,需要从与其他构思的关系、测评指定构思、影响效度的因素以及跨文化比较等四个方面对情景判断测验开展进一步研究。

制造业管理胜任力情景判断测验的信效度研究

为了考察制造业管理胜任力情景判断测验在中国文化背景下的适应性,用"制造业管理胜任力测验量表"(中文版)对152名制造行业在职员工和46名在读硕士研究生进行施测。研究表明该量表在中国文化背景下具有较好的效标关联效度,验证性因素分析表明,实测数据与胜任力6因素模型得到较好拟合,具有较好的构思效度。研究也证明了众多学者认为的情景判断测验能够测到认知能力和工作经验的观点。最后,对不同性别量表得分差异进行研究,发现男性组和女性组量表得分不存在显著性差异。

人力资源管理中情景判断测验的开发与应用

简要介绍了情景判断测验的基本原理与结构,详细阐述了人力资源管理中情景判断测验开发的程序,并对其在人力资源管理中的应用及注意事项作了探讨和总结。

幼儿园教师“儿童观察能力”的情境判断测验——中国8省市幼儿园教师测评的实证研究

目前,国内外的现有测评体系,虽能在一定程度上为教师提供观察方面的支持,却无法有效考察教师的观察能力并进行分层。本研究创造性地结合情境判断测验和维果茨基的最近发展区理论,采用基于情景案例的单选题型,开发了旨在考察教师的儿童观察与评价能力的情景判断测验工具。经8省市2345名幼儿园教师的大规模测评,在有效验证了该测验工具的信度、效度和题项质量的同时,发现:(1)幼儿园教师的儿童观察与评价能力存在明显的地区间差异,表现为经济发达地区得分均明显高于经济欠发达地区;(2)教师的最高学历和有无编制情况是影响其儿童观察与评价能力的敏感变量,而职称的影响程度相对较小;(3)从职业生涯发展来看,教师的儿童观察与评价能力呈现"倒U型"发展,20~25年教龄段能力表现最佳。

情境判断测验的研究述评

情境判断测验是人事测评中非常重要的工具和研究主题,近些年来围绕着它的理论基础、测量属性、构念开发、应用效果等问题展开了一系列的研究。本文阐述了情境判断测验作为方法或构念的争论,论述了它的理论基础,比较了不同形式的测验特征,总结了情境判断测验的信度和效度研究进展,最后从测验的呈现方式、作假行为和群体差异三个方面剖析了执行情境判断测验的关键要素。未来研究可以对不同形式的情境测验进行比较,加强测验构念和内容的研究,尝试与其他测评工具相结合。

识时务者为俊杰? 情境判断测验在心理测验上的发展与应用

情境判断测验(situational judgment test;SJT)是近年来心理测验领域最受重视的评量工具之一,其主要的特色在于拟真情境的试题设计与生态效度,然而SJT的本质却有别于自陈式量表,导致难以符合传统量表发展所规范的条件。尽管如此,学者仍致力发展出一套适合情境判断测验的试题建构方式。因此,该文除了简述SJT的原理与特性之外,并从量表发展的试题产生、项目分析与建构效度之三阶段观点来比较SJT与传统自陈式量表的异同,进一步的,文章以空服员的职能系统的SJT发展经验为例,说明如何将SJT的原理与技术导入人资实务中,以《台湾空服员内隐知识情境式判断量表》为范例来进行说明,提供心理测验领域同仁的学者专家参考,也可提供作为人资实务领域应用建议。

卫生管理干部胜任素质现状测评分析

研究通过核检表法、行为事件访谈法(BEI)及专家咨询法,对全国范围的139名卫生管理干部进行调查研究,构建了包含决策能力、沟通协调能力、计划组织能力、团队领导力、逻辑思维能力、应变能力及政策法律意识7项素质在内的卫生管理干部胜任力模型。采用行政能力测验及情境判断测验,对山东某市221名卫生管理干部进行了胜任素质测评,总体平均分数显示,该市卫生管理干部责任心、应变能力较强,团队领导力、计划组织能力、政策法律意识居中,沟通协调能力、逻辑思维能力稍弱,其中54%的测评者达到了优秀水平(7分以上),仅8%测评者成绩较低(低于5分)。提示在今后的卫生管理干部培训中,应重点加强沟通协调能力及逻辑思维能力的培训和训练,同时应根据不同卫生管理干部的能力水平开展特异性、针对性的培训培养,对不能胜任管理岗位的人员在加强培训的同时,也可以将其调配到合适的岗位上,使其在工作中扬长避短,最大程度的发挥个人潜能,体现个体价值。

情境判断测验的效度研究述评

情境判断测验是一种为作答者呈现工作相关的典型情境以及该情境下可能的行为反应,要求根据指导语提示进行选择或评价的测验形式。随着其理论和实践的发展,研究者越来越关注情境判断测验的效度研究,包括对其构想效度、效标关联效度和递增效度的探讨,以及指导语类型、情境保真度以及计分方式等因素对其效度的影响。基于这些研究进展,未来情境判断测验实践领域可能的方向是:(1)开发针对特定构想的情境判断测验;(2)结合具体构想选用相应的指导语;(3)应用作假和培训对效度影响的研究结果指导实践。