开放式情境判断测验的自动化评分

受限于评分成本,开放式情境判断测验难以广泛使用。本研究以教师胜任力测评为例,探索了自动化评分的应用。针对教学中的典型问题场景开发了开放式情境判断测验,收集中小学教师作答文本,采用有监督学习策略分别从文档层面和句子层面应用深度神经网络识别作答类别,卷积神经网络(ConvolutionalNeuralNetwork,CNN)效果理想,各题评分准确率为70%~88%,与人类评分一致性高,人机评分的相关系数r为0.95,二次加权Kappa系数(Quadratic Weighted Kappa,QWK)为0.82。结果表明,机器评分可以获得稳定的效果,自动化评分研究能够助力于开放式情境判断测验的广泛应用。

用好情境判断测验助力深化新时代教师评价改革

2020年10月,《深化新时代教育评价改革总体方案》颁布,为我国新时代评价改革提供了基本原则。当前我国教师评价存在着三个主要困境,一是过分强调结果评价;二是评价结果会因评价者的不同而存在差异;三是师德的考核评价方法还是以自评或他评为主,其结果准确性还有待商榷。为了推进教师评价改革,应引入情境判断测验。情境判断测验是一种基于行为样本的情境模拟测评方法。测验题目来自实践工作中的关键事件或典型情境,具有较强的情境性、针对性、客观性、预测性等特征。在教师评价中,情境判断测验可用于测量以往难以通过纸笔测验考察的师德、教师教学能力和教师学科教学知识等内容,且具有良好的测验质量。在教师评价改革中,情境判断测验可以提供良好的测评技术载体,能有效服务于“改进结果评价,强化过程评价,探索增值评价,健全综合评价”的改革目标,但同时也应考虑到情境判断测验的局限性,应多种测评方法互为补充,构建系统的教师评价体系。

基于哲学探究活动的5-6岁儿童批判性思维能力的情境判断测验编制

批判性思维是一种从儿童期开始发展并影响人一生的重要能力。基于哲学探究活动的5~6岁儿童批判性思维能力的情境判断测验,选取符合儿童真实生活的故事情景,从综合调节、评价调节、说明、分析和推断五个能力维度,重点评价儿童思维的“过程”而非思维的“结果”。结果显示,批判性思维各个能力维度与儿童情感意识、同理心、解决冲突、工作记忆、抑制控制和社会性显著正相关;师幼冲突与综合调节、分析能力显著负相关;外化情绪问题与评价调节能力相关不显著,与其他能力维度显著负相关;内化问题和学习问题与各个能力维度显著负相关。

高校思政课图像叙事教学的情境判断及脚本撰写探析

图像叙事教学是提升高校思政课教学效果的有益尝试。但某种情境是否适合开展图像叙事教学,需要思政课教师结合教学内容进行综合考虑。图像叙事教学脚本撰写要经过确定主题、设计逻辑图、撰写初稿、优化脚本、设计思考题等五个环节。在撰写脚本的过程中,教师应立足学生视角,紧扣教学内容,科学布置作业。

情境判断测验与医学人才选拔培养

本文总结分析情境判断测验的理论基础、设计与开发步骤、特点,认为其在医学领域应用较为成熟,适用于我国医学人才选拔培养。同时,围绕发挥医学人才选拔效能、探索培养与教育改革应用、挖掘医学人才评价潜力3方面探讨未来发展方向与启示,为医学教育和医学人才培养提供参考。

北京奥运志愿者的胜任特征模型——情境判断测验的应用

根据北京奥组委志愿者部的选拔需求,运用行为事件访谈技术对3组人员进行访谈。3组人员分别包括奥组委志愿者部的8位官员、北京某高校参加"好运北京"奥运测试赛某项赛事的10名骨干志愿者、北京另一所高校学生志愿者组织的10名骨干成员。通过对现场录音的访谈记录进行内容分析,抽取频次分布处于前8位的北京奥运会志愿者的胜任特征。根据访谈过程中的典型事件,结合情境判断测验的要求,共编制了62道情景判断测验题目。预试选取某高校学生458名,经过项目分析和验证性因素分析,删除10道题目,保留52道题目。正式测验选取某高校学生志愿者候选人3189名,验证性因素分析的结果表明,情境判断测验的信效度良好。所编制的情境判断测验为北京奥运志愿者选拔决策提供了依据,为将情境判断测验引入体育运动领域进行了尝试。所编制的情境判断测验共测查了8方面的胜任特征,分别是责任意识、团队合作、客服意识、自控、主动性、压力应对、应变能力和人际沟通。

情境判断测验的信度与效度研究:以我国公务员内隐知识测验为例

作为一种有效的人事选拔评价方法,情境判断测试一直受到研究者和企事业单位的广泛关注。但由于受到目前情境判断测试的信度和效度研究有限、国内公开发表的数据少等的制约,该测试的有效运用受到了一定影响。本文通过《我国公务员内隐知识情境判断测验》量表对151名在岗公务员和61名在读本科生施测,检验了情境判断测验量表的信度和效度及其部分影响因素,丰富了相关研究的实证证据,能更好地帮助理解SJT的价值及其在中国情境中的运用规范。研究结果表明公务员内隐知识情境判断测验量表具有较好的构思效度,能够测到公务员认知能力和工作经验;量表也具有较好的效标关联效度,能够预测与公务员工作相关的指标。通过对不同赋分方式下情境判断测验效度以及不同性别的被测对象的量表得分进行比较,我们发现赋分方式是公务员情境判断测验效度的影响因素之一,性别因素对公务员内隐知识情境判断测验效度没有显著影响。

情境判断测验的研究进展

目前,情境判断测验的相关研究主要呈现两大趋势———效度研究和跨文化比较研究。其中,效度研究主要分为效标关联效度和构想效度研究,跨文化比较研究则主要探讨测验的文化公平性,以及对不同种族员工工作绩效的预测作用。文章还将介绍研究呈现出的新趋势———对情境判断测验本质的研究,即探讨测验形式特点和被试信息加工过程对测验结果的影响。

情境判断测试在医师职业精神评价中的应用研究

医师职业精神的教育和评价已成为医学教育的重要组成部分,在过去的十几年里各国制定了一系列医师职业精神的评价方法。介绍了墨尔本大学使用情境判断测试对医学生医师职业精神的评价方法,通过设计临床实践中具体的伦理困境,评价医学生有效沟通、关注病人、团队的有效合作、压力管理和对职业精神的承诺五方面的能力,并采用Angoff标准设置法进行评价标准的制定。结果显示,情境判断测试对医学生的医师职业精神学习产生积极的影响,可以有效地评价医学生的医师职业精神。

幼儿园教师“儿童观察能力”的情境判断测验——中国8省市幼儿园教师测评的实证研究

目前,国内外的现有测评体系,虽能在一定程度上为教师提供观察方面的支持,却无法有效考察教师的观察能力并进行分层。本研究创造性地结合情境判断测验和维果茨基的最近发展区理论,采用基于情景案例的单选题型,开发了旨在考察教师的儿童观察与评价能力的情景判断测验工具。经8省市2345名幼儿园教师的大规模测评,在有效验证了该测验工具的信度、效度和题项质量的同时,发现:(1)幼儿园教师的儿童观察与评价能力存在明显的地区间差异,表现为经济发达地区得分均明显高于经济欠发达地区;(2)教师的最高学历和有无编制情况是影响其儿童观察与评价能力的敏感变量,而职称的影响程度相对较小;(3)从职业生涯发展来看,教师的儿童观察与评价能力呈现"倒U型"发展,20~25年教龄段能力表现最佳。

情境判断测验的研究述评

情境判断测验是人事测评中非常重要的工具和研究主题,近些年来围绕着它的理论基础、测量属性、构念开发、应用效果等问题展开了一系列的研究。本文阐述了情境判断测验作为方法或构念的争论,论述了它的理论基础,比较了不同形式的测验特征,总结了情境判断测验的信度和效度研究进展,最后从测验的呈现方式、作假行为和群体差异三个方面剖析了执行情境判断测验的关键要素。未来研究可以对不同形式的情境测验进行比较,加强测验构念和内容的研究,尝试与其他测评工具相结合。

识时务者为俊杰? 情境判断测验在心理测验上的发展与应用

情境判断测验(situational judgment test;SJT)是近年来心理测验领域最受重视的评量工具之一,其主要的特色在于拟真情境的试题设计与生态效度,然而SJT的本质却有别于自陈式量表,导致难以符合传统量表发展所规范的条件。尽管如此,学者仍致力发展出一套适合情境判断测验的试题建构方式。因此,该文除了简述SJT的原理与特性之外,并从量表发展的试题产生、项目分析与建构效度之三阶段观点来比较SJT与传统自陈式量表的异同,进一步的,文章以空服员的职能系统的SJT发展经验为例,说明如何将SJT的原理与技术导入人资实务中,以《台湾空服员内隐知识情境式判断量表》为范例来进行说明,提供心理测验领域同仁的学者专家参考,也可提供作为人资实务领域应用建议。

情境判断测验的效度研究述评

情境判断测验是一种为作答者呈现工作相关的典型情境以及该情境下可能的行为反应,要求根据指导语提示进行选择或评价的测验形式。随着其理论和实践的发展,研究者越来越关注情境判断测验的效度研究,包括对其构想效度、效标关联效度和递增效度的探讨,以及指导语类型、情境保真度以及计分方式等因素对其效度的影响。基于这些研究进展,未来情境判断测验实践领域可能的方向是:(1)开发针对特定构想的情境判断测验;(2)结合具体构想选用相应的指导语;(3)应用作假和培训对效度影响的研究结果指导实践。

基于情境判断的中小学生传统文化素养测评工具研制

在梳理传统文化素养内涵的基础上,构建中小学生传统文化素养的测量模型,并基于情境判断测验的理论编制中小学生传统文化素养测评工具。经多轮次检验修订,证明测评工具的模型拟合较好,信效度达到测量学标准,确定可用于中小学生传统文化素养测评。运用此测评工具进行的检验性测评结果显示:中小学生传统文化素养总体水平尤其是文化理解水平有待提高;女生的传统文化素养水平高于男生;小学生的文化理解水平低于初中生,但文化践行水平高于初中生。

领导力情境判断测验的应用研究

领导力的情境判断测验的重点是基于管理者的领导能力构成要素进行分析,包括管理者在具体工作情境中是否能解决相关问题、在探索解决方案过程中所需要的能力要素,并基于这些要素编制成具体的领导力情境判断的测验工具,类似检测问卷等。进行领导力情境判断检测中,要区分管理者的智力或认知能力测验与情境测验之间的差异,重点要应用这种测验对领导者的能力进行科学评价,从而为人事选拔与人力资源管理提供重要的参考依据。

幼儿园教师保育与教育能力情境判断测验——基于2304名教师的实证研究

保教能力是幼儿园教师专业素养的核心成分,直接影响着幼儿园教育质量和幼儿的学习与发展。本研究通过收集保教实践情境、建立教师反应项、确定评分标准三个步骤初步编制评价工具,辅以随机访谈及1182名教师测评反馈,形成“保育为基、游戏为重”的《幼儿园教师保育与教育能力情境判断测验(初版)》。该评价工具涵盖20个保教实践情境、80个教师反应项以及“最理想”“最不认同做法”“实际首选做法”三类问题作答形式。本研究对来自河北省、上海市、福建省、重庆市四个地区的1122名教师进行正式测评,结果发现该评价工具的信效度及题目质量良好,教师的保教能力与其教龄、职称、受教育水平存在相关;公办园教师的保教能力总体上优于民办园教师;教师普遍存在“知道不应做什么,但不知道应该如何做”的困惑,特别是在游戏与教学情境下。为促进教师保教能力的科学评价与教师保教水平的提升,应关注情境判断测验的开发与运用,提升教师“如何做”的实践智慧。

情境判断测验在内隐知识测量中的应用

内隐知识指的是那些控制行为的知识与报告如何控制行为的能力相分离的知识。作为一种难以用语言、文字来表达的知识,很难通过测量来揭示它的结构与特征。情境判断测验作为测量人们在不同情境中对不同行为反应进行评价的方式,能够模拟复杂的工作情境,在一定解决压力的基础上更好地捕捉那些来自于实践的行为,因而成为测量内隐知识的有效方式。

从情境判断测验到情境访谈:幼儿教师能力评价的新路径

幼儿的发展与教师能力息息相关,对幼儿教师能力的评价是帮助管理者监测教师能力、促进教师自身发展、提升幼儿园教育质量的有效支持。文章基于情境判断测验的理论分析与已有实践探索,尝试探讨将情境访谈运用于幼儿教师能力评价的价值,并分析情境访谈运用于幼儿教师评价领域所面临的挑战,以期丰富幼儿教师能力评价的有效模式。

领导力情境判断测验的开发与应用研究

概要介绍领导力测验十余年的标准化开发、修订历程,以及近年大规模应用于领导者的选拔、培养、考核的情况、遇到的实际挑战。为此,本文进行了思考,阐述了如何正确对待该测验的结果,初步探索该测验与其他测试方法的综合使用方法,并展望了该测验进一步开发的方向和重点。