利用自主学习导向评估框架变革评价:理论基础

传统上,考试是常模参照的。考试的成败,往往直接影响学生升学或就业。考试对学生的严重压力久已为人所诟病。如何善用评价作为提供反馈的工具,是"自主学习导向评价"(SLOA:Self-directed Learning Oriented Assessment)理论重要的一环。除了强调评价应当以促进学习为目的之外,SLOA还主张在21世纪,学生应当学习内化评价,成为能够自省、自评、自我主导的学习者。本刊将分三期刊登由莫慕贞教授执笔的有关SLOA的系列文章。第一篇文章将着重论述SLOA的理念,第二篇文章将介绍在中小学实施SLOA的策略,最后一篇文章将分享莫慕贞教授在中国大陆、香港及澳门实施SLOA的成果。

多维题组效应Rasch模型

首先,本文诠释了"题组"的本质即一个存在共同刺激的项目集合。并基于此,将题组效应划分为项目内单维题组效应和项目内多维题组效应。其次,本文基于Rasch模型开发了二级评分和多级评分的多维题组效应Rasch模型,以期较好地处理项目内多维题组效应。最后,模拟研究结果显示新模型有效合理,与Rasch题组模型、分部评分模型对比研究后表明:(1)测验存在项目内多维题组效应时,仅把明显的捆绑式题组效应进行分离而忽略其他潜在的题组效应,仍会导致参数的偏差估计甚或高估测验信度;(2)新模型更具普适性,即便当被试作答数据不存在题组效应或只存在项目内单维题组效应,采用新模型进行测验分析也能得到较好的参数估计结果。

项目反应理论新进展之题组反应理论

通常把测验中共用同一刺激的项目集合称为题组,并把由共同刺激引起的题组项目反应间的相依性称为题组效应。本文首先分别对题组、局部独立性和局部依赖性的概念进行了介绍和梳理,并结合前人研究给出了题组效应的概念。之后在阐明直接使用标准项目反应模型去拟合题组反应数据会导致参数估计偏差等诸多问题后,引出能更好地处理题组效应的题组反应模型。全文详细介绍了包括高阶题组模型和多水平题组模型在内的6种题组反应模型,通过对"如何理解题组反应模型中的区分度参数"和"题组反应模型与多维项目反应模型的关系"两问题的探讨,认为:(1)题组反应模型与标准项目反应模型中的区分度参数含义并不相同,直接将两者进行对比是不合理的;(2)题组反应模型属于广义多维项目反应模型,与狭义多维项目反应模型的主要区别在于满足广义局部独立性假设时所需要控制的潜因素不同。

多维题组效应认知诊断模型

当前认知诊断领域还缺少对包含题组的测验进行诊断分析的研究,即已开发的认知诊断模型无法合理有效地处理含有题组效应的测验数据,且已开发的题组反应模型也不具有对被试知识结构或认知过程进行诊断的功能。针对该问题,本文尝试性地将多维题组效应向量参数引入线性Logistic模型中,同时开发了属性间具有补偿作用的和属性间具有非补偿作用的多维题组效应认知诊断模型。模拟研究结果显示新模型合理有效,与线性Logistic模型和DINA模型对比研究后表明:(1)作答数据含有题组效应时,忽略题组效应会导致项目参数的偏差估计并降低对目标属性的判准率;(2)新模型更具普适性,即便当作答数据不存在题组效应时,采用新模型进行测验分析亦能得到很好的项目参数估计结果且不影响对目标属性的判准率。整体来看,新模型既具有认知诊断功能又可有效处理题组效应。

使用Rasch测量模式分析小学生《教学反馈量表》的心理属性

该研究是一个关于小学生自我导向学习的大型研究的一部分。该大型研究使用了为期26个月的纵向设计,每半年收集数据一次。研究只限于分析基线数据,旨在开发《教学反馈量表》,并以Rasch评定量表模型验证其效度。研究样本是4,507名就读于三年级至五年级、来自26间学校的小学生。学校样本具香港资助小学代表性。结果表明,所有量表均呈现单一向度。它们的Rasch主成份分析首对比残差的特征值均低于2.0。而且所有项目的内、外合适度(Infit,Outfit)均于0.5和1.5之间。各量表的Rasch模型的人信度均在0.8以上。此外,选项的运作良好。项目也没有性别DIF。这项研究开发和验证了《教学反馈量表》,而且创建了关于小学生对学习反馈的态度的新知识,有利于将来设计教学反馈干预策略和研究。