混合模型在英语听力诊断测评中的应用——基于Mixed-CDMs与G-DINA模型的对比分析

文章使用GDINA R程序包,借助Wald检验为英语听力诊断试题中的多属性题目选出最优简约模型,组成混合模型(Mixed-CDMs)。基于Mixed-CDMs与G-DINA模型的对比分析,文章发现:在样本量不够大(N=726)的情况下,Mixed-CDMs满足模型-数据绝对拟合的较高要求,相对拟合性、人员拟合性、属性分类的可靠性以及参数估计的准确性都有所提高,且属性之间的关系更加直观易读。由此,文章验证了混合模型对于英语听力诊断测评具有适用性并有一定的应用优势,这为混合模型在英语听力测试中的应用提供了实证依据,有助于加深对英语听力认知属性关系的了解,并可为其它语言测试使用混合模型提供借鉴。

认知诊断评价中的被试拟合研究

通常情况下,认知诊断需要通过认知诊断模型对被试进行诊断评价。认知诊断模型所生成诊断结果的有效性依赖于被试作答反应是否与所选用的模型拟合。因此,在对诊断结果进行评估的时候,需要通过被试拟合分析来对被试个体的作答反应与模型的拟合情况进行检验,以避免错误或无效的补救措施。本研究基于加权的得分残差,提出认知诊断评价中新的被试拟合指标R。模拟研究结果表明,R指标的一类错误率有较好的稳定性,对随机作答、疲劳、睡眠和创造性作答四种异常被试类型均有较高的统计检验力。并将R指标应用于分数减法实证数据,展示指标在实际测验中的使用过程。

基于粗糙集约简与概率图的认知诊断模型研究

随着孤独症儿童的数量不断增加,准确且及时地对其进行认知诊断变得愈发重要.构建基于粗糙集约简算法的孤独症诊断知识库,研究基于概率图的认知诊断模型,以提高对孤独症儿童诊断的准确性和效率.实验结果表明:该认知诊断模型的均方根误差值范围为0.10~0.11,平均绝对误差值范围为0.009~0.115,在孤独症儿童的认知诊断中具有较高的准确性和稳定性.

教育认知诊断测验与认知模型一致性的评估

构建正确的认知模型是成功进行认知诊断的关键之一,如果认知诊断测验不能完整准确地代表这个认知模型,这个测验的效度就存在问题。属性及其层级可以表示一个认知模型。在认知模型正确基础上,给出了一个计量公式以衡量认知诊断测验能够多大程度上代表认知模型;对于不止包含一个知识状态的等价类及其形成原因进行了分析,对Cui等人的属性层级相合性指标(HCI)提出修改建议,以更好地探查数据与专家给出的认知模型的一致性。

五大认知诊断模型的诊断正确率比较及其影响因素:基于分布形态、属性数及样本容量的比较

本研究主要在Leighton,Gierl和Hunka(2004)的四种属性层级结构测验情景下,考察不同被试知识状态(knowledge states)分布形态、不同样本容量和不同认知属性数3种实验条件下,分别比较、分析五种常用认知诊断模型的属性诊断正确率(含边际判准率和模式判准率)及其影响因素,从而深入探讨每种模型的计量性能及模型属性诊断正确率的影响因素等,试图为实际应用者在模型比较与选用上提供借鉴和指导。

一种多级评分的认知诊断模型:P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料,大大限制了认知诊断在实际中的应用,也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展,开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型,同时采用MCMC算法实现模型参数的估计,并对该模型性能进行研究。结果表明:(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下,参数估计的精度均较高,参数估计的稳健性较强,说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计,且参数估计的精度较高。(3)整体来看,无结构型属性层级关系和结构型属性层级关系下,P-DINA模型在项目参数的估计精度上两者基本相当;但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下:模型诊断的属性个数越多,参数s估计的精度越差、属性诊断的正确率(MMR和PMR)越低,但参数g的估计精度越好;若想保证属性模式判准率在80%以上,建议诊断的属性个数不宜超过7个。总之,本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。

基于分部评分模型思路的多级评分认知诊断模型开发

基于分部评分模型的思路,本文提出了一般化的分部评分认知诊断模型(General Partial Credit Diagnostic Model,GPCDM),与国际上已有的基于分部评分模型思路的多级评分模型GDM(von Davier,2008)和PC-DINA(de la Torre,2012)相比,GPCDM的Q矩阵定义更加灵活,项目参数的约束条件更少。Monte Carlo实验研究表明,GPCDM模型的参数估计精度指标RMSE介于[0.015,0.043],表明估计精度尚可;TIMSS(2007)实证数据应用研究表明,与GDM和PC-DINA模型相比,GPCDM与该数据的拟合度更好,并且使用GPCDM分析该数据的诊断效果也更优。总之,本研究提供了一种约束条件更少、功能更为强大的多级评分认知诊断模型。

一种多策略认知诊断方法:MSCD方法的开发

当前国内外开发的认知诊断模型基本上只能处理单策略的测验情景,并假设所有被试均采用同一种加工策略/解题策略,从而忽视了加工策略的多样性及差异性。本研究根据de la Torre和Douglas(2008)采用多个Q矩阵来表征多个加工策略的思想,并结合使用丁树良等(2009)修正的Q矩阵理论及孙佳楠,张淑梅、辛涛和包珏(2011)的广义距离判别法,开发了一种新的多策略认知诊断方法——MSCD方法。Monte Carlo模拟研究结果表明:在单策略测验情景下,传统的单策略认知诊断方法与采用MSCD方法的诊断正确率均比较理想,且差异不大;但在多策略测验情景时,传统的单策略认知诊断方法诊断正确率较低,而MSCD方法的诊断正确率却仍较理想;当加工策略增至5种时,MSCD方法仍有较高的边际判准率、模式判准率以及加工策略判准率。研究表明MSCD方法基本合理、可行。这为实现对加工策略的诊断提供了方法学支持,有利于拓展认知诊断在实际中的应用。

几种常用非补偿型认知诊断模型的比较与选用：基于属性层级关系的考量

当前国际上开发了60多种认知诊断计量模型(Fu&Li,2007),各种模型各具特点,实际应用者应根据实际情况选用恰当的模型。本研究以属性层级关系为切入点,采用MonteCarlo模拟的研究方法,比较了属性层级关系正确及有误两种情况下,当前国际上常用的五种认知诊断模型的性能,以充分考察不同认知诊断模型对属性层级关系的依赖程度,及属性层级关系的错误界定对各认知诊断模型诊断正确率的影响,从而为实际运用者在认知诊断模型选用上提供借鉴和参考。

小学儿童数学问题解决认知诊断

认知诊断研究有助人们更好地了解人类内部心理活动规律及加工机制,实现对个体认知发展实况(含优点与缺限)的诊断评估,以促进个体全面发展。本研究尝试将认知诊断应用于小学儿童数学问题解决中,探讨儿童对于数学问题解决的认知发展特点及所存在的缺限,以促进儿童相关认知发展及知识获取。研究发现:(1)数学关系复杂性成分和语言复杂性成分是影响小学儿童数学问题解决的主要认知成分;(2)小学儿童对于加减数学问题解决所涉及的七个关键认知属性掌握的总体情况尚可。但对属性A4(不一致型比较图式)和A6(识别隐含条件技能)掌握的相对较差,且这两个属性掌握情况存在显著的年级差异和城乡差异。(3)小学儿童所犯的认知错误主要有三类,而这些错误均与认知属性A4和A6有关。(4)问题模型表征策略和直译表征策略是小学儿童两种主要的表征策略,但以问题模型策略为主。不同策略的使用情况上存在显著的年级和城乡差异。

基于DINA模型的Q矩阵修正方法

本研究开发了一种基于DINA模型的认知诊断测验Q矩阵修正方法——γ法,为侦查并修正Q矩阵中的错误提供方法学支持,从而为保证Q矩阵的合理性提供基础,并为进一步提高认知诊断的准确率服务。本文采用MonteCarlo模拟及与国外同类研究相比较的方法进行,研究发现:(1)不论在何种作答失误概率(5%,10%,15%)情况下,当s,g临界值为0.2,0.25或0.3时,本研究提出的γ法均能有效地修正错误Q矩阵;同时,当Q矩阵无错误时,γ法对该Q矩阵未做任何修改。表明γ法对Q矩阵是否存在错误具有较强的识别能力及修正能力。(2)与国外同类研究相比,本研究提出的γ法具有较理想的修正率,且与delaTorre(2008)提出δ法的修正效果相当。但相比较而言,γ法较δ法更为简单。(3)γ法不仅能有效地修正错误的Q矩阵,而且还可以进一步提高认知诊断的正确率,尤其是对模式判准率(PMR),诊断正确率的最高增幅高达40%,大大改善了认知诊断的准确率。

认知诊断模型发展及其应用方法述评

认知心理学和心理测量学结合派生出的认知诊断理论,利用现代统计方法和计算机技术作为工具,诊断被试的认知结构和认知过程。认知诊断有多种模型,不同的模型有不同的特点及应用条件。模型的选择和认知诊断方法的应用对认知诊断的结果有重要的影响,因此在选择模型之时需要了解各种认知诊断模型的发展过程及优缺点。

从新模型视角探讨认知诊断的发展趋势

认知诊断理论是认知心理学与心理测量学的联姻,至今已有50多年的发展历史。其中对诊断模型的开发是该理论的研究核心之一。本文首先指出了目前应用较为广泛的认知诊断模型在拟合个体认知加工过程、数据处理方式、能够处理的数据类型及使用同一诊断模型对整份试卷进行估计等四方面存在的不足,然后详细地介绍了为弥补这些不足而提出的认知诊断新模型及其理论思想背景与模型特征,包括多项选择诊断模型、多策略诊断模型、连续型数据的诊断模型及对数线性诊断模型。最后基于新模型提出的视角和观点,总结当前认知诊断的发展趋势,给认知诊断研究者及应用者以启发和借鉴。

贝叶斯网在认知诊断属性层级结构确定中的应用

K.K.Tatsuoka和她同事研究的规则空间模型(RSM)是一种在国内外有较大影响的认知诊断模型,但是Tatsuoka的RSM是由学科专家先从已编制的测验中抽取出属性,然后给出测验的关联Q阵,再由该Q阵导出属性间的层级关系。已有研究证明,这种做法所得到的属性间的层级关系难以保证是正确的,甚至难以保证属性间的层级关系是唯一确定的。这里利用贝叶斯网进行结构学习,从被试的属性掌握模式中挖掘出属性间的层级关系,学习所得到的层级关系可以用来验证由RSM中的方法得到的层级关系。模拟实验和实证研究的结果都显示了该方法所得到的属性层级关系是有参考价值的,可以为命题或测量专家带来有用的信息。

面向大规模认知诊断的DINA模型快速计算方法研究

在教育教学的过程中,如何诊断学生的知识水平是一个重要的问题.传统方法大多由教师根据学生的表现和成绩进行人工判断,存在效率低、主观性强的问题,且难以做到针对大量学生的个性化诊断.近年来,认知诊断模型中的DINA模型被广泛应用于诊断学生个性化知识掌握程度.然而传统DINA模型大多基于小样本数据,当面对在线教育带来的大规模数据处理需求时,存在收敛速度慢的问题,难以实际应用.针对DINA模型计算时间过长的问题,本文首先给出了DINA模型的收敛性证明,并提出了三种能够加速DINA求解的算法:(1)增量算法,它将学生数据划分为多个学生块,每次迭代只访问其中一个学生块;(2)最大熵方法,它只访问在极大化模型熵的过程中影响较大的学生数据;(3)基于前两者的混合方法.最后,本文通过真实数据和模拟数据上的实验,分析证明了三种方法均能在保证DINA模型有效性的情况下,达到几倍至几十倍的加速效果,有效地改善了DINA模型的计算效率.

多级评分的认知诊断计算机化适应测验

本文在0-1评分的CD-CAT基础上,拓展出了适合多级评分CD-CAT(ps CD-CAT)的认知诊断模型及选题策略,为实现多级评分CD-CAT提供了方法支持。Monte Carlo模拟实验结果表明:本文拓展的多级评分CD-CAT具有较理想的属性诊断正确率及测验效率和题库安全性,可以用于多级评分数据的CD-CAT;模拟实验还表明,整体来看PS-PWKL和PS-HKL两种选题策略具有较高属性判准率、题库安全性和高测验效率,且均优于PS-KL选题策略。总之,本研究对于进一步拓展CD-CAT在实践中的应用提供了认知诊断模型与选题策略等。

面向精准教学的多级认知诊断模型构建与应用

利用精准教学促进学生个性化成长是教育的理想诉求,也是国家教育政策的现实要求。多级认知诊断模型作为实施精准教学的有效工具,目前虽然应用广泛,但需要大量样本进行参数估计,在课堂教学中应用的门槛较高。基于此,文章首先根据认知及教学理论,对知识属性掌握程度进行多级划分,并构建了面向精准教学的多级认知诊断模型;然后,文章应用多级难度试题对学生知识状态进行测量分级,并在此基础上利用BP神经网络消除学生答题过程中的猜测或失误,从而实现较少样本情况下对学生知识状态的多级诊断;最后,文章应用模型开展教学实验,从诊断结果准确度、补救学习效果和学生满意度方面,验证模型能够对学生知识状态进行高效精准的多级诊断。文章通过研究,旨在为精准教学的实施和学生的个性化培养提供有效依据。

分离型的多级评分认知诊断模型开发及其应用研究

本文基于DINO模型开发出一种分离型的多级评分认知诊断模型(P-DINO模型),并采用Monte Carlo模拟与实证研究相结合的范式,探讨了新模型的性能与有效性。结果表明:(1)P-DINO模型参数估计精度较好,参数估计的稳健性较强。(2)采用MCMC算法可以实现该模型的参数估计,估计结果较理想。(3)测验长度的增加能有效提高模型的判准率,被试人数的增加对判准率的提高相对较小,属性个数的增加会降低判准率。(4)在抑郁症状评估中,P-DINO模型的表现要优于DINO模型与传统的抑郁症状评估。

多级评分CAT的认知诊断方法

认知诊断因其能识别被试认知状态已成为CAT研究的重要部分之一,但目前研究大多都基于0-1评分,这与我国试题也采用多级评分现状不相适应.因此,研究基于多级评分的认知诊断具有重要意义.该文主要研究开发多级评分模型下有认知诊断功能的CAT测试系统,采用等级反应模型(GRM),使用先认知诊断后估计能力的方法.该系统的认知诊断正确率较高,且诊断结果较稳定,能力估计也较准确,测验安全性好.

HO-DINA模型的MCMC参数估计及模型性能研究

认知诊断目前在国内外越来越受到重视,而要真正实现认知诊断,需借助一定的计量学模型即认知诊断模型。国际上,目前已开发近60种认知诊断模型,不同模型又各具特点。本研究重点分析国外研究较成熟的模型——HO-DINA/DINA模型,具体探讨该模型参数估计的实现及模型性能,采用Monte Carlo模拟方法进行,研究发现:(1)本研究对项目参数、属性参数和被试参数估计返真性较好、稳健性较强、HO-DINA模型具有较高的判断率,MCMC算法可行;(2)诊断的属性个数越多,诊断的模式正确率越低,建议实际使用该模型时,诊断的属性个数不宜超过7个;(3)用于诊断的项目数越多,诊断的模式正确率越高,在实际工作中,若要保证有80%以上的模式判准率,则4个属性的至少需20题,5个、6个和7个属性的至少需要40题,8个属性至少需60题。实际运用者应根据实际情况考虑适当的项目数及属性数。