CD-CAT中基于SCAD惩罚和EM视角的在线标定方法开发——G-DINA模型

G-DINA(the generalizeddeterministic input,noisy and gate)模型限制条件少,应用范围广,满足大量心理与教育评估测验数据的要求。研究提出一种适用于G-DINA等模型的同时标定新题Q矩阵与项目参数的认知诊断计算机化自适应测验(CD-CAT)在线标定新方法SCADOCM,以期促进CD-CAT在实践中的推广与应用。本研究分别基于模拟题库以及真实题库进行研究,结果表明:相比传统的SIE方法,SCADOCM在各实验条件下均具有较为理想的标定精度与标定效率,应用前景较好;SIE方法不适用于饱和的G-DINA等模型,其各实验条件下的Q矩阵标定精度均较低。

基于DINA模型的学生认知状态诊断研究

在教育信息化背景下,个性化教学成为教育领域的研究热点。认知诊断与教育的深度融合能精准获取学生的认知状态,为不同学习者提供个性化的教学准备和学习支持,促进个性化教学的发展。以北师大版八年级上册数学教材中《一次函数》章节为例,开发诊断模型,通过诊断测验获得被试在测验上的作答反应来推测被试不可观察的知识状态,在微观层面分析学生心理加工过程和活动行为规律,对学生作答反应背后隐藏的潜在认知优势与不足做出精确判别。

融入能力信息的认知诊断模型开发与应用

新时代教育评价改革对评价的科学性、客观性和专业性提出了更高的要求。以一般(高阶)能力作为连接项目反应理论模型与认知诊断模型的桥梁,相互利用不同试题上的作答信息,开发出融入能力信息的认知诊断模型。模拟研究考查了新模型在四种参数分布和五种题量下的表现,并与DINA模型与2PLM进行了比较。结果显示:在相同题量下,新模型能力参数的均方误差优于2PLM的均方误差;新模型的模式判准率优于DINA模型的模式判准率;属性斜率越大,新模型的属性判准率和能力精度更高。在英语水平证书考试的实测数据上,新模型相对拟合指标优于DINA和HO-DINA等模型;新模型虽稍逊于2PLM,但两者所得能力与测验总分相关较高;新模型在属性2上分类准确性高于其他模型,分析发现新模型可利用能力信息提高Q阵中考查次数较少属性的分类准确性。

认知诊断评价中的被试拟合研究

通常情况下,认知诊断需要通过认知诊断模型对被试进行诊断评价。认知诊断模型所生成诊断结果的有效性依赖于被试作答反应是否与所选用的模型拟合。因此,在对诊断结果进行评估的时候,需要通过被试拟合分析来对被试个体的作答反应与模型的拟合情况进行检验,以避免错误或无效的补救措施。本研究基于加权的得分残差,提出认知诊断评价中新的被试拟合指标R。模拟研究结果表明,R指标的一类错误率有较好的稳定性,对随机作答、疲劳、睡眠和创造性作答四种异常被试类型均有较高的统计检验力。并将R指标应用于分数减法实证数据,展示指标在实际测验中的使用过程。

一种多级评分的认知诊断模型:P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料,大大限制了认知诊断在实际中的应用,也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展,开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型,同时采用MCMC算法实现模型参数的估计,并对该模型性能进行研究。结果表明:(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下,参数估计的精度均较高,参数估计的稳健性较强,说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计,且参数估计的精度较高。(3)整体来看,无结构型属性层级关系和结构型属性层级关系下,P-DINA模型在项目参数的估计精度上两者基本相当;但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下:模型诊断的属性个数越多,参数s估计的精度越差、属性诊断的正确率(MMR和PMR)越低,但参数g的估计精度越好;若想保证属性模式判准率在80%以上,建议诊断的属性个数不宜超过7个。总之,本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。

面向大规模认知诊断的DINA模型快速计算方法研究

在教育教学的过程中,如何诊断学生的知识水平是一个重要的问题.传统方法大多由教师根据学生的表现和成绩进行人工判断,存在效率低、主观性强的问题,且难以做到针对大量学生的个性化诊断.近年来,认知诊断模型中的DINA模型被广泛应用于诊断学生个性化知识掌握程度.然而传统DINA模型大多基于小样本数据,当面对在线教育带来的大规模数据处理需求时,存在收敛速度慢的问题,难以实际应用.针对DINA模型计算时间过长的问题,本文首先给出了DINA模型的收敛性证明,并提出了三种能够加速DINA求解的算法:(1)增量算法,它将学生数据划分为多个学生块,每次迭代只访问其中一个学生块;(2)最大熵方法,它只访问在极大化模型熵的过程中影响较大的学生数据;(3)基于前两者的混合方法.最后,本文通过真实数据和模拟数据上的实验,分析证明了三种方法均能在保证DINA模型有效性的情况下,达到几倍至几十倍的加速效果,有效地改善了DINA模型的计算效率.

基于DINA模型的Q矩阵修正方法

本研究开发了一种基于DINA模型的认知诊断测验Q矩阵修正方法——γ法,为侦查并修正Q矩阵中的错误提供方法学支持,从而为保证Q矩阵的合理性提供基础,并为进一步提高认知诊断的准确率服务。本文采用MonteCarlo模拟及与国外同类研究相比较的方法进行,研究发现:(1)不论在何种作答失误概率(5%,10%,15%)情况下,当s,g临界值为0.2,0.25或0.3时,本研究提出的γ法均能有效地修正错误Q矩阵;同时,当Q矩阵无错误时,γ法对该Q矩阵未做任何修改。表明γ法对Q矩阵是否存在错误具有较强的识别能力及修正能力。(2)与国外同类研究相比,本研究提出的γ法具有较理想的修正率,且与delaTorre(2008)提出δ法的修正效果相当。但相比较而言,γ法较δ法更为简单。(3)γ法不仅能有效地修正错误的Q矩阵,而且还可以进一步提高认知诊断的正确率,尤其是对模式判准率(PMR),诊断正确率的最高增幅高达40%,大大改善了认知诊断的准确率。

HO-DINA模型的MCMC参数估计及模型性能研究

认知诊断目前在国内外越来越受到重视,而要真正实现认知诊断,需借助一定的计量学模型即认知诊断模型。国际上,目前已开发近60种认知诊断模型,不同模型又各具特点。本研究重点分析国外研究较成熟的模型——HO-DINA/DINA模型,具体探讨该模型参数估计的实现及模型性能,采用Monte Carlo模拟方法进行,研究发现:(1)本研究对项目参数、属性参数和被试参数估计返真性较好、稳健性较强、HO-DINA模型具有较高的判断率,MCMC算法可行;(2)诊断的属性个数越多,诊断的模式正确率越低,建议实际使用该模型时,诊断的属性个数不宜超过7个;(3)用于诊断的项目数越多,诊断的模式正确率越高,在实际工作中,若要保证有80%以上的模式判准率,则4个属性的至少需20题,5个、6个和7个属性的至少需要40题,8个属性至少需60题。实际运用者应根据实际情况考虑适当的项目数及属性数。

基于HO-DINA模型的多级评分认知诊断模型的开发

本文对具有较好发展前景的HO-DINA模型进行拓展,将仅适用于0-1评分数据资料的HO-DINA模型拓广至可用于多级评分,采用MCMC算法实现了对新模型参数的估计,并对新模型性能进行了研究。

G-DINA认知诊断模型在语言测验中的验证

G-DINA模型是DINA模型的一般化模型,具有补偿性和饱和性两个主要特征。此项研究以代表性的语言测验类型阅读测验为案例,应用G-DINA模型对1029名被试的PISA英语阅读测验结果进行实证分析,发现G-DINA模型不仅能准确诊断被试对各阅读技能的认知状态,还能揭示阅读技能之间的关系。研究证明了两个假设:补偿饱和型认知诊断模型对多元抽象的语言测验有较高的适应性;G-DINA这一新生认知诊断模型可以被用来诊断较为复杂抽象的语言测验,且经得起统计学和语言学理论的双重考验。

混合模型在英语听力诊断测评中的应用——基于Mixed-CDMs与G-DINA模型的对比分析

文章使用GDINA R程序包,借助Wald检验为英语听力诊断试题中的多属性题目选出最优简约模型,组成混合模型(Mixed-CDMs)。基于Mixed-CDMs与G-DINA模型的对比分析,文章发现:在样本量不够大(N=726)的情况下,Mixed-CDMs满足模型-数据绝对拟合的较高要求,相对拟合性、人员拟合性、属性分类的可靠性以及参数估计的准确性都有所提高,且属性之间的关系更加直观易读。由此,文章验证了混合模型对于英语听力诊断测评具有适用性并有一定的应用优势,这为混合模型在英语听力测试中的应用提供了实证依据,有助于加深对英语听力认知属性关系的了解,并可为其它语言测试使用混合模型提供借鉴。

重参数化多分属性DINA模型的多级评分拓广——基于等级反应模型

多分属性认知诊断模型(CDMs)比传统的二分属性CDMs提供更详细的诊断反馈信息,但现有大部分多分属性CDMs并不具备直接分析多级(或混合)评分数据的功能。本文基于等级反应模型对重参数化多分属性DINA模型进行多级评分拓广,开发一个可处理多级评分数据的等级反应多分属性DINA模型。首先通过实证数据分析呈现新模型的现实可应用性;然后通过模拟研究探究新模型的参数估计返真性。结果表明,新模型满足同时处理多分属性和多级评分数据的现实需求;且具备良好的心理计量学性能,但对测验质量有一定要求(如题目质量较高且测验Qp矩阵具有完备性等)。

影响AHM与DINA诊断准确率的因素研究

对属性层级模型(AHM)和确定性输入、噪声"与"门模型(DINA)2个认知诊断模型,讨论不同因素对判准率的影响.实验表明,含有可达阵的测验比不含可达阵的测验判准率高.对于线型结构测验长度达到一定值以后,增加测验长度对诊断准确率的改进不大.虽然总体而言,DINA分类准确性要优于AHM,属性结构紧密度越大,判准率越高;但是AHM估计结果符合属性层级结构,而DINA估计结果却可能违背属性层级关系,这和2011年De Carlo的发现不相同.

认知诊断视角下的个性化追踪教学研究——基于G-DINA模型的高中数学教学实例

随着教育信息化2.0时代的到来,如何通过数据智能实现精准教育进而开展个性化评估成为研究热点。应用认知诊断G-DINA模型分析高中数学测试,量化学生认知结构,并将其应用于辅助教师进行补救教学。研究结果表明,分析学生认知结构,开展有针对性的个性化追踪教学,不仅能够帮助教师把握整体教学效果,而且有助于教师根据学生个性化差异有针对性地调整教学,从而为个性化追踪教学及基于学生短板的有效课堂教学奠定基础。

Mix-DINA——基于混合分布的多策略认知诊断模型

个体在完成多种类型认知任务时普遍使用了多种策略,且不同策略解题难度存在差异。但常见的测量模型忽视了这一事实,研究基于混合分布项目反应模型开发了Mix-DINA模型。其主要优点是:(1)可同时报告被试的知识状态与策略使用倾向;(2)不同策略对应题目参数自由估计,使之更符合主流心理学观点。研究通过模拟数据验证了自编Mix-DINA模型估计程序分析各类多策略作答时的有效性,结果显示Mix-DINA模型在分析单策略作答时也具有一定的稳健性。最后讨论了研究的局限,对多策略认知诊断的进一步研究给出了建议。

DINA模型项目参数偏差对知识状态估计的影响

近年来关于DINA模型的相关研究显示,样本量、先验分布、经验贝叶斯或完全贝叶斯估计方法、样本的代表性、项目功能差异和Q阵误指等,均可能是导致DINA项目参数估计发生偏差的原因。使用Monte Carlo模拟试验,对DINA项目参数(猜测参数和失误参数)的组合变化类型和偏差量进行考察,通过条件极大似然估计法估计知识状态,发现项目参数估计值与真值偏差不大时,对知识状态估计的精度影响不大;但是项目参数偏离真值较大时,尤其是在三种组合类型上,对属性掌握存在明显的高估或低估现象。研究结果对于诊断测验等值有一定的启示:若两个测验上锚题的项目参数出现了较大的偏差(0.1),则需要考虑等值的必要性。

基于认知诊断模型PISA数据的学生学习轨迹分析

国际学生评估项目(PISA)在全球范围内为各国的教育水平评估提供了一个重要的横向比较平台,被广大学者认为是衡量教育质量的重要指标.近年来,重参数化DINA模型给出一种新的评估方法,能够进行更加准确的评估,逐渐在教育评估领域崭露头角,其独特之处在于能够结合认知分析把测量目标与认知过程模型紧密结合,展现学生对各知识点或技能的深入掌握程度.本文选择重参数化DINA模型作为分析工具,深入挖掘2015年PISA测试中来自中国、日本、美国等12个国家12918名学生的答题数据及反应时间,旨在明确这些国家学生的学习轨迹并对其进行对比.本文的研究结果呈现了不同国家学生认知学习过程的独特性,以期为国际教育改进提供有益的参考.

基于GP-DINA模型的学生多级评分的广义认知诊断模型研究

针对目前的多数认知诊断模型不能适用于多级评分的问题,文中基于GP-DINA模型,通过引入潜变量与滑动参数,提出一种面向学生的多级评分广义认知诊断模型。该模型将Q矩阵中的各属性设置为相等权重,并定义滑动矩阵导出相应的模型表达式。通过3 000名被试的35道题共15次循环模拟,发现该模型在线性型、无结构型、发散型、收敛型和独立型5种属性层级结构下均具有较高的模式准确率与边际判准率,能够为类似的认知诊断模型研究提供参考。

属性不独立对DINA模型参数估计的影响

受众多心理和教育测量研究者喜爱的认知诊断模型-DINA模型假定属性之间是相互独立、连接、非补偿的关系,但是在实际的应用过程中,属性之间未必能满足这样的关系,这限制了DINA在实际中的应用。本文研究属性之间存在不同的关系(层级关系或补偿关系)对于DINA模型参数估计的影响,研究结果表明,当属性之间存在层级关系或补偿作用时,都会对DINA模型下的参数估计精度造成较大的影响,当属性之间存在层级关系时,参数的估计精度受到两个因素的影响最大,一是属性层级结构,另一个是被试人数;当属性之间存在补偿关系时,参数的估计精度主要是受到被试人数和属性个数的影响。在属性之间存在这两种关系的情况下,采用DINA模型进行认知诊断都会影响诊断测验的效度。

认知诊断DINA模型研究进展

DINA模型是认知诊断潜在分类模型中的一种,它是一个简单的随机连接模型,由于该模型只涉及"失误"和"猜测"两个参数,比其他模型更加简洁、灵活和易于解释,因此得到了广泛的理论和应用研究。近年来,在传统DINA模型的基础上,又有更加完善的HO-DINA模型,P-DINA模型以及G-DINA模型等被提出和探讨,由此可见,DINA模型有着良好的发展前景,同时有待相关工作者进行更深入的研究。