一种多策略认知诊断方法:MSCD方法的开发

当前国内外开发的认知诊断模型基本上只能处理单策略的测验情景,并假设所有被试均采用同一种加工策略/解题策略,从而忽视了加工策略的多样性及差异性。本研究根据de la Torre和Douglas(2008)采用多个Q矩阵来表征多个加工策略的思想,并结合使用丁树良等(2009)修正的Q矩阵理论及孙佳楠,张淑梅、辛涛和包珏(2011)的广义距离判别法,开发了一种新的多策略认知诊断方法——MSCD方法。Monte Carlo模拟研究结果表明:在单策略测验情景下,传统的单策略认知诊断方法与采用MSCD方法的诊断正确率均比较理想,且差异不大;但在多策略测验情景时,传统的单策略认知诊断方法诊断正确率较低,而MSCD方法的诊断正确率却仍较理想;当加工策略增至5种时,MSCD方法仍有较高的边际判准率、模式判准率以及加工策略判准率。研究表明MSCD方法基本合理、可行。这为实现对加工策略的诊断提供了方法学支持,有利于拓展认知诊断在实际中的应用。

多级评分多策略认知诊断方法

多级评分比2级评分能提供更全面更丰富的诊断信息,更好地反映被试对知识的掌握状况.考虑到存在不同认知诊断策略对应不同属性层级关系的情形,甚至在某种评分规则下,存在同一个项目使用不同策略,对应的满分值也不同的复杂情况,该文利用项目反应理论等值的做法,处理这种复杂情况.Monte Carlo模拟实验表明:对含有多策略的多级评分反应数据,这种处理方法有助于提高认知诊断模型分类的准确性.

可以兼顾策略、认知状态和能力的CD-CAT选题方法

当CD-CAT测验需要同时诊断被试的解题策略、认知状态并评估被试的宏观能力时,就需要在选题过程中兼顾这三个测量目标。用两种不同方式将多策略香农熵(MSSHE)指标与Fisher信息量相结合,提出多策略情境中的"带有信息量的有序度"指标(MSDWI)选题法与"先用MSSHE后用Fisher信息量"的两步选题法。基于多策略RRUM模型(MS-RRUM),将这两种方法与随机选题法在不同属性数量条件下进行模拟比较,结果表明:当属性数量为4个或6个时,两步选题法在策略判准率、认知状态判准率和能力估计精度三个方面都有最佳的效果。