一种评判认知诊断方法有效性的新指标:真实判准率

该文提出了TPMR和TAAMR 2种真实判准率指标,用于替代现有评判认知诊断方法有效性的指标PMR与AAMR,并分析新旧指标的区别,随后比较参数和非参数方法在新旧指标上的表现以及高判、低判、错判情况,为认知诊断的实践提供理论依据.研究发现:(i)TPMR、TAAMR相比于PMR、AAMR而言,更能真实地反映认知诊断方法的有效性;(ii)TPMR、TAAMR在不同条件下表现均较为稳定,相比PMR、AAMR更能区分认知诊断方法的优劣;(iii)从高低错判的角度来看,PNN更适合于实践应用.