一种基于认知诊断的主观题同行互评技术

针对MOOCs平台上大规模主观题作业的同行互评问题,研究人员基于概率模型对评价者的可靠性和偏见进行建模,提出了许多估计主观题作业真实分数的有效技术.然而,现有技术均未同时考虑评价者在待评价作业中的答题表现以及评价者的历史答题表现这两方面因素对其可靠性的影响.鉴于此,提出了基于认知诊断的主观题同行互评技术:首先以评价者的历史答题记录为输入,基于流行的认知诊断模型量化评价者对主观题作业的掌握程度;其后同时基于评价者对主观题作业的掌握程度以及评价者在该主观题作业中取得的真实分数对评价者的可靠性建模;最后结合对评价者偏见的建模提出了估计主观题作业真实分数的同行互评概率模型.真实课堂实验表明,在同行互评活动中,本文提出的同行互评技术对主观题作业真实分数的估计更为准确,比相关技术在真实分数估计误差方面平均降低了42%.

真分数模型用于潜变量测评的弊端和效度改进的建议——以顾客满意度测量为例

顾客满意度测量与心理测量不同,与心理测量关注个体差异相比,顾客满意度测量更关注不同顾客反映出对某产品或者服务的共同评价。因顾客在评价产品和服务时会受某些共同的稳定的心理特征(比如城乡差异)的影响,用心理测量中的真分数模型对顾客满意度进行测量会降低测量的效度。通过分解随机误差项的思路对真分数模型进行了修正,给出了具体的操作程序,并通过实证研究对结果进行了验证。顾客满意度测量是潜变量测量的典型代表,修正的真分数模型同样可以运用于企业声誉、团队安全感等其他潜变量的测评。

关于心理测验理论模式的比较

真分数理论和项目反应理论是心理测验的两大理论模式。真分数理论主要是估计真分数和实得分数之间关系的；项目反应理论是将被试对单个测验项目的某种反应概率与此项目的一定特征联系起来，项目反应理论可以说是在真分数理论基础上的一种发展，但绝不是真分数理论，两者所建立的理论的基本假设不同，并各有其优势与不足。今天的心理测验就是在这两大理论共存的情况下，互相促进、互相补充，并在此基础之上向更合理。