面向在线教育的同伴互评技术综述

随着以慕课(MOOC)为代表的在线教育平台的迅速发展,如何评价平台学习者提交的大规模主观题作业是面临的重大挑战。同伴互评是有效应对大规模主观题作业评价挑战的主流方案,近年来受到学术界与工业界的广泛关注。鉴于此,对面向在线教育的同伴互评技术进行了调研与分析。首先,概述当前实施同伴互评的通用流程;然后,分别阐述评价者分配、评语分析、异常互评信息检测与处理以及主观题作业真实分数估计等重要的同伴互评流程活动的主要研究成果;其次,对比具有代表性的在线教育平台或已发布的教学系统中的同伴互评功能;最后,总结和展望同伴互评的未来发展趋势,为正在从事或打算从事同伴互评研究的人们提供借鉴与参考。

一种基于认知诊断的主观题同行互评技术

针对MOOCs平台上大规模主观题作业的同行互评问题,研究人员基于概率模型对评价者的可靠性和偏见进行建模,提出了许多估计主观题作业真实分数的有效技术.然而,现有技术均未同时考虑评价者在待评价作业中的答题表现以及评价者的历史答题表现这两方面因素对其可靠性的影响.鉴于此,提出了基于认知诊断的主观题同行互评技术:首先以评价者的历史答题记录为输入,基于流行的认知诊断模型量化评价者对主观题作业的掌握程度;其后同时基于评价者对主观题作业的掌握程度以及评价者在该主观题作业中取得的真实分数对评价者的可靠性建模;最后结合对评价者偏见的建模提出了估计主观题作业真实分数的同行互评概率模型.真实课堂实验表明,在同行互评活动中,本文提出的同行互评技术对主观题作业真实分数的估计更为准确,比相关技术在真实分数估计误差方面平均降低了42%.