抽查设定下基于学生评价能力的同行互评概率图模型

随着大量中文MOOC平台的兴起,批改大规模学生提交的主观题作业成为教育研究领域亟待解决的问题。同行互评要求学生作为同行评价者来批改同伴的作业,是解决该挑战问题的主流方法。近年来,研究人员基于概率图模型对同行评价者的评分可靠性和偏见建模,有效提升了基于同行评价打分估计主观题作业真实分数的准确性。然而,现有概率图模型只考虑学生在本次作业上的得分对其评分可靠性的影响,未对可以直接衡量评价者评分可靠性的学生评分偏差进行建模,存在局限性。鉴于此,本文结合教师抽查的方式,基于学生评分偏差对评价者评价能力进行有效量化,并以此为基础提出两种新颖的同行互评概率图模型,即RPG_(6)(reliability-aware peer grading 6)和RPG_(7)(reliability-aware peer grading 7)。这两个模型在现有概率图模型的基础上,在学生的评分可靠性建模中添加了基于评分偏差感知的学生评价能力,以提高模型对作业真实分数的估计准确性。真实课堂实验表明,本文提出的RPG_(6)和RPG_(7)模型在同行互评活动中对作业真实分数的估计更为准确,比现有最好技术在均方根误差方面平均降低了11.75%。

一种基于认知诊断的主观题同行互评技术

针对MOOCs平台上大规模主观题作业的同行互评问题,研究人员基于概率模型对评价者的可靠性和偏见进行建模,提出了许多估计主观题作业真实分数的有效技术.然而,现有技术均未同时考虑评价者在待评价作业中的答题表现以及评价者的历史答题表现这两方面因素对其可靠性的影响.鉴于此,提出了基于认知诊断的主观题同行互评技术:首先以评价者的历史答题记录为输入,基于流行的认知诊断模型量化评价者对主观题作业的掌握程度;其后同时基于评价者对主观题作业的掌握程度以及评价者在该主观题作业中取得的真实分数对评价者的可靠性建模;最后结合对评价者偏见的建模提出了估计主观题作业真实分数的同行互评概率模型.真实课堂实验表明,在同行互评活动中,本文提出的同行互评技术对主观题作业真实分数的估计更为准确,比相关技术在真实分数估计误差方面平均降低了42%.

IRT真分数等值和IRT观察分数等值的对比研究

研究采用锚测验非等组设计,对IRT真分数等值和IRT观察分数等值两种方法进行了比较研究。研究数据取自TIMSS2003数据库,首先用BILOG程序得出参数估计和被试能力分布,然后用四种方法对项目参数进行再校准,最后,用PIE程序运行两种IRT等值方法。研究表明,针对研究的等值情境,四种再校准的方法没有显著区别,IRT真分数等值和IRT观察分数等值仅在较低的分数段出现了很小的差别。对样本量的分析表明,IRT观察分数等值的精确性受到样本容量的影响更大。

SYSTAT在语言测试研究中的应用——以TEM4语法词汇题为例

SYSTAT是一款集经典测量理论和项目反应理论为一身的统计软件。文章结合外语测试研究实践——TEM4语法词汇题的项目分析,介绍该软件的常用功能与操作方法,为推动现代信息技术与语言测试的整合提供技术支持。

多维数据IRT真分数等值和IRT观察分数等值研究

实际应用中测验往往具有多维结构,如果仍采用单维方法进行等值,会得到不准确的结果。研究基于随机等组设计下英语测验,使用MCMC方法估计题目参数,将单维IRT真分数等值和观察分数等值方法推广到多维。比较了四种等值方法:单维IRT真分数等值和观察分数等值,多维近似单维IRT真分数等值和观察分数等值。结果显示,当数据符合多维结构时:(1)基于多维测验的IRT真分数等值和观察分数等值方法优于单维IRT真分数等值和IRT观察分数等值方法;(2)多维IRT观察分数等值略优于多维IRT真分数等值,但是两者之间的差异较小。

多项选择题测验信度的一个估计方法及其应用

在多项选择题测验分数等于真实分数和猜测分数之和的假设模型下，本文得到了一个多项选择题测验信度的理论公式，并由此给出了测验信度的估计方法。最后，通过两个例子，说明了本文提出的方法在测验信度分析中的应用。

从真分数假设的缺陷看“四度”分析方法的局限性

对考试质量进行“四度”分析,是人们普遍采用的一种考试质量分析方法。作者通过阐析“四度”分析方法及其理论基石——真分数假设,指出由于真分数假设仅能建立起真分数与人的心理特质之间一种粗略的正向关系,本身存在着严重依赖特定被试组和特定试题组的缺陷,作为真分数假设一种逻辑性展开及统计特性应用的“四度”分析方法,也因此存在着严重依赖特定被试组和特定试题组的局限性,强调人们只有在常模参照考试中才能正确有效地使用它。

影响语言测试信度的主要因素

DavidHarris ,AndrewHarrison ,JohnHeaton等著名的语言测试专家认为信度、效度和可行性是任何语言测试都不可缺少的三大要素 ,其中前两者最为重要 ,而且是密不可分的。一个好的高质量的测试必须同时具有效度和信度。如果只有效度而没有信度 ,效度就会失去意义。

锣鼓经及其传承方式所体现的中国音乐思维方式

锣鼓经是中国打击乐的主要记谱方法,主要通过口传心授的方式进行传承。这种方式方法在书谱、录音、网络、多媒体等各种现代传承方式流行的今天仍然被普遍采用,这与锣鼓经和口传心授所具有的科学性和独特优点分不开。它们生动、形象地反映了中国打击乐的音乐特征、组合方式、演奏方法,与本地语言和民族文化息息相关。本文从锣鼓经及其口传心授传承方式本身的特点出发,分析其所体现的中国音乐思维方式,研究其在音乐记谱、传播、表演、教育等方面所具有的特殊价值。

关于个别指导型CAI课件控制模块理论模型的探讨

为个别指导型CAI课件控制模块的设计、开发提供了一种理论模型 .在CAI课件的控制模块中引入n重Bernoulli分布来估计误差 ,完善了对学习者真实水平的分析 。

真分数模型用于潜变量测评的弊端和效度改进的建议——以顾客满意度测量为例

顾客满意度测量与心理测量不同,与心理测量关注个体差异相比,顾客满意度测量更关注不同顾客反映出对某产品或者服务的共同评价。因顾客在评价产品和服务时会受某些共同的稳定的心理特征(比如城乡差异)的影响,用心理测量中的真分数模型对顾客满意度进行测量会降低测量的效度。通过分解随机误差项的思路对真分数模型进行了修正,给出了具体的操作程序,并通过实证研究对结果进行了验证。顾客满意度测量是潜变量测量的典型代表,修正的真分数模型同样可以运用于企业声誉、团队安全感等其他潜变量的测评。

用信息函数法对标准参照测验作质量分析

根据项目反应理论的信息函数法,以自主开发的“现代教育和心理测量通用分析系统”为工具,对两个大规模实施的标准参照测验进行了测验质量分析。结果说明,信息函数分析法比经典真分数理论分析法,可以获得更丰富、深刻、有针对性的资料,能对项目筛选修订、测验编制开发给出有力的指导,值得大力引进、推广。

关于心理测验理论模式的比较

真分数理论和项目反应理论是心理测验的两大理论模式。真分数理论主要是估计真分数和实得分数之间关系的；项目反应理论是将被试对单个测验项目的某种反应概率与此项目的一定特征联系起来，项目反应理论可以说是在真分数理论基础上的一种发展，但绝不是真分数理论，两者所建立的理论的基本假设不同，并各有其优势与不足。今天的心理测验就是在这两大理论共存的情况下，互相促进、互相补充，并在此基础之上向更合理。

多项选择题测验真实分数的估计方法

本文在多项选择题观察分数Ｚ等于真实分数Ｙ与随机猜测分数Ｘ之和的假设模型下，给出了真实分数Ｙ关于观察分数Ｚ的回归函数，即真实分数Ｙ的最优估计函数。

标准分原理在英语教学考试中的运用

现在考试普遍采用的原始分计分方式存在很多弊端,不能准确客观反映考生在班级中的位置和真实水平。尤其是以选择题为主的英语考试中,这种情况更加严重。标准分的引入能避免原始分存在的诸多弊端,使得考生的英语成绩及各门功课相加所得总分都能客观真实地反映考生在班级中的真实水平和位置。

介入血管腔内治疗孤立性肠系膜上动脉夹层的安全性和疗效

目的观察介入血管腔内治疗孤立性肠系膜上动脉夹层的安全性和疗效。方法纳入该院2018年1月—2020年3月收治的孤立性肠系膜上动脉夹层患者,共计50例,随机分为例数均为25例的观察组与对照组,分别实施介入血管腔内治疗与常规治疗。比较两组患者治疗前后疼痛评分(VAS)、肠系膜病变段真腔受压程度,评估治疗效果及安全性。结果患者VAS评分、肠系膜病变段真腔受压程度等经过治疗均降低,与治疗前比较差异有统计学意义(P<0.05),组间比较观察组各项指标较对照组低,差异有统计学意义(P<0.05);观察组与对照组患者治疗总有效率分别为92.0%、68.0%,差异有统计学意义(P<0.05);两组并发症发生率比较观察组较对照组低(4.0%vs 26.0%),差异有统计学意义(P<0.05)。结论介入血管腔内治疗孤立性肠系膜上动脉夹层,有利于缓解疼痛、减轻肠系膜病变段真腔受压程度,疗效显著、安全性高,值得临床推广。

样例学习用于化学符号技能教学的实践研究——直链烷烃系统命名的学习

以普通高中高一年级学生为研究对象,研究样例学习中采用正误样例学习、提升正误样例变异性对学生测验成绩和认知负荷的影响。实验结果表明:高变异正误样例组的测验总成绩显著高于正确样例组;在近迁移测验中,采用正误样例学习、提高正误样例变异性无法显著提高测验成绩;在远迁移测验中,高变异正误样例组测验成绩显著提升;正误样例学习相比正确样例学习可以有效降低学习认知负荷。建议在化学符号技能教学中采用高变异正误样例学习,可有效提升学生测验成绩;积极采用正误样例学习降低学生认知负荷。

经典真分数理论与语言测试中的误差控制

经典测量理论的基础是真分数理论。经典真分数理论认为观察分数(X)是真分数(T)与误差分数(E)的和,即:X=T+E。但只要有测试就会有误差,要保证语言测试的信度,就必须采取措施减少语言测试中的误差。要提高考试的信度,必须在试题编制、考试实施和试卷评阅这三个主要过程中采取措施,控制与测试无关的因素,尽量减少误差造成的影响。信息技术和网络技术的不断发展为语言测试模式的创新和发展提供了手段,也是控制语言测试误差的有效途径。