读后续写任务提示条件对写作表现和评分信度的影响

读后续写任务将语言理解和产出紧密结合,通过互动协同促进语言习得,具有积极的促学效果。然而,当读后续写应用于大规模考试,则需要考虑任务设计,在保障考试信效度和发挥积极促学作用之间寻求最佳平衡。本研究聚焦读后续写任务中的提示条件,采用实证研究方法考察不同提示条件如何影响学生的写作表现和评分员的评分信度。结果发现,适度的内容提示能够减轻学习者的认知负担,有助于他们创造内容,产出整体质量更高的续作;同时,适度的内容提示也能帮助评分员更一致地把握内容维度的评分尺度,保障评分信度。研究发现对读后续写命题和评分具有重要的启示意义。

普通话水平测试评分信度调查分析

本文旨在考察普通话水平测试的评分信度。笔者在抽样基础上,从考察测试员间的评分情况入手,对测试员的测评结果进行对比分析。结果显示:现行普通话水平测试评分信度较高,大多数测试员能够比较准确地把握测试标准、评定应试人普通话的水平等级;在调查中也发现了一些制约普通话水平测试评分信度的主、客观因素。本文的研究结果对现行普通话水平测试的开展及其研究都有一定的价值。

关于提高作文评分信度的几点启示

本研究针对如何控制作文评分误差这一问题,采用文献综述的方法,回顾了国内外目前在评分方法、评分量表、评分员培训和自动评分等研究领域所取得的成果以及面临的问题,并进一步围绕如何提高作文评分质量这一焦点,探讨了目前已取得的成果对提高作文评分信度的几点启示。研究指出,提高作文评分信度是一个综合的系统工程,需多管齐下。建议如下:制定一个科学合理、易于掌握、便于操作的评分标准;加强评分员培训管理工作,建立一支稳定,经验丰富、专业能力强的评分员队伍;开发适合中国英语学习者的自动评分系统。

汉语口语测试评分信度探究

汉语口语测试属于主观型测试,最大限度地排除评分的主观性是提高测试信度与效度的关键。该文对汉语口语测试的过程进行了较全面分析,尝试通过革新命题类型来提高汉语口语测试的评分信度,并提出了较具体的实验设想与检验方法。

基于概化理论的评标专家评分信度分析

评标是建筑工程项目招投标的重要环节,评审指标和评标专家是影响各个投标文件得分的两个重要因素。为了能够得到一个更加客观合理的评标结果,引入概化理论,在概化研究阶段将评审指标作为固定侧面,评标专家作为随机侧面,在不同评审指标维度上进行方差分析;在决策研究阶段,通过改变评标专家侧面的样本容量来观察概化系数(类信度系数)的变化趋势,据此确定最佳的专家人数。研究结果表明,在评标中引入概化理论不仅能够分析评分误差的具体来源和大小,还能根据概化系数的变化情况确定最佳的评标专家人员数量,进一步提高评标结果的准确性和科学性,为后续类似项目的评标提供参考。

作文网上评分信度的多面Rasch测量分析

本研究运用多面Rasch测量分析软件FACETS分析了14名有经验的阅卷员在网上和传统方式下批阅20篇作文的评分信度。这些作文从大学英语四、六级考试2002年6月考次上海地区的作文卷中随机抽取。结果显示网上评分信度高于传统评分信度。

研究生招生面试评分信度模型分析

在研究生招生面试中,考官评分是否客观、公正,是决定面试结果是否公平、合理的最主要因素。通过采用肯德尔和谐系数W值和方差差异性分析方法对某高校2008年教育经济与管理专业研究生面试的考官评分信度进行分析,总体上来说,考官的评分具有较高的一致性,但考官的面试技能、考生的面试表现以及评分的维度对考官的评分一致性有不同程度的影响。

概化理论下英语翻译测试评分者的信度研究

使用概化理论作为分析框架,请20位评分者对11位大学生每人2次翻译测试进行整体评分,通过一系列的概化(G)和决策(D)研究,以检验不同背景评分者的翻译测试的有效性和可靠性问题。实验研究的结果表明,与有培训背景的评分者相比,没有培训背景的评估者对评分标准把握不一致,对翻译评分存在较大差异。同时还发现,当前翻译测试主要靠评分者的经验来兑现将无法产生可接受可靠性系数,对评分者进行系统培训可以提高翻译测试信度。

一种融合用户评分可信度和相似度的协同过滤算法

传统基于信任的推荐算法容易受用户之间评分偏好差异的影响,尤其在存在评分欺骗数据的情况下,算法的准确性波动很大.针对这些问题,本文提出了新的融合用户评分可信度和相似度的推荐算法,该算法将用户评分准确度、认可度和评分数量权重因子相结合,分析了这些因素对用户评分可信度的影响,建立起可信度跟这三者之间的计算关系.本文进行了无欺骗数据存在和有欺骗数据存在的两类对比实验.实验结果表明,在无欺骗数据时该算法提高了推荐准确性,并在有欺骗数据存在的情况下同时提高了系统的准确性和鲁棒性.

评分者信度的分析方法简介及比较

在教育测量理论中,主观性试题的评分误差较大,本文对评判主观性试题评分方法的可信度进行了分析,比较其评分者信度的分析方法的优劣,从而得出不管是经典测量理论还是概化理论,任何一种都不能用其他简单方法代替。

用结构方程建模(SEM)估计概化理论(GT)中的评分者信度

评分者的信度分析 ,已从经典测量理论的方法 (Kendall和谐系数 )发展为基于现代测量理论 (如GT)的方法 ,但由于GT中方差分量估计的工具和途径有限 ,使该方法的推广受到限制。本文介绍了结构方程建模 (SEM )估计GT中方差分量的必要性及原理 ,并通过对某省直国家机关公务员录用考试结构化面试的评分者信度分析 。

表现性评价中评分者信度估计方法的比较研究——从相关法、百分比法到概化理论

随着素质教育的推进,表现性评价受到越来越多的重视。影响表现性评价结果信度的一个重要因素是评分者之间的不一致。文章使用模拟数据,在对比评分者一致性的相关法、一致性百分比法和概化系数等各种估计方法的基础上,提出概化理论在表现性评价中评分者信度问题上的应用是理论和实践发展的有益方向。

功能动作筛查中评分者间信度的实证研究

目的:功能动作筛查(FMS)目前已得到广泛认可,但其评分者信度存在争议。为了拓展其应用范围,本文对FMS评分者间的信度进行实证研究。方法:所取样本为高水平运动队男女篮、排球运动员37人,研究对象为专业评分者6人。6名评分者按照FMS评价细则对被试运动员分别进行FMS评分,然后将每个评分者评定的各项分值,运用统计方法分析评分者信度。结果:(1)FMS中控体俯撑、肩部灵活性、深蹲、直膝抬腿、体旋5个项目,评分者间评分具有较高的关联性(W值0.723-0.904)和一致性(0.6<k≤1);(2)前后分腿蹲和过栏架步2项,相关性(W值0.380-0.570)与一致性(k<0.2)偏弱,但无显著性差异。结论:FMS的总体评分者间信度良好。

基于评分用户可信度的信任模型分析与构建

本文从理论上证明,现有在线信誉系统的信任模型存在忽视评分用户信任度的缺陷,难以激励用户从事持续的诚实交易。针对此问题,本文构建了基于评分用户可信度的信任模型。理论分析表明,该模型可有效弥补现有信任模型的不足。

多评分者多任务情境下评分者信度的模型拟合研究

此研究以网上阅卷环境下多个评分者同时评阅翻译和作文为例,建立多个评分者完成多个任务的结构方程模型,对数据进行拟合,实现评分者信度的量化分析。通过五个结构方程模型比较,选择拟合效果较好的相关任务相关特性模型,计算多评分者多任务的评分者信度,并对同一评分者完成不同任务时评分者信度和同一评分任务下不同评分者的评分信度进行比较,实现对评分效果的评价,从而对评分者的选拔和有针对性培训提供科学支持。

评分员信度的多系列相关分析方法原理及运用

信度是评估所有教育和心理测验以及其他教学评价形式的重要指标。评分员信度是信度的一种类别。评分员信度的评估方法较多,每种方法都有其使用的条件,都有各自的优点和不足。多系列相关方法本质上是两个因素相关方法的扩展,它克服了两因素相关方法不能揭示多因素总体相关程度的缺陷,也克服了α一致性系数由于受到数据的多少和分布特征的影响而高估或低估信度的问题。但是,多系列相关方法虽然能够揭示多评分员之间的一致性程度,却是以牺牲个体评分员之间的关联程度信息为代价的。

档案袋评价中评分者信度的实证研究

档案袋评价因能充分发挥促进学生发展和教学改进的功能而受到青睐,但不佳的测评信度和效度限制了其在教学评价中的应用。本文对档案袋评分者信度的特点进行实证研究,4位评分者对152份档案袋进行了2次等级评分,运用多种统计方法计算评分者信度。结果表明,档案袋的评分有较高的关联性、中等偏弱的一致性和一定的稳定性,对档案袋整体水平的评分信度最高。本研究中,评分者个数为3时,对档案袋整体水平评分的概化系数和可靠性系数都在0.80以上。

不同评分方法下翻译测试评分员间信度的实证研究

中长篇文本翻译测试的评阅,是很多本科翻译专业教师很棘手的问题。本研究采用整体印象法、错误扣分法以及综合评分法进行了为期半年多的评分实测以及评分员跟踪访谈。各项统计数据表明:使用结合分段计点计句法、错误扣分法和分项分析评分法的综合法时,评分员间相关系数较高,且均值和标准差都比较接近,说明评分员之间的内部一致性良好,能保证较高的评分员间信度。

基于评分可信度的协同过滤融合方法

为了解决基于项目和基于用户的推荐结果的融合问题,提出了基于评分可信度的协同过滤融合方法。该方法在推荐对象集合中计算评分数大于平均评分数的对象作为信任子群,在信任子群上计算能够使推荐的平均绝对误差最小的融合参数λ。由计算得到的最优融合参数λ对基于项目和基于用户的推荐结果进行融合,作出推荐。实验结果表明,该算法有效提高了过滤推荐的精准度和可靠性,具有良好的推荐效果。

心血管内科专科医师考试面试评分者信度的概化理论研究

目的:评估心血管内科专科医师考试面试部分的评分者的内部信度。方法:采用概化理论对心血管内科专科医师考试面试部分考生分数进行了方差来源的分解评估。结果:21组考官组的可靠性指数为0.9135。结论:考试整体的评分者信度较高。