期刊文献+
共找到20篇文章
< 1 >
每页显示 20 50 100
Inter- and Intra-Rater Reliability of the Australian Spasticity Assessment Scale in Adults with Acquired Brain Injury
1
作者 Anya Calame Barbara J. Singer 《Open Journal of Therapy and Rehabilitation》 2015年第3期77-86,共10页
Objective: This study investigated the inter- and intra-rater reliability of the Australian Spasticity Assessment Scale (ASAS) in adults with unilateral hypertonia following acquired brain injury. The ASAS has been sh... Objective: This study investigated the inter- and intra-rater reliability of the Australian Spasticity Assessment Scale (ASAS) in adults with unilateral hypertonia following acquired brain injury. The ASAS has been shown to be superior to other clinical tools for the assessment of spasticity in children with cerebral palsy but reliability has not been previously examined in adults. Method: Four muscle groups were rated on one occasion by four assessors using the ASAS in sixteen adults with unilateral hypertonia following acquired brain injury. Twelve participants returned one week later for reassessment by the same assessors. Results: Overall inter-rater reliability of the ASAS using a quadratic weighted Kappa was moderate (Kqw 0.58) with ranges from moderate to good (Kqw 0.42 - 0.70). Agreement between raters was greatest for soleus muscle and least for wrist flexors. Overall intra-rater reliability of each of the four raters was moderate to good (Kqw 0.48 - 0.79). Agreement within raters was greatest for soleus muscle and least for biceps muscle. Conclusions: The ASAS may represent an appropriate alternative to the clinical scales currently used to assess spasticity;however inter and intra-rater reliability data from this investigation are lower than those which have previously been reported by experienced users of the ASAS in children with cerebral palsy. Further investigation with a larger sample size is warranted before any firm conclusions may be drawn about the reliability and validity of this tool to assess spasticity in adults with acquired brain injury. 展开更多
关键词 Adult Measurement SPASTICITY AUSTRALIAN SPASTICITY Assessment Scale inter-rater reliability Intra-rater reliability
下载PDF
Myoton-3肌肉检测仪在健康成人肌张力测量中的评价者间信度 被引量:15
2
作者 温红梅 兰月 +2 位作者 窦祖林 陈丽晨 洪文侠 《中国康复理论与实践》 CSCD 北大核心 2013年第11期1058-1060,共3页
目的:检验Myoton-3肌肉检测仪用于健康成人肌张力定量测量的评价者间信度。方法两名经过培训的测评人员分别使用Myoton-3对20名健康志愿者双侧肱二头肌、桡侧腕屈肌肌张力在24 h内进行测试:采用三次扫描和十次扫描模式,测得的肌肉放... 目的:检验Myoton-3肌肉检测仪用于健康成人肌张力定量测量的评价者间信度。方法两名经过培训的测评人员分别使用Myoton-3对20名健康志愿者双侧肱二头肌、桡侧腕屈肌肌张力在24 h内进行测试:采用三次扫描和十次扫描模式,测得的肌肉放松状态下阻尼振动频率(F值)。计算组内相关系数(ICC),进行Bland-Altman分析。结果两名测试者间三次扫描模式所得F值的ICC为0.72~0.88,十次扫描模式测得F值的ICC为0.79~0.89。Bland-Altman分析显示,测试者间的一致性满足临床需要。结论 Myoton-3在健康成人上肢肌张力测量中具有良好的评价者间信度。 展开更多
关键词 Myoton-3 肌张力 评价者间信度
下载PDF
再议论文同行评议的可靠性——来自元分析的新证据
3
作者 王勇臻 《科技管理研究》 CSSCI 2024年第14期224-233,共10页
论文同行评议的可靠性是科学界长期探讨却又悬而未决的议题。对此,选取目前广泛使用的两种评价者间信度指标,即组内相关系数(ICC)和卡帕系数(κ)来测度论文同行评议的可靠性,并通过元分析方法针对49项发表自1974至2022年间有关论文对同... 论文同行评议的可靠性是科学界长期探讨却又悬而未决的议题。对此,选取目前广泛使用的两种评价者间信度指标,即组内相关系数(ICC)和卡帕系数(κ)来测度论文同行评议的可靠性,并通过元分析方法针对49项发表自1974至2022年间有关论文对同行评议场景下评价者间信度的实证研究进行量化归纳,继而开展亚组分析以考察情境和程序两大类共10种因素对论文同行评议可靠性的影响及其测度指标差异,以期拓展对论文同行评议质量的认识与理解。研究结果显示:论文同行评议的可靠性总体上不甚理想(ICC=0.3611,κ=0.1947);此外,论文同行评议的可靠性受评价对象、学科门类和录用难度(3种情境因素)以及盲法形式(单一程序因素)影响显著,而且当使用不同的测度指标对论文同行评议场景下的评价者间信度加以计量时,同一种因素所表现出来的影响模式可能大相径庭。 展开更多
关键词 同行评议 论文同行评议 可靠性 评价者间信度 元分析
下载PDF
表现性评价中评分者信度估计方法的比较研究——从相关法、百分比法到概化理论 被引量:45
4
作者 孙晓敏 张厚粲 《心理科学》 CSSCI CSCD 北大核心 2005年第3期646-649,共4页
随着素质教育的推进,表现性评价受到越来越多的重视。影响表现性评价结果信度的一个重要因素是评分者之间的不一致。文章使用模拟数据,在对比评分者一致性的相关法、一致性百分比法和概化系数等各种估计方法的基础上,提出概化理论在表... 随着素质教育的推进,表现性评价受到越来越多的重视。影响表现性评价结果信度的一个重要因素是评分者之间的不一致。文章使用模拟数据,在对比评分者一致性的相关法、一致性百分比法和概化系数等各种估计方法的基础上,提出概化理论在表现性评价中评分者信度问题上的应用是理论和实践发展的有益方向。 展开更多
关键词 表现性评价 评分者信度 估计方法 概化理论 百分比法 相关法 素质教育 重要因素 评价结果 实践发展 一致性 不一致
下载PDF
两种步态量表在脑卒中偏瘫步行评定中的评测者间信度 被引量:9
5
作者 胡楠 卢茜 +2 位作者 李军 邓思宇 毕胜 《中国康复理论与实践》 CSCD 北大核心 2015年第5期549-551,共3页
目的:研究威斯康辛步态量表(WGS)、异常步态分级量表(GARS)在脑卒中异常步态评价中的评测者间信度。方法2名物理治疗师对20例脑卒中后偏瘫患者前、后、左、右方向上的步行视频根据WGS、GARS进行评价。采用等级间相关系数(ICC)评... 目的:研究威斯康辛步态量表(WGS)、异常步态分级量表(GARS)在脑卒中异常步态评价中的评测者间信度。方法2名物理治疗师对20例脑卒中后偏瘫患者前、后、左、右方向上的步行视频根据WGS、GARS进行评价。采用等级间相关系数(ICC)评价WGS和GARS的评测者间信度。结果 WGS评测者间信度ICC=0.327~1, GARS评测者间信度ICC=0~0.875。结论WGS具有较好的评测者间信度,较GARS更适用于脑卒中偏瘫患者的步态评定。 展开更多
关键词 脑卒中 步态 威斯康辛步态量表 异常步态分级量表 评测者间信度
下载PDF
大规模开放在线学习学生互评效果实证研究 被引量:34
6
作者 罗恒 左明章 安东尼.鲁宾逊 《开放教育研究》 CSSCI 北大核心 2017年第1期75-83,共9页
学生互评能够有效弥补教师评阅和机器评分的局限,是适用于大规模开放在线学习情境的重要评价模式。然而,现阶段对在线互评模式的准确性和有效性尚缺少基于实证的系统研究。基于此,本文通过对一门大规模开放在线课程(MOOC)的学生互评、... 学生互评能够有效弥补教师评阅和机器评分的局限,是适用于大规模开放在线学习情境的重要评价模式。然而,现阶段对在线互评模式的准确性和有效性尚缺少基于实证的系统研究。基于此,本文通过对一门大规模开放在线课程(MOOC)的学生互评、自评和教师评分等数据的比较,得出在线互评模式的信度、效度、影响因素和学生认可度等初步结论。研究结果表明,尽管互评模式的评分者间信度并不理想,但综合考量多个评分结果的前提下,该模式能够为在线学习者提供较为一致可靠的最终得分。学生互评结果和教师评分结果的相关性系数高达0.619表明,该模式同时具有较好的聚合效度。此外,对课后问卷的统计分析表明,在线学习者对互评模式总体持积极态度,认可互评活动对反馈获得、课程投入和高阶思维培养等的有益影响。这些发现和结论对完善和改进面向大规模开放在线学习的评价模式有一定的指导意义。 展开更多
关键词 学生互评 评分者间信度 聚合效度 大规模开放在线学习
下载PDF
功能动作筛查中评分者间信度的实证研究 被引量:8
7
作者 吴华 阮辉 张新定 《成都体育学院学报》 CSSCI 北大核心 2016年第6期99-102,共4页
目的:功能动作筛查(FMS)目前已得到广泛认可,但其评分者信度存在争议。为了拓展其应用范围,本文对FMS评分者间的信度进行实证研究。方法:所取样本为高水平运动队男女篮、排球运动员37人,研究对象为专业评分者6人。6名评分者按照FMS评价... 目的:功能动作筛查(FMS)目前已得到广泛认可,但其评分者信度存在争议。为了拓展其应用范围,本文对FMS评分者间的信度进行实证研究。方法:所取样本为高水平运动队男女篮、排球运动员37人,研究对象为专业评分者6人。6名评分者按照FMS评价细则对被试运动员分别进行FMS评分,然后将每个评分者评定的各项分值,运用统计方法分析评分者信度。结果:(1)FMS中控体俯撑、肩部灵活性、深蹲、直膝抬腿、体旋5个项目,评分者间评分具有较高的关联性(W值0.723-0.904)和一致性(0.6<k≤1);(2)前后分腿蹲和过栏架步2项,相关性(W值0.380-0.570)与一致性(k<0.2)偏弱,但无显著性差异。结论:FMS的总体评分者间信度良好。 展开更多
关键词 功能动作筛查 评分者间信度 实证研究
下载PDF
MyotonPRO在脑卒中患者肌张力检测中的信度研究 被引量:2
8
作者 彭源 郑嘉璇 +3 位作者 张瑾 张顺喜 陈钰杰 兰月 《康复学报》 2018年第5期10-14,20,共6页
目的:评估在B超引导下运用数字化肌肉评估系统MyotonPRO定量检测脑卒中患者的上肢肌肉张力、弹性和硬度等参数的评价者间信度。方法:经过培训的康复医师A(评定者A)和康复治疗师B(评定者B)分别使用MyotonPRO在B超引导下对28名脑卒中患者... 目的:评估在B超引导下运用数字化肌肉评估系统MyotonPRO定量检测脑卒中患者的上肢肌肉张力、弹性和硬度等参数的评价者间信度。方法:经过培训的康复医师A(评定者A)和康复治疗师B(评定者B)分别使用MyotonPRO在B超引导下对28名脑卒中患者患侧肱二头肌、桡侧腕屈肌的肌肉张力、弹性和硬度进行检测。记录用10次扫描模式所测得的肌肉阻尼振荡频率(F值)、对数衰减值(D值)及动态硬度(S值)。通过SPSS进行分析组内相关系数(ICC),计算相应的标准测量误差(SEM,SEM%)和最小可测变化值(MDC90,MDC90%),并用Bland-Altman分析绘制Bland-Altman图。结果:肱二头肌、桡侧腕屈肌的F值、D值和S值在评定者A、B间的重测信度相关系数ICC均>0.9,SEM和MDC90显示出小的测量误差(SEM%<10%,MDC90%<25%)。Bland-Altman分析结果显示,肱二头肌、桡侧腕屈肌F值、D值和S值在评定者A、B间的重测一致性佳,符合临床检测需求。结论:在B超引导下数字化肌肉评估系统MyotonPRO对脑卒中患者的上肢肌肉张力、弹性和硬度评估具有极佳的评价者间信度。 展开更多
关键词 脑卒中 MyotonPRO 肌张力 评定者间信度
下载PDF
TOEFL iBT模式的价值及对我国大规模外语水平测试的可参照性 被引量:2
9
作者 薛宁地 《重庆交通大学学报(社会科学版)》 2010年第2期131-133,共3页
TOEFL iBT的构念效度高于旧TOEFL,原因有三方面:测试内容更全面;改变了分立地测试语言能力的方法;测试了考生是否具有根据不同情景使用合适的语言的能力。TOEFL iBT测试模式的价值主要体现在其较高的构念效度。评分者间信度是我国大规... TOEFL iBT的构念效度高于旧TOEFL,原因有三方面:测试内容更全面;改变了分立地测试语言能力的方法;测试了考生是否具有根据不同情景使用合适的语言的能力。TOEFL iBT测试模式的价值主要体现在其较高的构念效度。评分者间信度是我国大规模外语水平测试参照TOEFL iBT模式的障碍。我国的CET4和CET6应尽量参照TOEFL iBT模式,但主观题所占分值比例宜控制在30%左右。 展开更多
关键词 托福 测试 构念效度 评分者间信度
下载PDF
普通话水平测试评分信度调查分析
10
作者 王彩豫 《汉语学报》 2005年第4期52-57,共6页
本文旨在考察普通话水平测试的评分信度。笔者在抽样基础上,从考察测试员间的评分情况入手,对测试员的测评结果进行对比分析。结果显示:现行普通话水平测试评分信度较高,大多数测试员能够比较准确地把握测试标准、评定应试人普通话的水... 本文旨在考察普通话水平测试的评分信度。笔者在抽样基础上,从考察测试员间的评分情况入手,对测试员的测评结果进行对比分析。结果显示:现行普通话水平测试评分信度较高,大多数测试员能够比较准确地把握测试标准、评定应试人普通话的水平等级;在调查中也发现了一些制约普通话水平测试评分信度的主、客观因素。本文的研究结果对现行普通话水平测试的开展及其研究都有一定的价值。 展开更多
关键词 普通话水平测试 评分信度 评分者间的评分信度
下载PDF
面试中的评分者贡献度指数及其应用
11
作者 杨志明 王雯 +1 位作者 丁港 徐庆树 《教育测量与评价》 2021年第10期3-7,共5页
面试是过程评价和综合评价特别是高水平大学选拔拔尖创新人才的重要手段。但目前常用的面试质量评价方法,如评分者信度或概化系数估计方法,并不能快捷评估每个评分者的工作表现,影响了面试的质量。借助经典测验理论和概化理论,通过逐一... 面试是过程评价和综合评价特别是高水平大学选拔拔尖创新人才的重要手段。但目前常用的面试质量评价方法,如评分者信度或概化系数估计方法,并不能快捷评估每个评分者的工作表现,影响了面试的质量。借助经典测验理论和概化理论,通过逐一核查各评分者评分信息缺失条件下的信度估计值变化情况,构造了一个评分者贡献度指数,并举例展示其使用方法和注意事项,为实时监控评分者的表现、保障和提高面试质量提供了新的方法。 展开更多
关键词 面试 评分者信度 评分者贡献度 教育评价
下载PDF
非人工气道老年患者痰液潴留判定标准准确性的评价 被引量:5
12
作者 刘雪娇 郭桂芳 +1 位作者 李湘萍 张会芝 《中国护理管理》 CSCD 北大核心 2018年第10期1321-1326,共6页
目的 :对非人工气道老年患者痰液潴留的判定标准进行评定者间一致性和诊断准确性评价。方法 :评定者间一致性由两名评定者同时依据该判定标准对20名患者进行了76例次测评,计算每项指征评估结果的一致率,并进行Kappa分析;准确性评价由研... 目的 :对非人工气道老年患者痰液潴留的判定标准进行评定者间一致性和诊断准确性评价。方法 :评定者间一致性由两名评定者同时依据该判定标准对20名患者进行了76例次测评,计算每项指征评估结果的一致率,并进行Kappa分析;准确性评价由研究者在责任护士对患者实施助排痰措施前根据判定标准对58名患者进行了361例次的测评;参照标准为助排痰后患者排出痰液为阳性、未排出痰液为阴性,计算痰液潴留判定标准的灵敏度、特异度等。结果 :两名评定者对非人工气道老年患者痰液潴留判定标准中每项指征评估结果的一致率均大于85%,Kappa值为0.79。该判定标准的灵敏度为80.51%,特异度为91.57%,优势比为44.86,Youden指数为0.72,阳性似然比为9.55,阴性似然比为0.21,ROC曲线下面积为0.86。结论 :经初步临床评价,非人工气道老年患者痰液潴留的判定标准显示出了较好的评定者间信度和准确性,有较好的临床适用性,可以为临床工作人员判断痰液潴留提供参考。 展开更多
关键词 痰液潴留 判定标准 评定者间信度 灵敏度 特异度
下载PDF
配对测试形式中的大学生英语口语能力构念研究
13
作者 栾岚 朱戈勋 朱婷 《高教学刊》 2018年第23期77-79,共3页
本研究的主要目的是调查在配对测试形式中的大学生英语口语能力的结构效度。共100位学生参与了此次研究,学生自由组合两人一组完成一个口语任务,学生的口语表现由两个独立的打分者分别针对其口语的准确性、流利性、词汇选择和话轮转换... 本研究的主要目的是调查在配对测试形式中的大学生英语口语能力的结构效度。共100位学生参与了此次研究,学生自由组合两人一组完成一个口语任务,学生的口语表现由两个独立的打分者分别针对其口语的准确性、流利性、词汇选择和话轮转换四个方面进行打分,满分为6分。通过皮尔森积差相关性和克隆巴赫的系数分析显示两位打分者给出的分数具有很高的信度。同时,为了检测大学生英语口语能力的构念,本研究还采用了探索性和验证性的因素分析方法。最后,研究得出的模型的良好拟合指数证明大学生的英语口语能力应由以下4个方面构成:准确性、流利性、词汇选择和话轮转换。 展开更多
关键词 结构效度 评分员之间的信度 英语口语能力 配对测试
下载PDF
评价量规设计对慕课同伴互评有效性的影响研究 被引量:26
14
作者 范逸洲 冯菲 +1 位作者 刘玉 汪琼 《电化教育研究》 CSSCI 北大核心 2018年第11期45-51,共7页
同伴互评是MOOC常采用的学员作业评价方法,但是MOOC同伴互评的准确性和可靠性因学员知识水平程度差异过大而被质疑。为了研究如何通过改进评价量规来提高同伴互评的可靠性和准确性,在教师培训类MOOC"翻转课堂教学法"的两期教... 同伴互评是MOOC常采用的学员作业评价方法,但是MOOC同伴互评的准确性和可靠性因学员知识水平程度差异过大而被质疑。为了研究如何通过改进评价量规来提高同伴互评的可靠性和准确性,在教师培训类MOOC"翻转课堂教学法"的两期教学中,我们进行了若干设计研究。研究发现,在教学培训类MOOC的同伴互评活动中,学生评分和教师评分高度相关。细化评分量规的等级描述,以及采用是非选择型的评价量规都能显著提高评分者间信度和评分效度,且评分者间信度与评分效度的差异度与学生所提交作业文档本身的质量也有关系。在研究发现的基础上,文章提出了MOOC同伴互评评价量规的设计原则和使用建议。 展开更多
关键词 同伴互评 评价量规 设计研究 评分者间信度 评分效度 量规设计原则
下载PDF
Application of drug-induced sleep endoscopy in patients treated with upper airway stimulation therapy
15
作者 Adrian A.Ong Christopher M.Ayers +4 位作者 Eric J.Kezirian B.Tucker Woodson Nico de Vries Shaun A.Nguyen M.Boyd Gillespie 《World Journal of Otorhinolaryngology-Head and Neck Surgery》 2017年第2期92-96,共5页
Objective:To determine the level of agreement among experienced operators of candidacy for upper airway stimulation (UAS) based on evaluation of drug-induced sleep endoscopy (DISE).Methods:The trial was designed as a ... Objective:To determine the level of agreement among experienced operators of candidacy for upper airway stimulation (UAS) based on evaluation of drug-induced sleep endoscopy (DISE).Methods:The trial was designed as a single-blinded cross-sectional study.Four otolaryngologists with extensive DISE experience were given 63 video clips from the STAR trial video library.These videos were graded using the VOTE classification.Percentage agreement and Cohen's k (for inter-rater reliability) were calculated between pairs of reviewers,assessing palatal complete concentric collapse (CCC) and determining UAS eligibility.Subjects were also grouped based on collapse severity for each reviewer.Results:The reviewers had excellent (approximately 90%) agreement on findings at the level of the soft palate and tongue base.The inter-rater reliability for palatal CCC ranged from mod erate to substantial The agreement on determining the criteria for UAS implantation ranged from poor to moderate.All 4 upper airway structures as classified by the criteria of the VOTE were graded by all the reviewers as contributing to obstruction in a majority of subjects who were performed via application of DISE.Conclusion:Application of DISE remains a subjective examination,even among those experienced operators,therefore more studies need to be performed for evaluation of improvement in inter-rater reliability after implantation of training videos. 展开更多
关键词 DRUG-INDUCED SLEEP ENDOSCOPY DRUG-INDUCED SEDATION ENDOSCOPY Upper airway STIMULATION Sleep-disordered breathing Obstructive SLEEP apnea inter-rater reliability
原文传递
整体评分与分项评分的再思考——二语语音能力评测方法 被引量:3
16
作者 陈桦 程欣 张燕 《外语电化教学》 CSSCI 北大核心 2020年第5期58-64,9,共8页
"整体评分"和"分项评分"是语言评测中常见的评分方式,而评分方式的选择会直接影响评分信度。该研究首先通过回顾和对比国内外英语作为二语/外语的标准化口试中的语音评分标准及描述语,分析其蕴含的评分方式,然后结... "整体评分"和"分项评分"是语言评测中常见的评分方式,而评分方式的选择会直接影响评分信度。该研究首先通过回顾和对比国内外英语作为二语/外语的标准化口试中的语音评分标准及描述语,分析其蕴含的评分方式,然后结合对评分员的问卷调查和访谈,以及国内外评分员语音评分的统计分析,探究我国英语标准化考试中应采用的评分方式和评分员应具备的素养。研究发现,国外口试语音部分的评分标准属于"整体+分项评分",国内口试语音部分的评分标准属于"整体评分",但两者均在不同程度上需要依赖评分员的语音知识和主观判断进行评分;评分员在"整体评分"中,因评分构念差异大,致使评分员间信度弱,而"分项评分"中评分员间信度及内部一致性均显著提升。据此,该研究提出我国英语口试中的语音评分应采用"分项评分"或具化描述语,引导评分员提高评测客观性和针对性。 展开更多
关键词 二语/外语语音评测 整体评分 分项评分 评分信度
原文传递
文件筐测验中评分者信度的误差分析 被引量:1
17
作者 徐蕊 宋华淼 +3 位作者 苗丹民 杨秋莉 胡炜 靳文明 《中国行为医学科学》 CSCD 2008年第12期1133-1134,共2页
目的探讨文件筐测验中评分者信度的影响因素。方法培训程度不同的2组评分者采用2种方法对代表2个复杂程度不同的能力试题评分,运用概化理论分析评分者信度差异。结果复杂能力用分析法较好(p、r、pr变异分量估计值为0.743,0.014,0... 目的探讨文件筐测验中评分者信度的影响因素。方法培训程度不同的2组评分者采用2种方法对代表2个复杂程度不同的能力试题评分,运用概化理论分析评分者信度差异。结果复杂能力用分析法较好(p、r、pr变异分量估计值为0.743,0.014,0.395);用分析法评价复杂能力时,低培训组的评分(Ep25=0.8519,Ф5=0.8519)最接近高培训组的评分(E025=0.9039,Ф5:0.9010)。结论方法因素与评估内容的交互作用对评分者信度有影响。 展开更多
关键词 评分者信度 影响因素 概化理论
原文传递
基于电子档案袋测评的评分者间信度分析报告 被引量:1
18
作者 林莉兰 《西安外国语大学学报》 CSSCI 北大核心 2021年第4期67-72,共6页
本研究旨在评估一项电子档案袋测评实验的评分者间信度,分析评分差异的可能原因。从样本框按学号抽取85名学生的档案袋(28.3%)。8位评分者分成5组(每组2人,1名任课教师,1名外部评分者),根据量规对旨在反映学生反思能力和自我测评能力的... 本研究旨在评估一项电子档案袋测评实验的评分者间信度,分析评分差异的可能原因。从样本框按学号抽取85名学生的档案袋(28.3%)。8位评分者分成5组(每组2人,1名任课教师,1名外部评分者),根据量规对旨在反映学生反思能力和自我测评能力的两指标进行独立评分。分别用Cohen的kappa系数、PABAK指数、Spearman秩相关系数、配对样本t检验和效应量对两个评分者的一致性、相关性和差异性进行估计。结果表明:1)10组评分中,7组kappa值达到中等以上一致,9组修正kappa-PABAK值达到中等以上一致;2) 10组评分均达到中等到极强相关程度;3)任务类型和任务呈现方式、评分者角色以及对量规的理解一定程度上造成了评分偏差。本文针对研究结果讨论了对未来档案袋测评设计的启示。 展开更多
关键词 电子档案袋测评 评分者间信度 一致性 相关性 差异
原文传递
招生选才过程中不同甄审项目的实质影响力
19
作者 詹志禹 许嘉家 《中国高等教育评论》 2010年第1期272-288,共17页
学校机关进行招生选才时,甄审项目经常包含客观笔试及主观评审(如口试、书面数据审查等),并且会在招生简章中明白公布其不同的占分比例,但这些占分比例往往只是假象,实际上常观察到客观笔试的实质影响力较大,主观评审的决定力较低,原因... 学校机关进行招生选才时,甄审项目经常包含客观笔试及主观评审(如口试、书面数据审查等),并且会在招生简章中明白公布其不同的占分比例,但这些占分比例往往只是假象,实际上常观察到客观笔试的实质影响力较大,主观评审的决定力较低,原因包括评审委员之间没有共识、评审委员自限给分范围、口试委员所提问题无区辨力、笔试委员刻意拉开分数距离等。因此,将客观笔试及主观评审项目依公布的占分比例加总后,笔试的实质影响力往往高于公布的占分比例,反之,主观评审项目的实质影响力则缩减。本研究以计算机仿真方式实验前述现象。实验结果发现:主观评审项目对总成绩的实质影响力,的确大部分低于预设的占分比例,此一现象,随着评审评分范围的缩小及评审共识程度的降低而更趋严重,最严重的状况例如:评审评分范围限于70-90分且缺乏共识、存有矛盾时,纵然在总成绩当中设定为应占70%,但实际上最后真正的影响力约只有7%,其余都是笔试的影响力。反过来说,主观评审项目的实质影响力,只有当评分范围拥有0-100分的自由范围且评审间具有高度共识时,其实质影响力才可能达到设定值。此外,本研究也选取台湾北区一所大学九个学系在2009年的大学甄选分数为真实数据进行分析,发现'主观或客观评量'不是关键,例如一向被认为客观的'学科能力测验'(学测),因分数截断(进入第二阶段甄试的门槛)而影响力缩小,但各学系自订的指定科目笔试,影响力果然高于预期,甚至高于公告值的2-3倍以上。面试成绩影响力则有时高于有时低于公告值,但影响力皆相对大于学测。追究这些现象的原因,发现都和该项成绩分布范围有关,甄审项目的区辨力才是关键。本研究的结果可提供招生选才机构思考评分机制、计分程序及选才效果等问题,并提供外界判断各种甄选项目的实质影响力。 展开更多
关键词 高等教育 招生 甄选 评分 计算机仿真 评分者间共识
原文传递
大学英语口语考试评分信度研究——以北外保送生口语考试为例
20
作者 李莉文 徐建 《中国ESP研究》 2020年第2期71-79,95,共10页
本文以北外保送生招生英语口语考试及其改革为背景,考查考生在两个口语任务中的总体表现,并通过每个考场中两位考官对考生每个任务的评分计算斯皮尔曼相关系数研究考官间的评分信度。研究结果显示,考生英语水平普遍较高,绝大多数考场中... 本文以北外保送生招生英语口语考试及其改革为背景,考查考生在两个口语任务中的总体表现,并通过每个考场中两位考官对考生每个任务的评分计算斯皮尔曼相关系数研究考官间的评分信度。研究结果显示,考生英语水平普遍较高,绝大多数考场中考官之间具有较高的评分信度。本研究结论对后续考试中的考官培训具有重要指导意义,为今后ESP教学提供数据参考。 展开更多
关键词 英语口语考试 评分信度 保送生
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部