摘要
本研究以概要写作评分量表为例,采用定量、定性相结合的融合型研究范式,运用多层面Rasch模型分析63名学生的概要写作得分,并结合七名评分员在使用量表过程中的有声思维和评分后的半结构式访谈回溯评分过程,探查评分量表在使用过程中的质量和作用,从而对该评分量表进行效度验证。结果表明:在评分过程中,评分量表能顺利引导评分员较好地把握评分宽严度和一致性。评分量表的描述语清晰准确,评分维度完整,有助于评分过程的顺利进行,但部分维度的分值权重应适当调整,评分员在各级别内部分值的选择上比较困难,需有针对性地改进评分量表。本研究对各类英语写作评分量表的效度验证具有一定的借鉴意义。
The present study adopts an integrated research pattern involving quantitative and qualitative methods to validate a rating scale for summary writing,and analyzes 63 students’scores of summary writing and results of think-aloud protocols and semi-structured interviews,using respectively Many-facet Rasch Model and text analysis in order to investigate the quality and effects of the rating scale in rating process.Results indicate that the rating scale can lead raters to score with appropriate leniency and rater agreement.The rating scale has clear and accurate descriptors as well as complete dimensions,which guarantee the smoothness of the rating process.The weighting,however,should be further adjusted.Raters has difficulty in discriminating scores within one level across all dimensions,indicating some changes accordingly.The study provides reference for the validation of other rating scales in English writing.
作者
吴雪峰
肖杨田
WU Xuefeng;XIAO Yangtian
出处
《外国语文》
北大核心
2020年第5期150-159,共10页
Foreign Languages and Literature
基金
教育部人文社会科学研究青年基金项目“基于中国英语能力等级量表的大学英语写作促学评价机制研究”(19YJC740091)
云南省教育厅科学研究基金教师类项目“促学评价下云南省高校外语教师课堂测评素养构念研究”(2019J0752)
江苏省教育科学“十三五”规划重点课题“汉语结构迁移对高中生英语写作能力的影响——基于语料库的汉族和哈萨克族学生比较研究”(JS/2018/ZX0211-00565)的阶段性成果。
关键词
评分量表
效度验证
过程导向
概要写作
rating scale
validation
process-oriented
summary writing