E-Rater写作自动批改系统研究与教学指导意义

本文研究了托福写作中E-Rater (Electronic Essay Rater)自动评分引擎的评分原理,采用了4378篇真实学生作文进行数据分析,主要探讨了以下几个评分维度:1) 作文的语言准确度,2) 作文的组织结构与展开,3) 词汇的话题匹配度,4) 作文字数,5) 作文格式。通过具体的学生作文与数据,本文梳理了中国学生在托福写作学习中常出现的问题以及对应的解决方法,从而对教学研发内容和教学实践提出相关建议。

E-rater和句酷的对比研究及对提高大学生英语作文水平的启示

本文主要介绍目前在中美两国的英语教学和大规模考试中最为流行和常用的作文自动评分系统E-rater和句酷的基本工作原理,并探讨了其优缺点,旨在通过本研究对提高中国高校非英语专业大学生的英语作文水平提供一些参考。

对GRE写作自动化评分器e-rater评分准确性的实证研究

本研究通过分析ETS推出的ScoreItNow!付费评分服务,来探讨ETS研发的自动化阅卷程序e-rater在GRE分析性写作评分上的准确性。研究试图回答以下四个问题:(1) ScoreItNow!打分与实际考试的得分有多大差别;(2) ScoreItNow!是否能够对文章实际内容进行准确判断;(3) 文章字数对ScoreItNow!评分有多大影响;(4) ScoreItNow!作者分析工具给出的反馈是否准确。研究发现ScoreItNow!给出给出的分数和实际考试分数接近。但是,ScoreItNow!无法对文章实际内容进行准确判断。对于字数越多的文章,ScoreItNow!也越倾向于给出更高的分数。ScoreItNow!提供的作者分析工具中给出的反例准确性不令人满意。对于GRE写作教师而言,在教学过程中可以适当强调语言表达的重要性,但同时也要教授实用的写作方法,提高学生的批判性思维的能力。

人、机评分相关性研究综述——基于25篇西方“E-rater”文献的元分析

E-rater已被用于几种大规模、高风险考试。为了整体、客观地认识人、E-rater评分的相关性,本研究基于一种对多个研究定量综合的方法——元分析,通过R软件的meta程序包,对25篇西方文献(含33个研究)进行了综述。发现人、E-rater评分高度相关,满足用于考试实践的要求,但元分析的异质性高。文献类别、受试水平、受试母语、考试类型、评分量表、相关系数算法、文献单位这七个调节变量都会影响人、E-rater评分的相关系数。但各组合的效应量、异质性、95%置信区间都有所不同。元分析存在略微的发表偏倚,但对主要结论的影响不大。

英语论文自动评分系统探索

英语论文自动评分系统是由美国教育测试服务中心利用自然语言处理技术与信息撷取技术研究开发的一种英文在线测评英语写作能力的计算机程序。本文首先介绍了自动评分系统的结构及工作原理,然后探讨了其优点和存在的问题以及在大学英语四、六级考试作文网上阅卷的可行性。

A Brief Introduction to AES

This essay first gives a brief introduction to AES systems and the main approaches employed by AES,then talks about AES'limitations and recent development,and finally discusses the pros and cons on it.By reviewing previous literature,this paper intends to provide a brief picture of AES systems for Chinese researchers,in the hope that they will learn from foreign examples and succeed in building a valid AES system for learners at home.

三种血清肌酐测定方法的评价

目的 :寻找一个简便、特异、准确的检测肌酐的方法。方法 :使用三种方法Jaffe -FIXED、E -RATE、E -PAP进行方法学评价 ,包括准确度、精密度、线性范围、干扰试验、对比试验。结果 :每种方法均有自己的优、缺点 ,相比而言Jaffe -FIXED、E -RATE法更优于E -PAP ,结论 :根据实验室情况 ,使用试剂盒前进行方法学评价并选择方法 ,了解其性能 ,以便克服其缺陷。

毛竹材性差异对胶合竹层板应力分级的影响

通过测试不同杆高部位毛竹竹材的密度、抗弯强度及弹性模量,采用不同杆高部位的竹条制备胶合竹层板,并以抗弯弹性模量为指标对其进行分级,初步研究了不同杆高部位材性的差异对胶合竹层板分级的影响。结果表明,毛竹气干密度从基部至梢部呈现增大趋势,杆高3~9 m处密度增大趋势较缓,气干密度值相近。毛竹抗弯强度及弹性模量从基部至梢部呈现增大趋势,梢部性能最优,其中杆高1~5 m部位竹材性能接近,杆高5~9 m部位性能接近;胶合竹层板E-Rated级别与竹材抗弯强度及弹性模量密切相关,相对应E-Rated级别由低到高大致可分为4级。

情境模拟案例分析法应用研究

以营销人员为目标岗位 ,以四家单位的 30名营销人员为被试 ,进行案例分析测评实验。尝试了运用案例分析法对被试的一些人格素质进行考查 ,运用信度分析、相关分析的方法 ,研究了案例分析测评法对人格素质、知识素质和能力素质测评的评分者信度、效度及实施中需要注意的问题。

EFFECT OF ESSAY-TEST TOPICS ON LANGUAGE OUTPUT

The result of a web-based writing assessment shows inconsistent dispersion of means across different test topics. 101 samples from 404 submitted essays are analyzed for fluency, lexical and syntactic complexity. The study suggests that topics of different discourse modes affect test candidates' language output in both fluency and complexity.

电子软件评估系统测试大学英语写作的研究报告

在外语写作测试领域,由于疲劳因素和不一致性,人工评估成绩在可信度方面存在着不可避免的问题;而计算机测试的新技术--电子软件评估则克服了人工评估的不足,被应用到外语写作测评中.本文概括了安阳工学院外语系英语专业运用电子软件评估系统测试外语写作的实验报告,旨在探讨电子软件评估代替人工评估的可能性,并为外语写作测试研究者提供一个稳定且客观的写作测评工具参考.

基于电子档案袋测评的评分者间信度分析报告

本研究旨在评估一项电子档案袋测评实验的评分者间信度,分析评分差异的可能原因。从样本框按学号抽取85名学生的档案袋(28.3%)。8位评分者分成5组(每组2人,1名任课教师,1名外部评分者),根据量规对旨在反映学生反思能力和自我测评能力的两指标进行独立评分。分别用Cohen的kappa系数、PABAK指数、Spearman秩相关系数、配对样本t检验和效应量对两个评分者的一致性、相关性和差异性进行估计。结果表明:1)10组评分中,7组kappa值达到中等以上一致,9组修正kappa-PABAK值达到中等以上一致;2) 10组评分均达到中等到极强相关程度;3)任务类型和任务呈现方式、评分者角色以及对量规的理解一定程度上造成了评分偏差。本文针对研究结果讨论了对未来档案袋测评设计的启示。

“产出导向法”在EOP中的教学效果分析——以乘务广播词教学为例

“产出导向法”作为注重输出的教学方法,较为契合高职英语(EOP)教学中“学用一体”的教学理念,有必要对其效果及适用性进行探索。本文以民航乘务英语中广播词的教学实践为例,分别采用“产出导向法”和“课文中心法”进行教学,并通过“机器+人工”的方式对学生编写及朗读英文广播词的能力进行分析,对比教学效果。结果显示,“产出导向法”对学生编播能力的培养更具优势,且该方法在教授复杂的教学内容或是面向学习意愿强的学生教学时,效果更好。根据实验结果,我们认为,在实际教学中应结合分层教学等策略,合理使用“产出导向法”,从而获得更好的教学效果。