语言测试开发与效度验证模式的新进展——评《语言测评实践:现实世界中的测试开发与使用论证》

效度是评判测试开发质量的重要指标。如何检验一项测试的效度,即效度验证模式,是测试研究领域的一个核心议题。60多年来,学界对效度的认识大致经历了“相关即有效”“分类”和“整体”三个时期。其中,“整体”效度观下产生了“基于证据”和“基于论证”两种效度验证模式。《语言测评实践:现实世界中的测试开发与使用论证》一书结合丰富示例,详细阐述了效度论证模式之一——“测试使用论证”(Assessment Use Argument,AUA)框架的构成要素、构建和运用。

语言测试中基于论证的效度验证模式述评

基于论证的效度验证模式是一种规定了收集各种效度证据的先后顺序,可以呈现各证据之间内在联系并对这一过程进行评估的效度验证模式。该模式由解释论证和效度论证两部分组成,依据Toulmin模式对效度进行论证,近年来这一模式的影响力在不断扩大。本文详细介绍了这一模式的具体程序和典型特征,并在将其与效度整体观进行比较后指出该模式遵循了效度整体观的核心理念并使其在指导实践上更具可操作性。最后,文章指出该模式有待进一步验证和完善的地方,旨在为国内效度验证实践提供启示。

基于论证的测试效度验证与高考英语效度验证研究

基于论证的测试效度验证模式正在逐步成为当前效度验证研究的主流。本文介绍了基于论证效度验证模式的三个主要代表框架,即Kane的基于论证的效度验证模式、Bachman和Palmer的测试使用论证模式,以及Chapelle,Enright和Jamieson的基于论证的效度验证模式,并描叙了这些效度验证模式在从考生表现到测试分数解释与使用的推论链上的异同。之后,本文运用Chapelle等人的效度验证模式,为高考英语的效度验证研究构建了解释论证框架,并针对框架中的各个推论提出了相应的研究计划,以期将高考英语效度验证的成果有效地整合为效度论证。

效度验证模式系统整合与效度研究发展策略

现行的经典效度验证模式可以分为证据框架模式、数据论证模式和思辨论证模式三类。它们在构建理论基础、效度内涵主张、证据整合方式方面有较大的差异,有各自的优势和弱点。效度验证研究需要对效度验证模式理论有全面的认识,才能应对不同测试情境所面临的效度研究问题。本研究基于五个经典效度验证模式,整合出包含四层面、一逻辑、两方式的统一效度研究理论体系,用于梳理明晰效度验证思路。区分测试开发者和使用者的效度验证视角与责任,提高效度验证效率,联系相关领域研究共同发展,方能推进效度验证理论和实践研究。

形成性评估的效度验证方法

有效的形成性评估对促进教学具有深远影响。然而,面向学习的形成性评估并不会自动促成学生的进步,形成性评估同样需要效度验证。本文简要介绍形成性评估的效度与效度验证,并着重阐述如何使用基于论证的效度验证框架以验证形成性评估的效度,为形成性评估的研究人员以及一线教师的评估实践提供切实可行的效度验证方法。

基于Toulmin模型的效度论证及其在MHK效度论证中的应用构想

效度之于测验的重要性毋庸赘言。无论是开发还是评估一个测验,效度在其中都处于核心地位。而效度论证与效度又有所不同,它是一个收集和使用证据来对效度进行论证的过程,研究者对效度概念的认识不同,相应的效度论证模式也会有所不同。效度及其论证在经过了长期的发展后,效度的内涵以及效度论证的操作方式也都变得丰富和多样。近年来,基于论证的效度验证模型的提出越来越受到学者们的欢迎,特别是它在效度论证中引入了Toulmin逻辑模型进行论证,在很大程度上克服了效度论证的一些困难。本文将对此做一些详细的介绍,并借鉴该理论为实际应用提出一些建议。

语言测试效度及其验证模式的嬗变

效度向来是评价测试质量的重要标准,语言测试也不例外。语言测试的效度及验证模式几乎完全遵从了教育测量理论的发展。本文以教育测量领域中效度观念的演变为线索,从分类、整体、论证三个视角探讨近60年来效度及其验证模式在语言测试领域的应用与创新,并以测试使用论证(AUA)为例,评析基于论证的效度验证模式的优势与不足。

基于纸笔的语言测试和基于计算机的语言测试之间效度对等性验证模式初探

基于计算机的语言测试的效度可能受到计算机熟悉程度、视听领域认知能力以及其他能力结构差异三方面因素的影响。因此，验证基于计算机的语言测试效度对等性是设计基于计算机的语言测试的一个重要环节。本文通过英语国家概况测试的案例研究，阐释了测量计算机熟悉程度、评估视听领域认知能力影响及验证测试能力结构的三步骤效度对等性验证模式，为构建基于纸笔的语言测试和基于计算机的语言测试之间效度对等性验证模式提供一定的方法借鉴。

语言测试开发与使用的实践指南——《语言测试实践:现实条件下语言测试的开发与使用论证》介述

LyleF．Bachman是美国应用语言学学会和国际语言测试学会前主席，在语言测试领域贡献卓越。他的《语言测试要略》（1990）被誉为语言测试领域的“圣经”。之后，他与Palmer合著的《语言测试实践》（1996）把测试理论与实践结合起来，将效度验证理论融入到测试的设计、开发和使用的整个过程。

整体效度观下语言测试四种效度验证模式:解读、评价与启示

本文旨在理清人们对整体效度观下语言测试四种效度验证模式的争议。首先,分析了整体效度观的核心思想;然后,解读受其影响而诞生的四种效度验证模式;随后,从效度本质、信效度关系、效度证据呈现三方面,对四种模式进行评价;最后,讨论效度模式为验证研究带来的启示。本文认为在四种效度验证模式中,TUM与SCF模式仍停留在分类效度观时期,IUA与AUA模式更符合整体效度观思想,即认为效度是成绩解释与使用合理性程度的属性,信度是效度必要不充分条件,效度证据呈现为"证伪"服务。效度验证模式也提醒从业人员应规范使用效度术语,分清测试利益攸关者责任并打通测试设计与效度验证的壁垒。

基于论证的英语写作思辨能力评价效度研究

英语写作思辨能力评价研究已引起学界广泛关注,但评价的有效性尚待验证。文章通过基于论证的效度验证模式对英语写作思辨能力评价进行效度验证。913名学生参加了测试,两组评分员参与了评分。再以写作能力及思辨能力测试结果为校标进行皮尔逊相关分析,并通过评分员访谈、评分员有声思维、受试答题过程分析等方法收集效度数据。质性和量化数据分析结果为英语写作思辨能力评价提供了评分推论和外推推论环节的效度证据,这对英语教学中的思辨能力培养和评价研究具有启示意义。

语言考试与语言标准对接的效度验证框架

国内外大部分对接研究从程序效度、内部效度、外部效度三个角度探讨语言考试与语言标准对接的效度问题,但目前仍缺乏系统连贯的理论框架指导对接研究。本文基于Bachman & Palmer(2010)的评估使用论证框架,提出以对接使用论证框架作为语言考试对接语言标准的效度验证框架。文章指出,对接研究的效度验证应该从对接后效、对接决策制定、对接结果解释、对接记录等方面收集证据。通过对有益性、价值敏感性、公正性、相关性、充分性、有意义、概推性、公平性、一致性等具体主张的阐述,文章明确了对接研究效度验证所要回答的问题及其研究方法。

语言测试的后效效度:核心地位与评估模式

测试使用的主要目标是实现某种预期后效,测试效度验证的主要任务相应是评估测试在多大程度上实现了预期后效。因此,后效效度应回归效度的核心板块,后效效度验证应是测试项目的系统工作环节。本文从评估视角探讨了三种模式验证语言测试后效效度的可行性,并提出了提高语言测试后效效度的两种途径。

外语形成性评估的效度理论

近年来，外语大规模标准化测试的负面反拔作用促使人们重新认识形成性评估的巨大潜在作用。国外学者围绕课堂形成性评估进行了大量研究，取得了一些成果，但很多问题仍未解决。其中，课堂形成性评估的效度验证问题成为争论的焦点之一。课堂形成性评估能否作为终结性标准化测试的有效补充，在很大程度上取决于课堂评估的质量。因此，构建适用于课堂评估的质量评价体系乃当务之急。本文比较了Brookhart的“课堂计量学理论”、Linn等的“行为评估效度理论”、Lynch和Shaw的“非传统评估效度理论框架”以及Bachman的“基于论证的效度验证框架”，指出Bachman的框架具有坚实的理论基础和较强的操作性。但是，课堂形成性评估的效度研究才刚起步，这些理论框架尚需实证研究的验证，效度验证的具体方法和程序仍有待进一步探索。

基于多面Rasch模型的语用能力量表自评效度研究

自《中国英语能力等级量表》发布以来,已有研究对听力、口语、阅读、口译等众多分量表的效度开展验证研究,但对于语用能力量表的研究却依然停留在框架描述阶段。本研究基于测试使用论证模式,采用多面Rasch模型,从学习者自我评估视角对语用能力量表的效度进行验证研究。结果表明:学习者总体上可以使用语用能力描述语较为准确地评估自身语用能力,且对语用能力量表的现实意义与应用价值持积极态度,但仍有部分学习者认为一些描述语存在能力参数表述不清、关键难度要素缺乏和等级分布不合理的问题。据此本研究对语用能力量表提出改进建议,从而推进语用能力量表的效验研究,并为自评效度的验证提供新的研究思路。

评Kunnan基于道德准则的测试评价模式

"基于道德准则的测试评价模式"是国际语言测试协会前主席Antony John Kunnan教授针对语言测试评价提出的新模式。该模式建立在测试公平框架的基础之上,以Rawls和Sen的道德哲学思想以及Toulmin的论证模型为理论基础,专从公平与正义视角探讨如何进行测试评价。然而,该模式并未明确界定"公平"与"正义"这两个关键概念,且对Rawls、Sen和Toulmin三位哲学家思想的应用可能存在一些疏漏,模式的具体主张和理据与测试公平框架及效度论证模式也存在诸多相似之处,有新瓶装旧酒之嫌。尽管如此,该模式对从业者理清效度与公平的关系、区分测试利益攸关者责任、开展系统性测试评价研究等方面有一定的启示意义。