效度整体观与口译测试

效度整体观把效度看作一个整体,认为效度验证需要收集来自各方面的证据。本文从整体效度观的角度探讨口译测试,包括基于理论的效度、情景效度、评分效度、后果效度和效标关联效度。整体效度观有利于保证口译测试有效性。

整体效度观下语言测试四种效度验证模式:解读、评价与启示

本文旨在理清人们对整体效度观下语言测试四种效度验证模式的争议。首先,分析了整体效度观的核心思想;然后,解读受其影响而诞生的四种效度验证模式;随后,从效度本质、信效度关系、效度证据呈现三方面,对四种模式进行评价;最后,讨论效度模式为验证研究带来的启示。本文认为在四种效度验证模式中,TUM与SCF模式仍停留在分类效度观时期,IUA与AUA模式更符合整体效度观思想,即认为效度是成绩解释与使用合理性程度的属性,信度是效度必要不充分条件,效度证据呈现为"证伪"服务。效度验证模式也提醒从业人员应规范使用效度术语,分清测试利益攸关者责任并打通测试设计与效度验证的壁垒。

基于效度整体观的中国高校CEPT效度研究——以上海理工大学2012年试卷为例

效度整体观把效度看作以构念效度为核心的整体概念,主张效度验证需要收集各个方面的证据。自Samuel Messick 1989年提出效度整体观以来,语言测试界至今仍深受影响,以其为理论指导对各种测试展开效度研究。然而,国内基于效度整体观验证高校大学英语分级测试效度的研究还未有先例。因此,本文以上海理工大学2012年大学英语分级测试试卷(USST CEPT 2012)为例,基于效度整体观从构念效度、内容效度、校标关联效度和后效效度四个角度结合定性分析和定量分析对该测试进行效度检验。研究证明USST CEPT2012具有较高的效度,能够真实地反映受试的英语水平。

基于整体效度观的“汉语桥”客观题效度分析——以第十九届“汉语桥”全球半决赛知识选择题为例

整体效度观理论将效度视作一个整体,通过收集和研究不同方面的证据对一项测试的效度进行综合评定,而《教育与心理测量标准》(2014)则提出了具体的效度证据。以其中的三项效度证据为依据进行测量,可认为第十九届“汉语桥”世界大学生中文比赛全球半决赛知识选择题的整体效度较高,难度较低,具有较理想的区分度,在性别与地区上无明显偏向,内容与结构设计较为合理。然而,部分题目的考查内容与其他题目有游离,一致性不足,在未来的赛题设计中应予以完善。

语言测试之效度理论发展五十年

自20世纪60年代以来,语言测试与评估的研究一直围绕效度展开。效度理论在近半个多世纪取得了重大进展,尤其是80年代中期逐渐形成的“效度整体观”颠覆了“效度三分法”的统治,对当代效度研究产生了深远影响。但在我国应用语言学界,效度理论的发展尚未受到充分重视。本文首先梳理教育与心理测量学及语言测试领域中效度理论的演变,然后介绍效度验证的常用方法,最后指出“效度整体观”尚需进一步研究的问题。文章对Messick(1989)效度整体观的“渐进矩阵”模式提出了补充建议。

基于学习者自评的中国英语语用能力量表效度验证

目前学术界对《中国英语能力等级量表》中的语用能力量表效度探究明显不足。本文基于解释/使用论证模式,从学习者自评视角对语用能力量表进行整体效度验证。研究表明,学习者自评成绩与评委评分呈中度正相关。然而,学习者自评的准确度存在不同程度的差异,少数学习者的自评名次与评委评分名次显著偏离,反映出语用能力描述语质量尚存不足,且学习者缺乏相关的文化知识与经历。总体上,评分量表功能符合预期,测试结果支持语用能力量表的整体效度。

论效度理论的发展

效度是测量中的一个重要指标。效度理论发展至今,新兴的"效度整体观"理论在理论层面上趋于统治地位,但传统的"效度多类型"理论在实践上仍然占有相当地位。本文回顾简述了传统的效度概念及验证并重点阐述了效度整体观的理论与效度验证操作中存在的问题。

语言测试效度二十年研究综述

语言测试是语言学研究的一个重要领域,是语言教学的一个重要环节,研究语言测试,对于测试的内容和形式具有重要的指导意义。本文基于研究者们具体对语言测试效度这一具体方面从理论和实证两个方面出发,综合概括近二十年对语言测试效度的研究成果,以期帮助更多研究者或相关领域的学者更好地认识理解语言测试的效度,对将来的教学和科研工作有一定的帮助。

效验理论与实践的接口——解读威尔的社会认知效验框架

效度理论和效度验证是语言测试中的核心问题,其发展主要经历了三个时期,即单一效度观时期、分类效度观时期和整体效度观(Unified Validity)时期。威尔(Weir)基于社会认知理论提出的效验社会认知框架,是对整体效度观的新发展。这个框架包括考生特征、环境效度、基于理论的效度、评分效度、后果效度和效标关联效度等六个方面。考试效度验证的社会认知框架在效度理论和效验实践之间建立了接口,不仅在效度类型和考试过程之间建立了对应关系,而且在效度验证和考生认知过程之间建立了关联,对效度验证具有重要指导意义。

《再论语言测评要略——Lyle F.Bachman纪念文集》评介

1.引言Lyle F.Bachman(1990)的《语言测试要略》是语言测试学领域最具影响力的论著之一,谷歌学术显示该书被引已超过12000次。该书围绕语言测试的开发和使用,探讨了交际语言能力模型、测试方法影响面、整体效度观及效度验证等重要问题,并在Bachman&Palmer(1996,2010)中得到发展,特别是提出了测试有用性框架和评价使用论证(以下简称AUA),影响深远。

基于课程标准的科学建模能力试题开发与检验研究

科学建模能力测评是化学学科核心素养评价改革的重要组成部分。如何基于课程标准对学生科学建模能力进行试题开发和评价是目前化学教育研究者和一线教师所共同关注的研究议题。以整体效度理论为理论基础,采用结构中心设计原则和证据中心设计原则作为设计方法论,构建了基于课程标准的科学建模能力试题开发框架,并以"电离与离子反应"主题中具体评价目标为例,对开发和实施过程中的效度进行全面、系统地呈现和分析。

AUA框架——语言测评理论的新发展

Bachman从哲学方法论的角度入手,将测试有用性模型发展为检验测评结果解释和测评使用合理性的理论——AUA框架。AUA是诠释效度理论的最新发展,是语言测评理论一次质的飞跃。本文对AUA出现的背景及其发展作了一个概略回顾,旨在对语言测评工作者展现可资借鉴的最新理念以及具有革新意义的测评设计、开发和使用方法,从而确保设计和开发的语言测评更具科学性和有用性。