How to Design an English Test Paper

It is quite necessary for teachers of English to know the basic knowledge and techniques about how to design good English testpapers. To meet this necessity, this paper first tells of the basic principles and requirements of designing English test papers, then the procedures,and, at last, the characters of some test questions and the techniques when designing them.

基于人工神经网络的C．TEST阅读理解题目难度的预测研究

实用汉语水平认定考试(简称C.TEST)是用来测试母语非汉语的外籍人士在国际环境下社会生活以及日常工作中实际运用汉语能力的考试。由于C.TEST的考试题目公开,题库数量较小,所以通过一般标准化考试采用的在部分目标被试中实施预测(field test)的方法来获取考试题目的难度参数存在困难。然而,人工神经网络技术作为现代人工智能研究的成果,在预测(prediction)领域发挥了很大作用。本文选取C.TEST(A-D级)的阅读理解题目作为研究材料,运用人工神经网络技术对其难度进行预测,得到了网络预测难度值与实际考试难度值显著相关的研究结果。这一结果表明,利用人工神经网络模型对语言测验的题目难度等参数进行预测是可行的。

基于综合难度系数模型的高考数学试题评析——以2021—2023年全国甲卷为例

试题综合难度是评价试题质量的重要指标。基于数学试题综合难度系数模型,从情境、参数、运算水平、推理能力、思维方向、知识含量、认知水平、阅读量8个因素,对2021—2023年高考全国甲卷6套数学试题进行编码统计与分析,结果发现:在情境、参数、思维方向、知识含量4个因素上,6套试题难度一致性较好;在认知水平、推理能力、运算水平和阅读量4个因素上,6套试题难度有所波动;文科卷各难度因素水平整体低于理科卷;高考数学试题对认知水平、运算水平和阅读量提出了较高要求,对思维方向、情境的考查有待进一步加强。建议重视数学思维素养的考查,提升设问的可操作性;适当增加现实情境和科学情境的考查,创新情境呈现方式;重视数学阅读能力的考查,丰富试题结构。

基于IRT若干参数估计方式的比较

在项目反应理论(IRT)框架下,就目前流行的若干能力参数和项目参数的估计方法进行分析比较,阐述了它们各自适用的范围和不足之处,为选用估计方法提供依据.

试题难度的事前认知任务分析

试题的难度常常用试题的通过率来表示,这种事后检验的方法虽然简单易行,其数量指标严格确定,但是对考生水平相当敏感,也不能在试题设计中起到主导作用。本研究根据认知任务分析的基本原则,设计了对试题难度进行事前评定的框架和严格的实施程序,并以高等数学试题为分析对象进行了检验。根据数学试题的特点,设定了要素数量、要素辨识难度、原理数量、原理辨识难度和认知负荷等指标。结果显示,各试题事前难度值与其通过率之间存在极其显著的相关。评定指标之间、评定者之间也存在极其显著的一致性,说明本研究的事前评定方法具有充分的效度和信度。

《国家学生体质健康标准》与《学生体质健康标准(试行方案)》的比较研究

通过对6517名大学生的身高标准体重、肺活量、坐位体前屈、台阶试验、立定跳远等测试项目进行《学生体质健康标准(试行方案)》(简称《老标准》)与《国家学生体质健康标准》(简称《新标准》)的评价比较,探讨了《新标准》在测试项目、权重系数、评价等级、评分标准等方面的合理性与科学性。结果表明,《新标准》中测试内容更加丰富,但选测项目仍然分类不清;权重系数的分配更加合理;评价等级的调整幅度较小,但评分标准大幅提高,学生的体质健康测试数据反映出新老标准间的各等级通过率存在非常显著的差异,采用《新标准》评价的不及格比例明显增大,从原来的0.3%提高到23.9%,而优良比例却由原来的60.2%降低到27.5%。因此,建议对《新标准》中部分项目的评分标准进行进一步的完善和优化。

铆题比例对等值精度的影响

在非等组铆测验设计中,铆题量占测验长度的多大比例比较合适,这个比例随测验长度的增大可否发生变化?这些是实际工作者和研究者非常关心的问题。该文在固定被试数和测验长度的条件下,探查铆题量所占测验长度比例(简称铆题比例)的变化对等值精度的影响,讨论了在实际等值中如何在等值精度和铆题比例之间取得平衡的问题。并在模拟研究的条件下,给出了几个反应实际等值精度的指标。

锚题题型与等值估计方法对等值的影响

锚测验———非等组设计是一种非常重要的等值设计方法。研究证明 :在此设计之下作为等值媒体的锚测验采用的题型不同对等值结果会有不同影响 ;采用的等值关系估计方法不同对等值结果也有不同影响 ;题型与估计方法之间还有明显的交互作用。研究认为 ,在当前的命题与评分技术水平条件下 ,锚测验以纯客观题组成为最佳 ;在锚测验题量固定的条件下 ,等值关系估计以选用频数估计法为最佳。

多维计算机化自适应测验:模型、技术和方法

多维计算机化自适应测验(multidimensional computerized adaptive testing,MCAT)以多维项目反应理论为基础实现同时估计被试在测验每个维度上的能力水平,并通过计算机化自适应测验提高诊断评估的准确性和效率,因而具有广阔的应用前景。基于对MCAT的模型基础、能力估计方法、选题策略和终止规则的详细介绍和评价,提出了MCAT未来研究方向的几点思考。

Rasch模型在李克特量表中的应用

阐述传统测量方法在李克特量表分析中的固有缺陷,即测验依赖与样本依赖,项目间以及项目选项间计分方式的不合理性的基础上;通过研究实例说明Rasch模型中处理这些问题的方法,并阐述了所用方法的客观性。通过比较,说明Rasch模型是一种客观等距的测量模型。

英语词汇自适应测试系统中词汇难度的判定

针对英语词汇自适应测试系统中词汇难度如何量化的现实需求,文章提出了从词频、长度、语音书写和谐程度这三个维度来量化英语词汇难度的具体方法,并以普通高中英语词汇为例展示了其量化过程。经过对各个难度子区间的词汇频次进行统计后发现,其结果近似呈现正态分布。

评估试题难度的检验

提出一个统计模型 ,用于检验试题库中由专家给出试题难度这一指标的准确性 .具体给出了专家给出的试题难度与实际被试总体的试题难度之间的线性函数关系 ,。

基于高考英语难题的试题命制技术探讨

难度不是试题的固有属性,而是考生因素与试题特征之间互动的结果。很多试题分析者倾向于将试题难度偏高的原因仅仅归结于学生未掌握相关知识或技能,而忽视试题本身的特征。通过分析60道难度在0.6以下的高考英语试题,探究其难度来源。结果显示,除考生因素外,难题或偏难题的难度来源也与命题技术有关,比如答案的唯一性与可接受性、考查内容超纲、考点设置与评分标准欠妥等方面的问题。为此,提出考试机构应提高命题水平,加强试题质量监控,确保大规模考试科学选拔人才。

多级评分计算机化自适应测验动态综合选题策略

多级评分可以提供更多关于被试的信息,是计算机化自适应测验的一个发展方向,选题策略是计算机化自适应测验的研究重点。对于多级评分的等级反应模型,本文拟用区间估计的思想改进近期提出的几种选题策略,并且将两级评分b-STR和a-STR推广到多级评分以改进最大信息量选题策略。Monte Carlo模拟实验表明在达到或接近原有选题策略测验精度的基础上,本文提出的几种新选题策略有的能够有效降低测验长度,有的可以极大降低项目曝光率。

项目反应模型的应用问题研究

以高等学校入学考试的考生实测数据，研究项目反应理论中数学模型的应用、数学模型的拟合性统计检验，并研究了模型与样本容量、模型参数估计与样本容量的关系，得到一些有意义的结论。

基于联结主义的连续记分IRT模型的项目参数和被试能力估计

运用联结主义中的级连相关模型对于小样本条件下的连续记分项目反应理论 (IRT)模型的项目参数和被试能力进行了估计。一组被试对于一组项目的反应矩阵作为级连相关模型的输入 ,这组被试的能力θ或该组项目的参数a、b和c作为该模型的输出 ,对神经网络进行训练使之具备了估计θ,a ,b或c的能力。计算机模拟的实验表明 ,如果测验中有少量项目取自于题库 。

师范生普通话水平测试项难易程度比较研究

本研究以普通话水平测试各项内容的难易程度为调研目标,一方面通过问卷调查的方式,调查了全国十所师范院校共2084名在校学生,就难易度的认知分布情况,在不同等级、不同方言区、已测与未测学生间展开比较;另一方面对640名学生普通话水平测试样卷,用百分比和重复测量方差分析法进行分析,以测试项失分指数为参照,考察难易认知情况与实际测试情况的相关程度。问卷调查结果表明,师范生普遍认为最难的测试项游移于"命题说话"和"读单音节字词"之间,最易项均选择"朗读多音节";而测试结果表明,不同等级、不同方言母语学生在"命题说话"项失分最多,其余依次为"读单音节字词"项、"读多音节词语"项,"朗读短文"项失分最少。

医学微生物学试题难度预估方法的探索

在医学微生物学题库建设中,保证题库质量的一个重要参数就是准确的难度系数。对题库中试题做出正确的难度预估就显得尤为重要。从知识点数、试题题型、试题结构、学生熟悉程度等方面综合考虑,探索适合医学微生物学试题的难度预估方法,并通过模拟考试验证其可行性。

项目反应理论在题库建设中的应用研究

通常的题库管理系统都要根据经典测量理论,选择样本组进行测量,然后根据测量统计分析的结果,修改或选择合适的试题以完成题库建设。这种方法对测试组的能力有一定的依赖性,所得到的修正参数也存在偏差。针对经典测量理论存在的问题,提出以项目反应理论为基础,通过多次迭代,利用最大似然估计法估计被测试组的能力参数,在此基础上产生题目参数。用此题目参数对试题相应初始值进行修正,并根据这些参数指标组合成卷。实验结果表明,此方法估计出的题目参数相对稳定,不因测试组的不同而有明显变化,实践证明能显著提高试题的有效性。