认知诊断测验的自动组卷方法

认知诊断评估的重要一环是构建符合约束(统计约束与非统计约束)的诊断测验。其中构建测验的认知诊断自动测验组卷(cognitive diagnosis automated test assembly,CD-ATA)方法十分关键,受到广泛关注。文章通过梳理有关CD-ATA的研究,从组卷方法的类别、开发思路、组卷过程、方法对比及选用进行阐述与评析。最后,在已有方法基础上指出未来可从融合测验设计、非参数组卷、平行测验组卷、开发组卷软件、开展实证研究五个方面进行研究与探讨。

结合先验信息的多属性诊断测验分类研究

在动态的学习过程中,随着学习的深入和知识属性的个数逐渐增加,学生的知识状态也会发生动态变化.在这样的应用场景下如何结合先验信息提高诊断测验的判准率具有较大的挑战.该文提出基于学生对已学习属性的掌握概率来预测包含新属性后的属性向量的先验信息.考虑2种实际的应用情境,并通过模拟和实证研究来评价该方法的表现.结果表明:在2种实际学习情境中,结合先验信息在多属性诊断测验中能起到提高判准率的作用,其中在基于个体先验信息时的表现更好.基于预测先验信息的方法也摆脱了在以往研究中不同学习阶段测验属性个数一致或数量的限制,使得分类精度有较大改进.实证数据分析进一步表明该方法具有较高的应用价值.

融入选项信息的多项选择题认知诊断测验分析方法

多项选择题作为认知诊断测验中一种重要题型,具有诸多优点的同时,也具有多个正确答案的特性.目前大多数认知诊断模型在处理多项选择题反应数据时采用二级评分或多级计分方法来估计考生的知识状态,但这2种计分方法的计分仍停留在题目层面上,并未深入到具体的选项层面,不能充分利用多项选择题中的选项信息.因此,该文开发了选项向量计分和空间向量距离判别法对多项选择题认知诊断测验分析方法,并通过模拟研究和实证研究来验证选项向量计分和空间向量距离判别法分析多项选择题认知诊断测验的性能.

教育认知诊断测验与认知模型一致性的评估

构建正确的认知模型是成功进行认知诊断的关键之一,如果认知诊断测验不能完整准确地代表这个认知模型,这个测验的效度就存在问题。属性及其层级可以表示一个认知模型。在认知模型正确基础上,给出了一个计量公式以衡量认知诊断测验能够多大程度上代表认知模型;对于不止包含一个知识状态的等价类及其形成原因进行了分析,对Cui等人的属性层级相合性指标(HCI)提出修改建议,以更好地探查数据与专家给出的认知模型的一致性。

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高,要标定大量项目的属性相当费时费力,专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上,本文在计算机化自适应认知诊断测验过程中,植入原始题,对项目属性标定的问题进行探讨,重点研究原始题属性标定的方法及其影响因素,除了MMLE方法和MLE方法外,还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法——交差方法。MonteCarlo模拟结果显示,MMLE方法较MLE方法好;在知识状态估计精度较高时,自适应植入原始题较随机植入原始题有一定的优势;随着知识状态估计精度提高和原始题作答次数增加,交差方法与MLE方法基本相当,只是在发散型和无结构型表现欠佳,但是交差方法不需要预先设定项目参数值。

0-1评分认知诊断测验设计

认知诊断测验设计实质上是测验Q矩阵设计,设计应最大限度覆盖诊断的构念,充分发挥代表认知模型的属性层级关系的重要作用.主张测验充分表达被试知识结构,提倡测验Q矩阵和被试知识状态共享同一层级结构,以实现对被试更加准确的诊断.对于非独立型层级结构,无法实现属性使用次数平衡而应采用题目属性向量使用平衡策略.对Liu Ren(2017)的测验设计提出质疑.

学习技能诊断测验的初步编制

目的:编制一套学习技能诊断测验,并检验其信效度。方法:以理论法编制了一套用于小学生的学习技能诊断测验,分低级(1-3年级)和高级(4-6年级)两个版本,每个版本含语文分量表和数学分量表,语文分量表由汉词拼音、汉词拼写和阅读理解三个分测验组成,数学分量表由数量概念、四则运算和数学推理三个分测验组成。用新编测验对近1000名小学生进行测查,重测样本95人,效标效度样本75人。结果:低级版的难度为0.49-0.78,高级版的难度为0.52-0.86之间;低级版的区分度为0.29-0.61,高级版的区分度为0.39-0.60。低级版重测信度为0.73-0.90,分半信度为0.66-0.95,α系数为0.70-0.97,高级版重测信度在0.73-0.89,分半信度为0.62-0.89,α系数为0.79-0.95。分测验之间的相关系数为0.36-0.97,分测验与总分的相关系数在0.71-0.95。分测验分数与华文认知能力量表智商的相关为0.55-0.81,与学校考试成绩的相关为0.19-0.74。结论:学习技能诊断测验的难度、区分度、信度和效度符合心理测量学的标准。

汉语阅读技能诊断测验(CRSDT)的初步编制

目的：为汉语儿童阅读障碍（ＲＤ）的研究与临床标准化诊断试编制一个《汉语阅读技能诊断测验（ＣＲＳＤＴ）》。方法：根据认知心理语言学与神经语言学理论，结合ＲＤ症状学特点编制了ＣＲＳＤＴ，在小学三～六年级２４５名阅读障碍与正常儿童中作一试验。结果：（１）在测验各项目及总分上，正常儿童与ＲＤ儿童差别显著（Ｐ＜．０００１）；正常儿童不同学绩水平间的差别大于不同年级之间的差别。（２）分半信度为．７７～．８１；重测信度为．９０（．６７～．９４）；α系数为．９０。（３）测验总分与语文成绩相关为．８５；临床按标准分７０划界诊断的灵敏度为９４．７％，特异度为９８．５％；因素分析所获三因子模型（字识别、词句理解、记忆－把握）可解释６４．４％的变异，符合汉语失读症的神经语言学层级理论。结论：ＣＲＳＤＴ的信度、效度初步达到心理测量学要求，具有临床实用价值，并与国外同类测验作了比较。

计算机化自适应诊断测验新的选题策略

提出了一种既能满足属性平衡又能有效处理相似属性模式的新方法——改进的极大化整体判别认知诊断模型信息量指标法(MGCDI).对无结构型的属性,讨论定长CD-CAT的选题策略.研究结果表明,使用相同选题策略选题时,先选择可达矩阵的所有列对应的项目比不使用这些项目的诊断准确率高.

基于属性层级结构的认知诊断测验的组卷

认知诊断测验组卷方法对提高被试属性掌握模式的判准率至关重要。Henson和Douglas的组卷方法(2005)得到的认知诊断测验判准率不高,没有考虑属性间的层级关系是重要原因。本文提出一种基于属性层级结构的认知诊断组卷方法:首先根据属性层级结构确定待选项目类集合,其次根据新建构的选题指标确定项目类,然后由属性区分被试的能力确定各项目类中题目的数量,并在测验Q阵中放入可达阵。模拟研究表明:新方法比H&D方法在判准率上有很大的提高;新的选题指标比H&D的指标大大缩短计算时间。

小学数学应用题认知诊断测验编制及效度验证

本研究旨在基于事先构建的理论模型,编制小学数学应用题认知诊断测验,并通过认知诊断评估对其效度进行验证。采用质性研究和量化研究两条思路,通过认知分析、大声思维和测验等方法,探索了认知诊断评估从理论模型构建到测验编制及其效度验证的过程。在理论模型构建和测验编制方面,所得结果表明认知分析和大声思维相结合能够合理地构建实质心理学的认知模型,并且基于该认知模型自上而下的测验设计是与认知诊断评估流程相吻合的。通过认知诊断评估所获取的数据分析表明,该测验的结构效度、内部效度和外部效度均达到理想水平,基于事先构建的认知模型所编制的认知诊断测验能够作为认知诊断评估的有效工具,有助于发掘和诊断学生数学应用题解决中的认知错误。

认知诊断测验编制的理论及方法

认知诊断测验的优劣直接影响诊断的效果及质量。与传统测验相比,认知诊断测验在测验目的和功能、测验编制的理论基础以及测验项目质量的评价标准方面均存在不同。本文梳理了目前国内外几种认知诊断测验编制的相关理论及方法,并提出了认知诊断测验编制的基本过程,即确定诊断目标→构建认知模型→认知诊断测验项目设计→项目编写→项目测量学参数获取→测验组卷,为认知诊断测验的编制研究者及实际编制者提供一定的参考和指导。

项目功能差异对于认知诊断测验估计准确性的影响

为探讨项目功能差异对于认知诊断测验估计准确性的影响,采用模拟研究的方式在3种DIF题目所占比例,3种DIF量下,检测了4种认知诊断测验中存在的DIF对于被试能力估计准确性和题目参数估计准确性的影响。结果发现:(1)DIF对于目标组被试能力估计准确性影响较大;(2)含有DIF的题目所占比例和DIF量增大,都会降低目标组被试能力估计的准确性;(3)非一致性DIF对于被试能力估计准确性的影响大于一致性DIF;(4)只有含有DIF题目的题目参数估计准确性会下降;(5)随着DIF量增大,含有DIF题目的题目参数估计准确性下降增多,但不受含DIF题目所占比例的影响。

跨年级小学数学学力认知诊断测验的开发与验证

近年来,随着国内基础教育评价改革逐渐深化,认知诊断理论在对学生认知结构与知识状态的诊断性测评方面显露出其特有的优势。以正处于基础性数学学力发展关键期的6~12岁小学生为研究对象,以其数学学力的发展水平和结构性特征诊断为目标,按照构建认知模型→编制测验初稿→试测及测验质量分析→题目修订及正式组卷的技术路径,编制一至六年级小学生数学学力认知诊断测验,并利用R语言对实测数据进行了分析。结果表明,所编制测验的各项信度与效度指标均达到了认知诊断理论和心理计量学的要求,可为更深入研究小学生数学学力发展提供较为稳定且可靠的信息源。

认知诊断测验Q矩阵估计方法比较

认知诊断以微观认知角度对被试做出准确评估与反馈的优势在心理与教育测量领域展现出巨大发展潜力,但要利用这种优势就必须确保Q矩阵的合理性。研究表明错误界定的Q矩阵会严重影响模型参数估计和被试分类准确性。本文从参数化与否出发介绍6种基于被试作答反应的Q矩阵估计方法的基本思想、实现步骤及应用情况,总结这些方法的特点并展望未来研究方向,为认知诊断研究及应用提供借鉴和基础。

4~5年级阅读障碍儿童汉语词汇的认知诊断测验

以IRT和认知诊断理论为指导,编制阅读障碍儿童汉语词汇认知诊断测验,并探索其认知属性模型及特征。通过对1074名4~5年级学生的测试与分析,测验的项目参数适当、信度和效度优良,97.3%的阅读障碍学生能被合理归类。阅读障碍儿童对感情色彩理解、整词理解和词素理解的掌握较差,对错词辨别的掌握一般,对视觉词汇、整体词音和词素词音的掌握较好。

跨年级小学生数学学力认知诊断测验的IRT垂直等值分析

本研究采用“共同题−锚测验”设计,使用R语言ltm程序包中的IRT两参数模型进行各年级小学生数学学力认知诊断测验和被试参数的估计,并使用equateIRT程序包进行跨年级小学生数学学力认知诊断测验各项参数的等值转换。结果表明,等值转换后各年级测验的题目难度和小学生数学学力均随年级增长而逐渐递增,不同学校、民族、性别学生的数学学力发展差异性特征均与理论假设相符。本研究验证了采用IRT垂直等值方法构建跨年级小学生数学学力发展水平垂直量表的可行性,为制定系统性补救教学方案和自适应题库建设提供了必要的实证证据。

4～5年级阅读障碍儿童汉语单字的认知诊断测验

以项目反应理论和认知诊断理论为指导,编制阅读障碍儿童汉语单字认知诊断测验,并探索其认知属性模型及特征。通过对834名4~5年级学生的实测与分析,发现测验的项目参数基本符合测量学的要求,信度和效度优良;两个年级的汉语单字阅读障碍划界分分别为35分和50分,检出率分别为7.40%和6.20%;62名汉语单字阅读障碍儿童可归入15种认知模型,其属性掌握以语音意识和正字法为最好,语素意识和音形结合其次,音义结合和形义结合则相对较差。

基于项目自动生成的认知诊断测验开发

认知诊断、项目自动生成是现代心理测量领域的重要发展领域,二者的结合更是心理测量领域亟待开展的重要课题。本研究以小学数学问题解决认知诊断项目自动生成为例,探讨认知诊断领域的项目生成技术及算法。研究发现:(1)计算机自生成的项目参数与原模板参数具有较高的一致性。(2)同一项目模板下生成的不同试题的测量学特征基本不变。(3)同一批被试在自动生成的两份试卷的前、后测的能力((?))值高度相关(r=.811),前、后两次对被试诊断结果的一致性高达86.5%。这表明本文所设计的认知诊断测验项目的自动生成技术及其算法基本可行,小学数学问题解决认知诊断项目的自动生成效果较好。这也为其它认知诊断领域的项目自动生成提供了技术借鉴和支持。

学习因素诊断测验对宁波市小学学习困难学生的诊断

研究采用的学习因素诊断测验(Diagnostic Test of Achievement Factor,简称DTAF)6个分测验具有较高的信度与效度；使用该测验发现宁波市小学学习困难学生的原因是他们的学习动机、不同学科的学习动机、学习技能、不同学科的学习技能有明显不足。