生成式人工智能在内容分析中的应用及测量效度评估

本研究旨在考察以GPT为代表的生成式人工智能模型在内容分析研究中的应用前景及潜在效度折损问题。通过分析与气候变化相关的中英文社交媒体文本数据,本研究从语言/数据集、提示微调策略以及模型版本三个维度系统评估了GPT模型在新闻传播学核心概念(认知、情感和立场)编码上的效度差异及其背后的潜在原因。研究表明,GPT倾向于过度识别和解读文本内容,并表现出对“中立文本”的偏见。在多维度比较上,本研究并未发现GPT在概念编码效度上存在明显的跨语言/数据集差异;GPT-4较其3.5版本在部分类目中显示出更高的测量效度;经提示微调的GPT模型能够在一定程度上提升编码的准确性,但引入更多示例样本可能会导致一定程度的效度损失。此外,本研究还发现文本的词汇和语义特征会影响GPT的测量效度。

工作内容量表在石油行业职工中应用的信度和效度

目的 评估中文版工作内容量表（Job Content Questionnaire，JCQ22）在石油行业职工中应用的信、效度，检验此量表在中国应用的可推广性。方法 应用JCQ（22）对石油行业609人的职业应激进行了评价，评定JCQ（22）的信度和效度。信度检验包括①内在一致性：计算Cronbach’S α系数。②重测信度系数：随机抽取69名受试者做3个月后的各分量表得分的Spearman相关。效度检验：①计算每个条目与所属分量表的Pearson相关系数，以检验每个条目的效度。②结构效度：对量表作因子分析。结果 问卷有效回答率98％（596例）。JCQ含5个模块，共22个条目。5个模块的同质信度，Cronbach’s α系数的0．63～0．85，重测信度0．72～0．82；主成分因子分析提取4个公因子，方差累积男、女性分别为47.1％和50.5％，进行方差最大正交旋转，4个公因子的条目组成与JCQ量表模块基本一致。结论 JCQ（22）能够反映其理论基础中三个与职业紧张相关的维度。中文版JCQ（22）在石油行业职工中应用有较好的信度和效度。

对教师自行设计的英语考试内容效度和表面效度的调查与反思

本文分析和总结了对西安外院英语系教师自行设计的精读考试的内容效度和表面效度的一次问卷调查结果 ,并在命题、考试实施及管理等方面提出了 9个有待探讨和研究的问题 ,以引起广大教师和教学管理人员的思考和重视 ,从而改进我们的命题质量 ,加强考试管理 ,促进考试对教学的积极导向作用 ,使考试更好地为教学服务。

英语专业四级考试2007—2011年“语法与词汇”题的内容效度研究

随着参加英语四级考试人数的增加,英语专业四级试题的信度和效度问题引起了学者的关注。本文重点分析2007-2011年专四试卷中"词汇与语法"部分的内容效度,希望为专四试卷命题及相关的教学活动提供一些参考。

大学英语期末分级测试阅读理解内容效度研究——以不同班型考试为例

依据巴奇曼(Bachman)和帕尔默(Palmer)任务特征模式,从语篇输入和预期回答两方面对广西某校不同班型A、B班2—4级期末试卷阅读理解的内容效度进行对比研究。研究发现:两种班型期末分级测试阅读理解的内容效度不高,有待改进。A、B班的阅读文章题材体裁比例分配不均衡,缺乏与学生生活和经历相关的话题;同一级别的期末测试,B班的阅读文章比A班的相对偏难,具有偏颇性;预期回答方面,两种班型的阅读篇章基本符合《大学英语课程教学要求》和《大学英语考试大纲》的规定,但题型设计不够全面。

如何分析心理测验的内容效度

我们知道,效度(validity)是指心理测验测量到它所要测量的事物属性的程度.心理测验效度,通常可以分为三大类型,即内容效度(content validity)、效标效度(criterionvalidity)和结构效度(construct validity).内容效度则是其中首先被提及的一种测验效度.

高考英语北京卷（2010年-2013年）阅读理解内容效度分析

引言 高考试卷质量对高校选拔新生、中学教学以及促进素质教育的实施等都有重要的影响。在高考英语北京卷150分的总分中，阅读理解部分占40分，具有较大权重，阅读理解的效度也直接影响到高考功能的实现。

英语专业八级阅读试卷内容与结构效度的评析

从三个方面（测试内容是否具有代表性；测试内容是否和测试目标有关；测试内容是否适合测试对象）对近4年（2005—2008）年的英语专业八级考试试卷的阅读部分进行了内容效度分析；从两个方面（阅读材料的体裁、题材）对其进行了结构效度分析，并尝试着提出进一步提高英语专业八级考试中阅读部分的内容与结构效度的方法，以期对英语专业八级考试的命题会有所帮助，提高其试卷的质量，进而使其具有更为理想的测试效度。

英语四级统考完形填空试题的内容效度分析

在回顾测试中完形填空试题形式的演变及其发展的基础上,采用定性分析方法对2007—2009年大学英语四级完形填空分别从字数、题材、体裁及实词和虚词、句子层面和语篇层面等综合运用能力方面进行内容效度分析,分析结果表明完形填空题的内容效度较高并满足测试目的。

安宁疗护知识量表的汉化及在中老年社区居民中的信效度检验

目的汉化、修订安宁疗护知识量表,并在中老年社区居民中检验信效度,为测量社区居民安宁疗护知识水平提供有效工具。方法采用Brislin翻译模型对安宁疗护知识量表进行翻译和回译,并通过质性访谈增加条目内容,通过专家评议和预调查进行跨文化调适及内容修订。选取郑州市5个社区的364名中老年居民进行信效度检验。结果中文版安宁疗护知识量表为含20个条目的单维度量表,提取的1个公因子累积方差贡献率为62.739%;各个条目的共同度均大于0.4。条目水平的内容效度指数为0.875~1.000,量表水平的内容效度指数为0.980;量表Cronbach′s α系数为0.934,重测信度为0.808。结论中文版安宁疗护知识量表在中老年社区居民中具有较好的信度和效度,可用于测评社区居民安宁疗护知识水平。

基于内容证据的PETS-4口试效度研究

本研究依据语言测试效度理论,通过检查表、问卷调查和访谈方法收集"内容相关与内容覆盖"、"测试任务特征"和"测试实施环境特征"等口试的"内容证据",检验了2013年9月PETS-4口试的效度。研究结果表明:1)PETS-4口试任务内容相关和内容覆盖恰当,符合预设的考查内容与目标;2)PETS-4口试任务特征和实施环境特征有利于拟测构念的表现,具体表现为:(1)口试任务充分体现了测试设计者预设的"交际模式"、"交际功能"、"口试渠道"和"真实性"等口试特征,考官语言输出用语严格一致;(2)测试场景、施测程序符合测试整体要求。上述证据综合表明2013年9月的PETS-4口试在内容证据方面具有较高的效度。

高考英语考试阅读理解部分内容效度历时研究

本文从语篇输入特征和预期回答特征两个方面对安徽省2009-2013年高考英语试卷中25篇阅读理解部分进行了内容效度研究。研究结果表明该部分具有较高的内容效度,体现在文章题材和体裁的多样化;词汇量和难度比较适中;考查阅读微技能较为全面。但也存在着测试题型单一、部分阅读材料的阅读难度较大等问题。

四级考试听力新题型的内容效度分析

听力理解测试是四级考试的重要组成部分,其内容效度直接影响到整个试卷的效度。本文以06年6月新题型听力部分为例,从听力材料的选择、听力微技能的考查以及听力测试形式几个方面对其内容效度进行分析,得出结论是听力测试的内容效度还有待提高,并提出几点改进意见供参考。

内容效度:体育心理量表编制中不可忽视的效度指标

内容效度作为运动心理学量表编制过程中的一个重要效度指标,近年来已在国际测量评价领域逐渐受到重视。由于对内容效度概念及评定方法的认识仅局限于成就测验与职业测验领域,因此在国内运动心理学量表编制中长期受到忽视。本文对运动心理学量表中的内容效度的界定、评定程序、量化指标及计算方法等多个方面对内容效度进行了阐述,并说明了内容效度检验在运动心理学量表编制中的重要作用与意义,以期引起体育科学工作者的重视,促进体育科学心理量表编制的规范性与严谨性。

怎样提高英语阅读理解测试的内容效度

阅读理解是英语考试的重要组成部分，因此人们对其效度非常关注。要达到阅读测试的目的，就必须保证其测试的效度。提高阅读测试的内容效度就成为保证阅读测试成功的重要方面。本文从测试目的、语篇输入、预期回答和题项设计四方面入手，对英语阅读理解测试内容效度的提高方面进行了分析。

2020年高考英语语法填空题内容效度研究

以2020年高考英语语法填空题为研究对象,基于巴赫曼和帕尔默的测试任务特征框架,以及李筱菊的考点效度理论,参照《课程标准》和《考试大纲》制订的研究框架,从语篇输入和考点效度两个方面对该试题的内容效度进行共时研究。通过分析总结2020年高考英语语法填空题在语篇输入和考点效度方面的特点及在体裁丰富度、空间距与“语法命题思路”等方面的不足,从命题与教学两个角度提出针对性建议,以期为全国高考英语语法填空题的命题及教学提供一定的参考。

自测健康评定量表修订版(SRHMSV1.0)的效度研究

目的考评自测健康评定量表修订版(SRHMSV1.0)的效度。方法选取2000个个体进行现场测试,研究SRHMSV1.0的内容效度、结构效度和效标效度。结果SRHMSV1.0的条目分与其维度分相关系数较大,而与其它维度分的相关系数较小;维度分与其子量表分相关系数较大,而与其它子量表分的相关系数较小。因子分析得到的10个因子与SRHMSV1.0的理论构想基本一致。SRHMSV1.0总分与SF36总分的相关系数为0.526;SRHMSV1.0量表总分以及3个子量表分与其一个条目的得分均存在密切关联。结论SRHMSV1.0具有较好的效度,能够准确、全面地反映自测健康的内涵。

TBL教学模式学生评价量表的汉化及信效度检测

以团队为基础的教学模式（team-based learning,TBL）为教育者提供了一种结构化、以学生为中心的教学方法,基本步骤包括课前组建小组、教师确定教学要点、学生课前阅读和准备,课堂上的个人测试、小组测试和应用性练习-（[1]）。近几年TBL教学模式在国内得到迅速推广,截止2015年7月,

英语专业四级口试的效度研究

本研究通过收集内容相关性与标准关联性两方面的证据,检验了2007年全国英语专业四级口语测试的效度。就内容相关性证据而言,三项口试任务符合《大纲》要求,具有交际价值;三项任务之间的相关系数中度偏强,但因子分析结果表明三项任务仍旧是3个独立因子;就标准关联性而言,某重点高校62名英语专业学生2007年的口试成绩能够解释其当年四级笔试成绩中58.5%的差异性。依据这两方面的证据,可以断定2007年全国英语专业四级口试具有较高的效度。

体育科研中自编量表的内在信度、结构效度量化分析

以体育科研中的自编量表为例子,系统展示了自编量表的内在信度、结构效度的统计检验方法,结果表明:对于调查研究中李克特量表的效度、信度,可用项目分析和相关分析检验量表中各题项的鉴别力和内容效度;可用因子分析检验量表的结构效度;可用克郎巴哈α系数(Cronbachα)来检验量表总体内在信度和各因子层面的内在信度。