基于自然语言处理的民航飞行人员英语能力测试与CSE的对接研究

通过与考试对接等手段,《中国英语能力等级量表》(CSE)可以有效指导并规范各种英语语言能力测试项目。传统对接方法以设定临界分为关键环节,其步骤比较复杂,需要调动的人力物力较多,限制了CSE在专门用途英语考试中的应用。通过中国民航飞行人员英语语言能力测试(PEPEC)与CSE的对接研究,探讨基于自然语言处理的对接原理和方法,其主要步骤包括:1)运用德尔菲法界定对接文本;2)运用自然语言处理的文本相似度算法确立PEPEC与CSE之间的对接关系;3)收集内外部效度证据以检验对接效度。结果表明,基于自然语言处理的方法在保障对接精度的同时,大大提升了对接工作效率,为进一步探索对接的方法和路径提供了重要参考。

民航飞行学员认知能力倾向测试系统的研制及信效度检验

目的研制“民航飞行学员认知能力倾向测试系统”,对该系统的信度和效度进行检验,为民航飞行员心理选拔及认知能力的评估提供工具。方法通过文献回顾、专家访谈和胜任力建模的方法确定认知能力倾向测试系统的测验维度和测试指标,并据此开发基于局域网的计算机化测试系统。使用该系统对444名中国民航飞行学员进行测试。收集217人的数据对内部一致性信度进行检测；其中89人在4周后进行重测,对重测信度进行检验；另有227名学员在完成13 h飞行成绩考核后以收集教员考核的评定作为效标,采用效标关联效度对预测效度进行检验。结果认知能力倾向测试10个指标的内部一致性信度克伦巴赫α系数为0.781～0.943,重测相关系r为0.725～0.900（P〈0.01）。认知测试指标可以解释效标因变量16.8%的变异。结论“民航飞行学员认知能力倾向测试系统”的重测信度、内部一致性信度及预测效度良好,均符合设计的构思和要求,对飞行员的心理选拔和认知能力评估有一定意义。

民航英语测试对英语学习的反拨效应研究——中国民航飞行人员英语能力测试(PEPEC)个案研究

民航领域引入中国民航飞行人员英语能力测试(PEPEC),无疑会对学生的英语学习产生影响。通过课堂观察、问卷调查和深度访谈的方法,从学生对该测试的了解程度、学生对测试标准的反响、测试对英语学习的反拨效应、学生对备考课程的评价4个维度探讨该测试对英语学习的反拨效应。研究结果显示,中国民航飞行人员英语能力测试对学生的民航英语学习产生了较强的积极反拨效应。