教育领域人工智能基准测试:跨学科中文大型语言模型的综合评估

随着Chat GPT的发布,大型语言模型(large language model,LLM)已经在全球迅速崭露头角并在各行各业广泛应用。与此同时,以中文语言为基础的大型语言模型研究逐渐展开,其在教育领域的应用与效果也有待研究。为此,文章以10年高考题目数据集“GAOKAO-Bench”为测试数据,通过统计和分析11个不同来源(包括大型企业、学术机构和新兴公司)的开源中文大型语言模型在9个不同学科(语文、数学、英语、物理、化学、生物、历史、政治、地理)中的表现,来评估不同的中文大型语言模型在教育教学自动评估中的效果。随后,文章根据评估结果,从多学科、多维度出发,对模型在各个科目上的推理表现进行分析研究。最后,文章对中文大型语言模型在教育教学自动评估中可能遇到的挑战与问题进行探讨,并提出可供优化的思路与方法,以期推动中文大型语言模型在未来教育教学中的发展与传播。