面向语言文学领域的大语言模型性能评测研究

Performance Evaluation Study of Large Language Models for the Field of Language and Literature

该研究选取16个热门大语言模型,探究其在5个典型语言处理任务上的表现,最后对参测模型进行综合评价。研究发现,闭源大模型GPT-4和GPT-3.5-Turbo综合表现最佳,开源大模型中Baichuan2-7B-Chat表现突出,Qwen-7B-Chat次之,ChatGLM2-6B和ChatGLM-6B合格。模型的领域生成能力差异巨大,该研究旨在为语言文学研究者提供模型的选择建议,促进语言文学研究与人工智能的交叉融合。