ChatGPT生成中文学术内容分析——以情报学领域为例

学术写作是ChatGPT的主要应用方向之一。文章以情报学领域的核心期刊论文为研究对象,首先从词、句、篇3个维度出发,使用词性标注、n-gram等文本处理方法对ChatGPT和人类产出的论文引言内容进行对比分析。然后将判断学术内容是否由ChatGPT生成视作一个二元分类任务,采用朴素贝叶斯、支持向量机、随机森林算法进行文本分类实验,并使用SHAP方法对文本结构特征的重要性进行分析。研究发现:ChatGPT在描述有具体时间节点的事实性信息和引用政策文件或研究报告等方面表现较弱,生成引言的篇幅较集中,撰写论文相较于人类更加“循规蹈矩”;查重工具通常无法准确检测出ChatGPT生成内容的原创性,但分类模型可以比较容易地区分出引言是否由ChatGPT生成,平均句子长度、词汇多样性和文本长度是影响分类结果最重要的文本结构特征。

编者的话

学术的生命在于诚信。学术不端一直是个国际问题,不仅国内存在,国外也存在。因为学术不是凭空生长在空气中,它牵涉到方方面的利益,学术反不端任重道远。近年,随着大数据技术的飞速发展,查重检测技术的提高,国内不端学术事件的披露频度有所增加。学术不端在我刊的审稿过程中,也时有发现。