人工智能生成学术期刊文本的检测研究

人工智能生成内容(AIGC)已经开始应用于学术论文的写作,如何判别此类文本成为学界的重大挑战。文章选取了2022年发表的100篇医学综述的文摘,随机选择50篇利用ChatGPT4.0进行重写(AI写作组),余50篇不做处理(原文对照组)。在整合处理后将两组文本进行万方文献相似性检测系统检测,同时将两组数据随机打乱后交给AI检测工具和评审者以评定是否为AI写作,并比较他们在判别能力上的差异。结果发现上述两组数据基于文字的相似性检测结果显示,AI写作组相似性比例仅为6.19%,远低于原文对照组的55.91%(P<0.01)。在识别是否由AI写作方面,ChatGPT无法执行此类任务。AI检测工具和评审者均能较好地完成检测任务,其准确率分别为81.0%和77.9%(P>0.05),两组间差异未见有显著的统计学意义。然而,在考察假阳性两组间表现出显著差异(4.0%比14.7%,P<0.01),在假阴性方面组间没有差异(34.0%比29.6%,P>0.05),说明评审者更容易误将人类撰写的文本判定为AI写作,识别AI写作文本稍胜一筹,但差异不大。上述研究指出学术编辑可以发现一定的AI写作文本,但存在因人而异、因学科而异的情况,借助AI工具可以更好地发现类似的学术不端行为,尤其在期刊的初审阶段。文章呼吁学术期刊编辑在提升AI意识的同时,也需要提高AI防范意识,强化对AIGC工具滥用的监控和防范。