“真实”的鸿沟:人类认知与大语言模型判定新闻真实的比较研究

随着ChatGPT等生成式人工智能技术日益嵌入人们的生产生活中,技术背后可能带来的算法偏向、虚假信息等诸多问题愈发为人们所重视。为了更好地评估大语言模型的认识能力和潜在偏见,本文引入“图灵实验”(Turing Experiment)的方法,让大语言模型模拟人类的态度和行为,将“新闻真实性判定”作为测量人类认知与大语言模型的特定任务,在针对中美德三国民众的问卷调查(N=3000)中设计判定新闻真实性的调查实验(政治新闻组/非政治新闻组),并通过大语言模型GPT-3.5依据性别、国别等人口学因素生成与人类样本相对应的3000份“硅样本”(silicon sample),进而对比分析其在判定新闻真实性上的认知能力和潜在偏见。研究发现,ChatGPT在判定新闻真实性这一复杂认知任务上有着明显的优势,同时也存在薄弱环节,在政治新闻、真实新闻的判断上表现得比人类更准确,但在判别非政治新闻、虚假新闻上表现得不如人类。ChatGPT还存在着一定的代际偏见和语言偏见。就公众本身而言,政治新闻、虚假新闻仍是人们鉴别新闻的薄弱环节。

人工智能与人类智能

人工智能是否与人类智能具有相同的性质 ,是人工智能及哲学、心理学界共同关心的问题 ,其不同观点可以表述为弱人工智能与强人工智能两种立场。借助心理学对于人类智能的研究 ,我们提出一种观点 :人脑从事的思维活动具有不同的性质 。