语义理解与常识推理的机器表现和人类基线之比较——怎样评估ChatGPT等大型语言模型的语言运用能力?

本文讨论怎样通过跟人类基线的比较,来合理地评估ChatGPT等现代大型语言模型的语言运用能力。首先,用代词指称歧义和否定辖域问题测试ChatGPT,展示语言大模型在语义理解和常识推理方面的优秀表现;接着简介维诺格拉德模式挑战及其升级版本WinoGrande数据集,还介绍了我们对于这种类型的测试题和机器表现的评估方式的改进方案(把仅触发词不同的“句对”扩展为锚定词也不同的“句偶”,把机器表现跟人类被试的表现进行比较);然后介绍我们怎样用“句对”和“句偶”测试ChatGPT和人类被试,并且把人类和机器的表现进行对比,从而得出语言大模型的语言运用能力接近人类的结论。

机器的意识

机器的意识基于主张其存在性,但这种存在性与人类的存在性是不一样的,是只考虑广义科学的存在性,同时不考虑“人文”的必要的存在性。就是说,从机器意识的角度,除了要“理解”人类,其自身是对“人文”没有需求的。最终机器意识的建立,还是基于:一、按照变化是有过程的,以能够表现现实为目标来追求细粒度;二、按照世界是熵增的,并以此细粒度来构建丰富的映射;三、按照变化是互相影响的,也可以学习此细粒度之间的相互影响,从而构建“可能”的结果。

中文空间语义理解评测数据集质量评估研究

中文空间语义理解能力评测(Spa CE2021)可以看作类人机器语言能力评测的一项重要尝试,其通过空间方位义词语替换的办法生成大量富含空间义信息的语料,构建了中文空间语义理解评测数据集。本文从生成题目的原句情况、可替换词与替换词的结构类型、测试集题目答案的正误分布及空间类型等四个方面分析了中文空间语义理解能力评测数据集的特点,进而通过人类被试和参赛系统的比较,详细分析了机器在不同类型空间词汇上的性能表现,总结了机器空间语义理解的一般规律,并从题目的无偏性和延续性两方面入手,为构建高质量中文评测数据集提出了具体建议。以上工作有助于提升空间语义评测数据集的质量,从而更好地提升相关评测任务的准确性和可靠性。