空间语义理解能力评测任务设计的新思路—SpaCE2021数据集的研制

中文空间语义理解评测任务(SpaCE2021)以判断题的形式呈现,包括3个子任务:(1)中文空间语义正误判断;(2)中文空间语义异常归因合理性判断;(3)中文空间语义正误判断与异常归因合理性判断联合任务。SpaCE2021数据集包含18000多道判断题,语料规模超过200万汉字。相较于传统空间语义角色标注及空间推理任务,SpaCE2021兼顾了语料的真实性、数据集构建方法的便捷性以及空间语义理解的挑战性,是中文空间语义理解专项评测领域新的尝试。

精细化的中文词性标注评测集的研制

该文提出了一套精细化的中文词性标注评测体系。该文的工作重点在于确立其中的评测项目以及每个项目所对应的词例,提出了比对、归类、合取的方法;依此,该文初步建立了规模为5873句、涵盖了2326项词例和70个评测项目的评测试题集,并用这套试题集对几个常见的开源词性标注程序进行了评测。最后,该文指出了精细化评测体系将评测项目和评测语料联系起来的好处——在传统体系中,两者是分开的。该文从评测项目的价值和评测语料的组织性两个方面阐述了该文的评测体系相对于传统评测体系的优势,并指出了利用该文提出的评测体系改进被测程序的方法。