基于词向量计算的中医症状术语相似度研究

研究针对中医临床症状词描述的差异与分歧,以Word2vec和FastText为工具,基于现有中医药语料库,进行中医症状相似度研究,发现了一些较为晦涩、生僻的症状同义词及近义词,扩充了中医症状词的词表,并通过对Pearson、Spearman系数,以及召回率的比较,认为FastText在这一任务上有更好的表现。但是由于中文分词,特别是中医古籍分词的先天劣势,以及现有语料不够丰富,导致召回率和准确率还有很大的提升空间,未来值得进一步研究。

面向语料库机助辞书编纂系统的设计与实现

“面向语料库机助辞书编纂系统”由中国社会科学院语言所和中国多语言多模态语料库暨大数据研究中心研发,是一个可以充分地利用各种语料库、辞书库和其他相关资源库辅助汉语辞书编纂的平台。文章介绍了该系统的研发背景、目标、系统设计与实现。此外,对系统的技术选型也进行了简单介绍,为辞书编纂或相关系统的研制提供借鉴。

面向语文辞书编纂的神经网络语料库检索研究

语料库检索已成为语文辞书编纂过程中不可或缺的一个步骤。现有的语料库检索系统通常先返回句子列表,然后由人工进行筛选。然而,随着语料库规模不断扩大,海量检索结果与用户有限的语料消化能力之间的矛盾已成为辞书编纂过程中的痛点之一。文章注意到,辞书编纂人员在检索语料库时,实际上更为关注的是检索词出现的语境(或称上下文)。语境具有相对稳定的语言学规律,语料库中往往存在着大量符合同一语言规律的语境。这种同质的语境对辞书编纂提供的价值相对有限,单纯依靠增加语料数量对辞书编纂的贡献已呈现出边际效益递减的现象。因此,文章尝试以海量检索结果中的同质语境为突破口,通过人工智能中的注意力机制、上下文相关词向量以及预训练语言模型等技术,以可视化及可交互的形式为辞书编纂人员展现检索结果分布的概貌,批量处理同质的语境,以提升辞书编纂的效率。