语言数据资源建设中的关键问题及对策

语言数据资源包括语料库和语言知识库,是语言服务和语言信息处理的重要支撑。本文分析了我国语言数据资源建设中存在的质量问题、发展不平衡问题、规范与评价问题、版权与共享问题,以及学科建设问题,并从理论建设、项目规划、管理与支持、规范与标准建设、版权研究、团队合作与人才培养等角度提出了14条建议,以推进我国的语言数据资源建设,弥补现有短板,面向未来语言学理论研究和应用发展的需求。

基于语言资源理念的语言规划——以“语言资源监测研究”和“中国语言资源有声数据库建设”为例

语言不仅是一种工具,更是一种有价值、可利用、出效益、能发展的社会资源。它可以孕育新的职业和产业,并转化为生产力。保护语言资源,解决语言问题,维护语言权利是三个不可分割的工作方面,需统筹兼顾、协调发展。国外语言资源建设和语言监测已于上世纪提上议程,中国语言资源问题直到本世纪初才受到关注,成立了中国语言资源联盟;教育部语言文字信息管理司与各高校合作,共建国家语言资源监测与研究中心,建立大规模动态流通语料库,既进行资源建设又进行理论研究。今后还应加强语言资源有声数据库的建设。

综合型语言知识库的建设与利用

语言知识库的规模和质量决定了自然语言处理系统的成败。经过 18年的努力 ,北京大学计算语言学研究所已经积累了一系列颇具规模、质量上乘的语言数据资源 :现代汉语语法信息词典 ,大规模基本标注语料库 ,现代汉语语义词典 ,中文概念词典 ,不同单位对齐的双语语料库 ,多个专业领域的术语库 ,现代汉语短语结构规则库 ,中国古代诗词语料库等等。本项研究将把这些语言数据资源集成为一个综合型的语言知识库。集成不同的语言数据资源时 ,必须克服它们之间的“缝隙”。规划中的综合型语言知识库除了有统一的友好的使用界面和方便的应用程序接口外 ,还将提供支持知识挖掘的工具软件 ,促使现有的语言数据资源从初级产品形式向深加工产品形式不断发展 ;提供多种形式的知识传播和信息服务机制 ,让综合型语言知识库为语言信息处理研究、语言学本体研究和语言教学提供全方位的。

罗塞塔石碑与机器翻译

解读Rosetta石碑依据的平行语料库方法是非常具有启发性的,这样的方法现在已经成为当代机器翻译方法的基础,它既是统计机器翻译方法的基础,也是神经机器翻译方法的基础。神经机器翻译需要大规模语言数据资源的支持,语言数据资源的匮乏是当前神经机器翻译面临的一个难题。

下一站在哪里？

该文简要回顾了中文信息处理30年的主要成果,以及近20年来中文信息处理中的计算语言学研究的状况。该文分析了汉语与英语的主要差异,讨论了语言的共性与个性。该文表示了对于中文大规模语料的词性标注、树库建设的质疑。该文提出未来的中文语言资源建设的一些设想,期望一些新的尝试,提出以语义取代现有的句法,以深度标注取代现有的浅层标注,具体将包括标注的目标的定点化,内容的多样化,步骤的阶段化,标注人员的大众化、群体化。文章还提出了未来发展的关键点:技术的融合,人本计算。

从语料记音看当代常德方言吟诵的传承与发展

常德市位于湖南省的西北部,其方言归属于北方方言分支的西南官话,是湖南西南官话的一个重要代表。而常德方言的吟诵语料记音与常德地区的本土文化紧密结合,具有其独特的地域文化价值,其语料研究价值和潜在历史文化价值有待进一步挖掘。在普通话全面推广的时代背景下,地方方言的生存空间受到其官方语言的强势侵蚀,其方言的传承与发展问题迫在眉睫。围绕相关问题,本文对常德方言吟诵进行系统探讨,探求其保存现有的常德方言语料吟诵记音与建设语言资源有声数据库的有效途径,对探索常德方言语料记音的创新发展道路起到一定的示范启发作用。

面向计算的构式研究:现状、问题与展望

本文首先概要介绍面向计算的构式相关研究工作,包括面向计算的形式化构式语法理论模型的构建,以及面向计算的构式语言数据资源建设工作。在此基础上,结合我们所做的现代汉语构式知识库建设和构式语料标注工作,本文提出将构式的句法语义分析与传统的“词库+短语规则”语言知识系统融合的思路,并指出当前面向自然语言处理的构式研究的重点任务是构式数据资源的建设。