词汇计量研究与常用词知识库建设

面向自然语言处理的词汇语义研究应该以词汇的计量研究为基础。该文在评述汉语词汇计量研究的主要成果以后,提出一个汉语常用词知识库的建设任务,并给出常用词表的构造性定义、词表常用性的定量评价方法以及"部件词"的概念,最后介绍现代汉语常用词知识库的总体设计和已经做的工作。期望常用词知识库的建设能为汉语词汇语义学研究、为中文信息处理事业的发展做出贡献。

语料库技术及其应用

现代意义上的语料库最早出现于20世纪60年代,40多年来,发展迅速,不但规模越来越大,而且加工深度越来越深,语料库方法在语言研究和计算语言学研究领域发挥了重要作用。本文首先概要介绍了语料库的概念、发展和应用,然后介绍了北京大学的现代汉语基本标注语料库和汉英双语平行语料库,最后介绍了北京大学计算语言学所开发的基于语料库的双语词典编纂平台,重点介绍了其中的词汇分析技术。

基于SVM融合多特征的介词结构自动识别

介词结构在汉语文本中出现频率很高,正确识别介词结构边界对句法分析、语音合成中的韵律短语划分有着重要意义。该文较为系统地探讨了汉语中常用介词的边界识别问题。利用支持向量机SVM模型,基于输出概率而不是简单的二分法来选择正确的后边界。探讨了不同的特征选择,并尝试加入语义信息等不同特征组合以提高识别准确率。对常用的68个介词进行边界识别实验,5折交叉验证的准确率达到90.95%,优于前人的识别结果。