Chinese Information Processing and Its Prospects

The paper presents some main progresses and achievements in Chinese information processing. It focuses on six aspects, i.e., Chinese syntactic analysis, Chinese semantic analysis, machine translation, information retrieval, information extraction, and speech recognition and synthesis. The important techniques and possible key problems of the respective branch in the near future are discussed as well.

一种基于多层次语言信息的自然语言推理方法

随着网络深度逐层加深,提取特征时表层信息和浅层特征或多或少被遗失,而一些推理场景需要浅层特征来作出推理判断。为此,提出一种融入多层语言信息的自然语言推理方法,通过学习多层深度神经网络的不同层对结果的贡献权重,有效结合不同层学习到的语言信息对结果进行预测。在SNLI数据集上的实验结果和对多个样例的分析表明,多层神经网络的不同层捕获到了不同的语言信息,不同的网络层擅长不同的推理任务,合理融入不同层次的语言信息有助于方法性能的提升。

中文信息处理60年

本文首先简要回顾中国语文现代化走过的历程、取得的重要成果及其对中文信息处理的影响,然后对汉字信息处理和汉语信息处理的其他工作予以归纳阐述,并对这一领域的学术活动与国际交流情况做简要介绍,最后对中文信息处理所面临的挑战和未来发展的目标给予粗略的展望。

用宋词实现高嵌入率文本信息隐藏

文本信息隐藏是将秘密信息隐藏到文本中的一种技术。与加密后的密文通常是无意义的一串编码不同,文本隐藏生成的隐写文本看起来与普通文本无异,不容易引人怀疑。但是因为文本本身的冗余度低,与图像、视频等载体相比,文本隐藏算法较少且容量偏低。该文提出了一个新的利用宋词的文本隐藏算法,并设计实现了由编码器、解码器、词典和词牌模板组成的系统。秘密信息被隐藏到在字数、行数、句子形式、格律和韵脚等方面符合某个词牌的隐写宋词中。系统在保证良好安全性的同时,嵌入率达到了16%。据我们所知,这是第一个利用特殊体裁的文本信息隐藏算法。

基于语言学知识的发音质量评价算法改进

随着普通话推广工作的深入,采用计算机进行普通话的辅助测试和学习的需求日益迫切。本文针对普通话发音特点,提出了一种改进的基于音素的自动发音质量评价算法。新算法在隐马尔科夫模型的对数后验概率算法基础上,引入普通话发音的语言学知识。与改进前相比,新算法不仅降低了运算量,而且在普通话水平测试的303人现场录音库上,使得机器打分与国家级评测员打分之间的相关度从0.704提升到0.795。

基于约束模型的韵律短语预测

本文提出了基于语法约束和长度约束的韵律短语预测模型。在语法约束模型中,我们引入了组块作为基本的节律分析单元。韵律短语的长度约束模型是利用隐马尔科夫模型对语句中韵律短语的长度规划进行建模,这个模型对短语的长度分布及韵律词与韵律短语的关系进行了描述。最后,利用一个称为k-候选的方法来融合这两个约束模型。整个方法充分利用了韵律短语的语法约束和长度约束,并将之有机地结合起来。试验表明,该预测模型达到了很好的效果,韵律短语边界识别的调和平均值达到82.9%。

基于二元语义和AHP法的矿山职业危害综合评价方法

为科学评价矿山企业职业危害风险,提出一种基于二元语义和层次分析法(AHP)的矿山职业危害风险综合评价方法。首先,在分析企业生产活动的过程和相关文献的基础上,应用相关性分析方法,优化建立地下矿山职业危害风险评价体系;其次,在分析二元语义理论的基础上,给出原始数据标准化处理方法和详细的建模步骤;最后,通过实例进行应用。实例分析结果表明:利用语言短语处理定性信息的准确性高;职业危害风险的负面因素主要为粉尘等致灾因子,通过提高作业者素质和安全管理水平可大大降低其风险。

《中国语言生活状况报告》中成语与习语的调查与思考

成语与习语的调查是《中国语言生活状况报告》在2007年的新增项目,这表明成语与习语使用情况引起了人们更多的关注。成语与习语的研究在语言应用中有广泛而深刻的意义。该文在基于大规模真实语料调查的基础之上,对成语与习语的使用情况做出了"单字差异"等比较,从中发现一些语言现象并提出了自己的思考,以期对汉语语言事实的发现、语言规律的总结、语言词汇的规范化等方面有所裨益。

汉语句法树库标注体系

语料库的句法标注是语料库语言学研究的前沿课题。本文在研究和总结国内外句法树库标注实践的基础上 ,提出了一套汉语真实文本的句法树标注体系。它以完整的层次结构树为基础 ,对句法树上的每个非终结符节点都给出两个标记 :成分标记和关系标记 ,形成双标记集的句法信息描述体系。目前 ,这两个标记集分别包含了 1 6和 2 7个标记 ,对汉语句子的不同句法组合的外部功能分布和内部组合特点进行了详细描述。在此基础上 ,我们开发完成了 1 0 0万词规模的汉语句法树库TCT 。

基于二元语义评价信息的个体优势特征识别方法

本文依据群体语言评价信息特点,基于二元语义信息处理、理想点评价模型及聚类分析等方法,给出了基于二元语义评价信息并适用于层次结构的个体优势特征识别方法;对某企业的文化优势特征进行识别,演示了方法的使用过程,并说明了所提方法的可行性和有效性。从二元语义的评价信息中,本方法能够比较充分地挖掘和体现被测行为主体的个体优势特征,能够为决策者提供多种维度的决策信息。

智能代理技术在搜索引擎中的应用

分析了当前中文搜索引擎存在的主要技术问题 ,指出缺乏中文信息处理技术和高级人工智能技术的支持是导致中文搜索引擎质量普遍偏低的重要原因之一。在此基础上提出了新一代智能搜索引擎的总体设计方案并详述了智能代理技术应用于新一代搜索引擎的具体方法。该方法能很好地适应Internet信息分布、变化快和增长快的特点。

智能代理技术在新一代搜索引擎中的应用

本文分析了当前中文搜索引擎存在的主要技术问题，指出缺乏中文信息处理技术和高级人工智能技术的支持是导致中文搜索引擎质量普遍偏低的重要原因之一，在此基础上提出了新一代中文智能搜索引擎的总体设计方案并详述了智能代理技术应用于新一代搜索引擎的具体方法，该方法能很好地适应Ｉｎｔｅｒｎｅｔ信息分布、变化快和增长快的特点．

建设综合型语言知识库的理念与成果的价值

积20余年之努力与锤炼,北京大学计算语言学研究所完成的一项科研成果"综合型语言知识库"于2007年2月通过了教育部组织的技术鉴定。鉴定结论认为"其规模、深度、质量和应用效果在我国语言工程实践中是前所未有的。该成果是以汉语为核心的多语言知识库建设中最全面、最重要的研究成果,总体上达到了国际领先水平"。本文在介绍以《现代汉语语法信息词典》为基础的综合型语言知识库的规模、构成、内容、品质和发展历程之后,陈述建设综合型语言知识库的理念,期望与读者分享在计算语言学和自然语言处理这一交叉学科领域内治学的心得与研发的经验。同时也对这项成果的应用实例进行分析,评估它的应用潜力,期望它在以汉语为核心的多语言信息处理事业的发展中起到铺路填坑或者投石问路的作用。

语言学与统计方法结合建立汉语动词SCF类型集

动词子语类框架(Subcategorization Frame以下简称SCF)在句法分析、语义角色标注等方面的研究中具有不可或缺的重要作用。在子语类框架信息的获取过程中,首先要建立标准完备的子语类框架类型集。目前英语研究已经建立了获得普遍共识的子语类框架类型集。而汉语方面还没有标准的动词子类框架类型集。本文提出一种语言学知识与统计方法相结合的汉语动词子语类框架类型集的半自动获取方案。初步建立起既符合统计结果又基本符合语言学理论的汉语动词子语类框架类型集。实验证明,加入语言学理论的子语类框架类型集降低了对语料的依赖程度,比完全由分析语料产生的类型集更完备。

基于二元语义的职业健康安全管理体系绩效评价

为提高职业健康安全管理体系(OHSMS)绩效和职业健康安全绩效,根据OHSMS绩效评价的重要性,提出基于二元语义的OHSMS绩效评价模型。研究科学合理的评价指标体系,并运用层次分析法(AHP)和灰色关联分析法(GRA)确定主客观权重,再运用乘法集成法确定组合权重,作为评价指标的最终权重,运用二元语义的集结算子,计算OHSMS绩效评价指标的综合值,取得最终的评价结果。结果表明,基于二元语义的OHSMS绩效评价将专家经验与定量计算相结合,合理地处理许多因素的不确定性,通过确定不符合项和改进措施,持续改进OHSMS绩效。

基于良好农业规范(GAP)的蔬菜种植地系统评价方法

针对良好农业规范(GAP)在蔬菜基地应用中的种植地评价问题,提出了蔬菜种植基地农产品安全评价指标体系。应用层次分析法(AHP)分析得到各个评价指标的权重。给出了基于二元语义语言信息处理的系统评价方法和计算步骤,最后结合出口菠菜备案基地的农产品安全评价进行了实例分析。图1,表2,参9。

从不同的角度看知识本体

本文讨论知识本体及其在自然语言处理中的应用，首先从哲学、计算机科学、语言学、文献情报学等不同的角度来讨论知识本体，并简要介绍知识本体在信息检索、信息抽取、自动文摘、词义排歧中的应用。

外语听力理解的超语言图式制约

从我国大学英语听力教学的现状出发,从图式理论的角度论述了听力理解过程中的超语言制约,论证了超语言图式知识的积累在外语(英语)听力中的重要作用。最后,提出了一些实际对策。

基于短语结构文法的评价关系识别研究

基于短语结构文法的评价关系识别方法,需首先对评价句进行短语结构句法分析,然后提取出评价词语和候选评价对象,判断评价词语和候选评价对象之间的句法路径是否合法,并将评价词语和评价对象之间的对应关系分为三种情况:第一,评价对象为主语,评价词语为谓语;第二,评价对象为宾语,评价词语为后指动词;第三,评价词语为修饰语,评价对象为中心语,最终识别出评价对象和评价词语之间的评价关系。在京东手机商品的用户评论分析实验中,这种方法的准确率为88.02%,召回率为84.32%,F1值为85.82%。实验结果表明,这种方法是有效的,在评价关系识别中引入相对成熟的短语结构文法能有效提升系统在容错率、评价对象边界识别、避免规则冲突、远距离搭配识别这些方面的性能和优势。

机器翻译技术的发展及其应用

本文结合一些典型的机器翻译系统,介绍了近年来机器翻译技术的进展情况,探讨了机器翻译技术的发展趋势,最后介绍了目前机器翻译的实际应用情况。