日语色彩词「赤い」的认知语义研究——基于大规模语料库

该文基于大规模语料库从隐喻和转喻两个角度分析日语色彩词「赤い」的语义扩展机制,研究发现:(1)「赤い」的语义扩展方向是由表达主观感觉性质的语义扩展到表达客观存在性质的语义;(2)表达主观感觉性质的语义多于表达客观存在性质的语义;(3)基于身体经验的原型义很重要,是理解扩展义的前提;(4)在认知理据方面,基于隐喻的语义扩展少于基于转喻的语义扩展;(5)语义扩展程度较高。同时,日语学习者在学习日语色彩词时,也要先找到各义项间的认知理据,重点理解和把握原型义,了解日本人认知世界的方式,才能更好地学习扩展义。

基于Web的大规模语料库构建方法

低成本、短周期构建大规模语料库是目前研究工作的难点之一。该文提出一种建设大规模语料库的新方法,主要解决如何基于Web构建大规模的语料库及对语料库纠错,从而提高其质量。该方法利用网格技术的大规模计算能力与Wiki的开放编辑环境去收集和处理语料,根据可信度模型挑选出不可信的语料并由人工进行校对,计算校对后结果的可信度,选择出最可信的结果作为正确语料存储到语料库中。

大规模语料库可用性评测方法

提出了一种大规模语料库可用性评测方法。通过分析语料库工程的生命周期,构建了大规模语料库可用性评测指标体系,运用层次分析-模糊综合评价方法实现了语料库的可用性评测,给出了语料库的可用性级别。分析语料库的评测结果,确定影响语料库可用性的瓶颈因素,进而提出针对性的改进措施。最后,举例说明了该方法在语料库上的应用。

基于大规模语料库的多引擎语言翻译模型的构建

提出了基于大规模语料库的多引擎翻译系统模型的构建,该模型主要包括三大部分:基于层次化长句分解和支持向量机基本名词识别的句法分析器、基于实例匹配的翻译子引擎、基于语块的统计翻译子引擎.该语言翻译模型综合各个翻译模型的优点,最大程度地提高机器翻译的准确率和召回率.实验表明该系统的各项指标都比较理想,尤其是处理效率很高.

大规模汉语标注语料库的制作与使用

随着自然语言处理研究的深入开展 ,大规模语料库的作用越来越重要。自从70年代美国制作了著名的BrownCorpus以来 ,世界上已制作了各种语料库。富士通研究开发中心和北京大学计算语言学研究所合作 ,以人民日报语料为对象 ,制作大规模汉语标注语料库 ,这个语料库是世界上规模最大的标注语料库之一。

基于大规模语料库的汉日触压觉形容词认知语义对比研究——以“硬”和「かたい」为例

本文基于大规模语料库详细对比了触压觉形容词"硬"和「かたい」的认知语义结构。研究发现,二者具有以下共同点:(1)语义扩展的整体方向一致;(2)原型义相同;(3)语义扩展程度很高;(4)一次扩展义远远多于二次扩展义;(5)基于隐喻的语义扩展特别多。这些共同点的成因在于中日两国人民持有相似的基本身体经验和世界认知过程以及二者所表达的概念特征相同。另一方面,二者的不同点体现为"相互拥有多个不同扩展义",其成因在于两国人民对世界细微之处的具体认知过程不同以及中日文化差异。

从汉字词汇的使用看汉字在东亚国家的前途——基于大规模语料库的考察

日本、韩国、越南等东亚国家的汉字一直是社会各界关注的热点。由于日韩越三国分别实行不同的语言政策,其结果是日本书面语中仍大量使用汉字,而韩国汉字消失殆尽,越南彻底废除汉字。但是近年来韩国、越南出现了恢复使用汉字的呼声。根据对日本、韩国、越南的现代语言的大规模数据调查,虽然韩国、越南基本不使用汉字,但是,这些语言中的汉字词汇并没有受到这些国家限制或者废除汉字的语言政策的影响,仍然大量存在,日本汉字词汇的使用量较明治时期也所增长,汉字词汇就像汉字的种子埋藏在这些国家的语言中。随着社会的进步,原先废除汉字的原因正在逐步消失,只要条件成熟,汉字在这些国家的前途是光明的。

大规模英汉平行语料库的开发与实用性探讨

英汉平行语料库因其容量大、语料真实、检索快速便捷准确等优势在现代英语教学中发挥着越来越重要的作用。本文将简要探讨大规模英汉平行语料库的开发与其实用性。

大规模语音语料库的文语转换技术研究

语音是人与人之间沟通及交流的最自然、最便捷的方式之一,随着科学技术的发展,人类与互联网、计算机等网络及机器的交流方式也不断向语音交流方式转变。语音语料库的建立为文语转换技术提供了新的发展空间及发展方向。本文立足于对大规模语音语料库及文语转换技术的简述,对大规模语音语料库在文语转换技术中的应用进行阐述和探析,以提高其应用的精确性。

大规模真实文本处理的理论与方法

背景随着因特网和光盘等大容量存储技术的普及,机储文本语料库的规模已冲破1万亿(10～(12)字节。它一方面带来了巨大的商业利益,促进了信息咨询业的空前发展;另一方面也向学术界和企业界提出了挑战,呼唤着大规模真实文本处理技术的革新。据美国Lexis-Nexis公司John Rausch高级工程师在第5届国际大规模语料库研讨会(The Fifth workshop on Verylarge Corpora,简称WVLC-5)上披露,这家提供信息检索服务的公司今年的机储文档已达15亿件,相当于15000亿字符,是该公司1993年机储文档的7.5倍,并且持续以每周950万件的速度递增。此外Lexis—Nexis公司平均每天要接受50万次客户查询,每次查询平均访问182个不同数据库,而每次查询的响应时间平均为4.8秒,公司每天为客户打印的文档多达37.5万件。从以上数据中不难看到,信息资源在当今社会中的重要性,以及文本语料库(或数据库)所达到的巨大规模和相应的处理技术。

语料库自然标注信息与中文分词应用研究(英文)

以中文分词为应用目标,将大规模语料库上存在的自然标注信息分为显性标注信息与隐性标注信息,分别考察了它们的分布和对大数据集上语言计算的影响。结果表明,两者都直接或间接地表达了作者对语言的分割意志,因而对分词具有积极的影响。通过词语抽取测试,发现在缺乏丰富显性标注信息的文本中,来自语言固有规律的自然标注信息对字符串有着强大的分割性能。

基于熵的机器翻译伪并行语料库选择方法

为了获得高质量的NMT模型,大规模并行语料库是必不可少的。使用反向翻译构造伪造语料库,这些伪造语料中存在大量的噪声,这些噪声会降低NMT模型的翻译质量。为了从反向翻译的伪造语料中选取高质量的语料,对此,提出了多种基于熵过滤伪造语料的方法,使用单个或多个语言模型按照不同的困惑度选择方法筛选伪造语料,实验表明,联合不同语言模型能够筛选高质量语料,并提高模型的质量。

ChatGPT工作原理及对未来工作方式的影响

介绍了ChatGPT的工作原理,重点介绍其基于大规模语料库进行训练的方法和使用Transformer架构实现的自注意力和多头注意力机制。探讨了ChatGPT对未来工作方式的影响,包括自动化、智能化和改变人机交互方式。ChatGPT作为一种新兴的人工智能技术,将会对未来的工作方式和就业市场产生深远的影响。

“大语言模型与知识图谱”专题征文通知

大语言模型通过在大规模语料库上训练,能够自动学习和理解自然语言,具备强大的自然语言生成能力。当前,以ChatGPT为代表的语言大模型正在人工智能的多个领域产生着深刻影响,引发了广泛关注。知识图谱是一种组织和表示结构化知识的技术,它可以描述实体、属性和关系,并支持复杂的查询推理,为自然语言理解、信息检索和智能推荐等任务提供了基础。

“大语言模型与知识图谱”专题征文通知

大语言模型通过在大规模语料库上训练,能够自动学习和理解自然语言,具备强大的自然语言生成能力。当前,以ChatGPT为代表的语言大模型正在人工智能的多个领域产生着深刻影响,引发了广泛关注。知识图谱是一种组织和表示结构化知识的技术,它可以描述实体、属性和关系,并支持复杂的查询推理,为自然语言理解、信息检索和智能推荐等任务提供了基础。

“大语言模型与知识图谱”专题征文通知

大语言模型通过在大规模语料库上训练,能够自动学习和理解自然语言,具备强大的自然语言生成能力。当前,以ChatGPT为代表的语言大模型正在人工智能的多个领域产生着深刻影响,引发了广泛关注。知识图谱是一种组织和表示结构化知识的技术,它可以描述实体、属性和关系,并支持复杂的查询推理,为自然语言理解、信息检索和智能推荐等任务提供了基础。

“大语言模型与知识图谱”专题征文通知

大语言模型通过在大规模语料库上训练,能够自动学习和理解自然语言,具备强大的自然语言生成能力。当前,以ChatGPT为代表的语言大模型正在人工智能的多个领域产生着深刻影响,引发了广泛关注。知识图谱是一种组织和表示结构化知识的技术,它可以描述实体、属性和关系,并支持复杂的查询推理,为自然语言理解、信息检索和智能推荐等任务提供了基础。

“大语言模型与知识图谱”专题征文通知

大语言模型通过在大规模语料库上训练,能够自动学习和理解自然语言,具备强大的自然语言生成能力。当前,以ChatGPT为代表的语言大模型正在人工智能的多个领域产生着深刻影响,引发了广泛关注。知识图谱是一种组织和表示结构化知识的技术,它可以描述实体、属性和关系,并支持复杂的查询推理,为自然语言理解、信息检索和智能推荐等任务提供了基础。

“大语言模型与知识图谱”专题征文通知

大语言模型通过在大规模语料库上训练,能够自动学习和理解自然语言,具备强大的自然语言生成能力。当前,以ChatGPT为代表的语言大模型正在人工智能的多个领域产生着深刻影响,引发了广泛关注。知识图谱是一种组织和表示结构化知识的技术,它可以描述实体、属性和关系,并支持复杂的查询推理,为自然语言理解、信息检索和智能推荐等任务提供了基础。

“大语言模型与知识图谱”专题征文通知

大语言模型通过在大规模语料库上训练,能够自动学习和理解自然语言,具备强大的自然语言生成能力。当前,以ChatGPT为代表的语言大模型正在人工智能的多个领域产生着深刻影响,引发了广泛关注。知识图谱是一种组织和表示结构化知识的技术,它可以描述实体、属性和关系,并支持复杂的查询推理,为自然语言理解、信息检索和智能推荐等任务提供了基础。大语言模型与知识图谱之间存在着密切的联系和互补性。当前大语言模型在数据真实性、可解释性、可扩展性等方面存在一定的局限性。