语言研究中的小数据统计范式及其人工智能变革——“语言智能学科”方法论构建(之一)

统计学被认为是20世纪最重要的发现之一。语言学与统计学的结合,创生了语言研究的一种新范式,堪称“语言统计范式”。本文对遍行于语言学数十年的语言统计研究进行梳理与阐释,将其解析为“语言小数据统计范式”,同时分析其面临的人工智能与大数据挑战,展望今后的智能统计范式变革。

语言智能统计范式前瞻——“语言智能学科”方法论构建(之二)

人类社会经历了从“无数据”到“小数据”再到“大数据”的演进。小数据催生了科学与语言研究中的“小数据统计范式”,大数据催生了科学研究中的“第四范式”并正在催生语言研究中的“智能统计范式”。文章提出,语言智能统计范式将是建立在未来大数据统计学原理基础之上、以数据挖掘和人工智能技术为核心支撑的语言研究新模式,它具有四大内涵:大数据对象内涵、数据挖掘工具内涵、大数据统计学内涵以及大数据研究思维内涵,与小数据统计范式关联互补。语言智能统计范式发展的快慢与普及程度,将取决于语言大数据“算料”和“算法”双重驱动力的大小。

计算语言学中语言知识生产范式的变迁

在计算语言学这门学科的发展过程中,语言知识的生产范式经历了四次大的变迁:基于规则的语言知识生产范式、基于统计的语言知识生产范式、基于深度学习与神经网络的语言知识生产范式、基于生成式人工智能的语言知识生产范式。本文详细地描述了这些语言知识生产范式的变迁过程。