语言大数据迷思

Pondering the Implications of Big Data Analysis

过去数十载,学界使用电脑处理语言资料,提炼出人类语言活动的规律。研究过程中大家面对浩瀚的原始资料,希望能建立更大的语料库。例如崔希亮、张宝林《全球汉语学习者语料库建设方案》一文(《语言文字应用》,2011年第2期),提出建构全球汉语学习者中介语大语料库的设想。2012年美国科技业关注大数据资源的流通与应用。中文计算机学界的响应是如何把大量资料以“词向量”计算法列出词语在中文文本中与临近词语出现的关系,例如2018年腾讯人工智能实验室发文《开源大规模高质量中文词向量数据,800万中文词随你用》。这样的大数据能给语言学界提供什么样的新的研究领域并不明显。