语言的羡余度

语言是由符号序列组成的,如果语言中每个符号的出现是等概率不相关的,那么每个符号的熵为最大熵H。;而实际上语言是有结构性的,各个符号之间彼此影响,如果充分地考虑到各个符号之间的这种影响,则这个符号的熵为极限熵H_∞。在通讯中,如果在编码时不考虑语言的结构性,那么,就有许多成分显得多余,多余成分的百分比,称为语言的羡余度,用R表示。羡余度R可按下面公式计算:

数理语言学

数理语言学是用数学思想和数学方法来研究语言现象的一门新兴的语言学科。这门新兴学科的出现,使语言学与现代数学、计算机科学、控制论、信息论以及人工智能挂上了钩,逐渐走上了现代化的道路。数理语言学是由于机器翻译、情报自动检索、自然语言理解。