我国民族语言文献文本数字化识别问题——基于OCR及其工具

我国少数民族语言文献数量庞大,文字种类繁多,内容涵盖政治、经济、法律、历史、文学、艺术、宗教、天文、地理、医药等领域,是中华民族文化知识的重要组成部分。构建各民族文献文本数据,使之应用于自然语言处理和人工智能,能有效促进中华优秀传统知识创新性传承,促进知识社会化,是对各民族语言古文献和现代书报刊进行文字识别和文本转换数据构建的基础。国内早期OCR技术虽然解决了几种主要少数民族文字识别的问题,但因字符为非Unicode基本集编码而弃用。当前OCR技术已能较好识别蒙、藏、维、哈、朝等文种文献,但在处理我国汉文与少数民族文字混排图像文本时仍然效果不佳。因此应推进少数民族语言文献OCR识别技术创新。我国少数民族语言文献现行活态文字有十多种,其中非拉丁字系的文字有11种,OCR技术应重点解决这类少数民族语言字系的抄本、刻版和铅字印刷文本,以及汉文与民族文字混排文本的识别问题,研发开放的多功能工具和平台。在此基础上,进一步开展少数民族语言文献文本大规模数据构建,以促进我国语言科学研究和自然语言处理的创新发展。

我国低资源语言大规模数据建构及语言田野实践的数据转向

低资源语言是指缺乏可用于自然语言处理任务和语言学计量分析所需足够基础数据的语言。低资源语言数据稀缺,是当前语言科学和自然语言处理共同面临的问题。语言数据资源最基础的部分是单语或双语词汇、语句的语音和文本数据。我国普通话、粤方言、藏语、维吾尔语、蒙古语、壮语总体属于高资源语言,其他语言都属于低资源语言,其中县乡语言和方言属零资源语言。建构我国低资源语言的大规模数据,有助于强化我们掌握自己国家语言资源的控制权,发挥我国自然语言处理领域在语言模型技术创新中的独特作用,推动语言田野工作的数据转向,创新田野语言学理论和实践,促进基于数据计量的语言学广域研究。建构我国低资源语言数据,主要有四项任务:一是建构大规模词语数据集,二是建构知识语义词网,三是建构大规模句子数据集,四是现有语言资料的数据化。

语言资源论纲

语言是一种重要的社会资源。在当代现实条件下和未来发展趋势中,语言资源的可利用价值正不断凸现,而语言多样性程度的急剧降低,使得语言资源逐渐成为一种不可再生的稀缺资源。语言资源具有信息价值、教育价值、文化价值、经济价值、生态价值和政治价值。开展语言资源的监测,充分而有效地开发与利用各种语言资源,对于国家社会、文化、经济的发展,具有重要的作用和迫切的现实性。

面向少数民族濒危语言的语档语言学

我国少数民族濒危语言调查记录目前仍然以个人学术旨趣为主要导向,在理论观念、调查实践、技术路线和成果形式等方面,都存在一定的缺陷。面向濒危语言,以服务语言族群和语言资源利用为目的的语档语言学,注重全面采录原生态语料,对语料的充分标注和解释,强调语料数字化立档和永久保存,重视语言资源社会利用和技术服务。这些特点突显了学科的实践性,顺应了时代的需求。我国濒危语言调查记录,应充分借鉴语档语言学的理论成果和实践经验,从个人纯学术研究转向适应社会需要的实践应用。

国家语言普查刍议

当代语言生活的巨变,语言多样性危机与语言资源的保护与利用,民众语言需求的多元化,由语言引起的新问题的不断出现,国家语言政策的调整,都表明开展国家语言普查工作显得必要而迫切。国家语言普查是国情调查的组成部分。应尽快建立科学的国家语言普查体系,包括:明确国家语言普查的任务与目标,建立高效的语言普查工作机制,组建和培训高素质的语言普查队伍,制订数据采集和处理的相关规范和技术标准,建立普查过程监督与后期评估系统。

我国语言生态危机的若干问题

语言生态观把语言多样性与生物文化多样性的相关性作为基本的理论原则。语言生态 的平衡发展，是人类生存与发展的必要条件。我国语言生态危机表现在：语种的灭绝与濒危，双 语区语言的单极化，局部地区语言(方言)岛的同化与消亡，弱势语言结构整合力的衰变，母语 权受到抑制，等等。保护语言生态，应重视语言生态的调查与评估，加强民族母语教育和语言规 划，尊重弱势族群的各项权利，维护其自然环境与社会结构的完整性。

关于濒危语言研究的几点思考

近五年来我国濒危语言研究取得了重大进展,但也存在若干问题。主要有:一、对濒危语言研究的性质和目标认识不足;二、语言研究者对自身在濒危语言研究中的角色定位缺乏全面理解;三、对濒危语言的保存与保护缺乏统一的认识。因此,必须重申濒危语言研究的应用属性,把握为保护人类文化遗产而研究这个核心目标。研究者要树立为语言族群服务的意识,摆正自身的服务者角色。在具体研究中,应区分保存与保护两种不同层次的工作,遵循各自的研究原则。

中国的濒危语言保存和保护

中国的濒危语言保存和保护经历了由少数民族语言学家率先开展濒危语言调查研究并宣传呼吁,逐渐影响语言文化学术界,并引起政府和社会关注而开展保护行动这样一个渐进过程。其发展历程分三个阶段:第一阶段从1992年至2003年,是濒危语言研究的启蒙和探索期;第二阶段从2004年至2014年,是繁荣和转向期;第三阶段从2015年至今,由国家政府为主导,实施语言资源保护工程。后语保时代应充分认识我国语言濒危的现实,切实转向保存和保护的实践,以知识—交际模式记录和保存语料资源;以语言传承和传播为保护目标,开展有效的语言服务。

语言多样性问题与大众传媒

当代大众媒体具有强大的影响力和渗透力,其单语化和单向传播现状对语言多样性有重要影响作用。大众媒体应肩负起保护和促进语言文化多样性的历史使命,积极唤起民众意识,创造条件,逐渐实现在地域媒体中的双语或多语传播,这对于确立弱势语言和文化在当代社会中的重要角色,有积极的引导和推动作用。

论东南方言发展史中南迁与族群的关系

传统的历史主义语言观认为,南方地区吴、闽、客、赣、粤等方言是不同地域的北方汉人在不同历史时期南迁所用的汉语发展而来。这种观点的基础是通过对现存方言事实与《广韵》音系的比较来构拟古今语言结构对应关系;而族群互动的文化史观则认为,南方汉语方言并非汉语,强调南方土著民族语言在这些方言形成中的重要作用。实际上,东南诸方言在上千年的历史形成与发展过程中,都不可能是北方汉人带来的“纯正”的中原汉语,南方各民族都有不同程度的融合,而在族群的融合中,每种方言都在混化、交融的过程中走过了自己独特的发展道路。

汉语方言自然口语语料库建设的几个基本问题

汉语方言自然话语语料库建设是国家语言资源建设的重要组成部分,它在语言教学研究、多语通讯和信息服务、语言识别和说话人识别、口传文化传承和保护等领域,有着广泛的应用。汉语方言自然口语语料库的价值,在于话语语料原生态属性。语料库的建设应以语料的多用途为目的。话语语料应体现体裁和题材的广泛性和多样性,并具备一定的规模量级。探索多快好省的自然话语采录方法,建立规范易行的标注系统,是汉语方言自然口语语语料库建设的保证。汉语方言自然口语语料库,要适应移动互联网时代信息技术的更新与发展,用面向广大用户的开放理念研发服务于社会公众的信息平台。

少数民族濒危语言有声语档建设再论——OLAC技术规范及其适应性

建立科学的理论规范和实践规程,是少数民族濒危语言有声语档建设的基础工作。国际民间协作组织——开放语档联盟,针对语言资源数字网络化立档制定了一整套技术标准和建议性文件。这些文件对于制定我国濒危语言有声语档建设的语料类型标准、语言编码标准、数据格式标准和内容描述规范,有重要的参考借鉴价值。濒危语言有声资源数字化立档,应充分吸收这些标准和实践建议,结合语言国情,进一步补充和完善。少数民族濒危语言田野调查者应破除本位主义观点,依照统一的理论规范和实践规程,进行有声资源的采录与立档,把语言资源无私地奉献给社会。

论声调语言音节结构成分的互动关系——声母对声调的制动作用

声调语言音节结构成分是互动互制的,声韵调相互依存相互制约。声母的清浊特性在声调变化中起决定作用;在此基础上,送气不送气也会不同程度地影响调类的分化和调值的变化;声母是否带前置辅音和冠音以及前置音的性质均会影响声调调类的分化和调值变化,但归根到底取决于整个声母的清浊特性。语音结构的变化是声韵调相互制动的结果。

少数民族语言数字遗产的保护

少数民族语言数字遗产是指用数字记录工具采集记录的有社会历史文化意义和传统环境知识价值的民族语言语料,包括濒危语言的口语音像和转写资料,口传文学和口述历史资料,语言叙述和表达的传统技艺,传统环境知识词汇和表达。我国民族语言研究者、语言文化工作者和一些机构实体曾记录或留存了大量的民族语言数字语料等数字遗产,但缺乏有效集成和规范加工,无法共享互用,存在严重闲置和浪费。应在社会语言文化领域倡导和宣传科学保护民族语言数字遗产的理念,建立保护语言数字遗产的学术规范和技术准则,开展民族语言数字遗产保护实践,促进语言数字资源的保护和利用。

中国濒危语言有声语档数据规则

中国濒危语言有声语档数据规则分五个部分:一、濒危语言的语档数据构成;二、语档数据文件格式;三、语档音像数据质量标准;四、语料采录和数据处理工具;五、音像语料采录环境和设备匹配建议。该规范适用于中国濒危语言的记录和建档,也可作为中国语言田野调查记录和语料处理的参考准则。

少数民族濒危语言有声语档建设三论

少数民族濒危语言有声语档应当成为一个包括语言资源档案馆、信息网络平台和社会化语言产品的语言资源服务体系。濒危语言语档信息网站是开放的,是动态的语音资源采录、存储、发布和利用的平台。语料采录、加工、文本转写和数字化立档,应充分考虑语言教学和培训、文语转换等大众化应用产品开发的需要,以适应当代语言文字信息化的要求。因此,应将制定拼音方案和书写符号系统,编制音节表以及建立音节发音库,作为语档建设的重要内容。

少数民族濒危语言有声语档建设四论——关于语料采录和加工、技术培训等问题

采录濒危语言现存口语并进行充分的转写和标注加工,是濒危语言语档建设的中心任务。在遵守田野伦理的前提下,围绕现存活态话语事件,采用多种方法,录制题材和体裁多样的口语语料,并确保录音质量符合国标二级标准。有声语料应是具有一定时长规模的熟语料。转写和标注应能较好地反映语言系统特征,并尽可能体现传统环境知识。目前,应尽快制定濒危语言口语标注规则,对国内外的转写标注软件进行测评和优选;同时还要积极开展濒危语言口语采录和立档方面的专门技能培训,在濒危语言调查研究领域推广语言资源记录和立档方面的知识和技能。

岭南濒危汉语方言研究刍议

岭南是汉语方言的集聚地,非主体方言受强势方言的侵蚀愈来愈突出,人口少的方言走向濒危和消亡,已成为岭南语言生活的凸显态势。当前岭南濒危方言研究应考虑以下问题:一、确立研究目标和任务;二、明确方言学者的角色定位,避免走单纯的学术路线;三、充分借鉴国外的理论成果和实践经验,制订岭南濒危方言资源采集、记录和保存的规范和标准。

中国濒危语言自然话语转写规则(试行)

本文定义了中国濒危语言自然话语转写规则,内容包括五个部分:一、定义和范围;二、引用和参考的规范性文件;三、口语现象;四、转写规则;五、转写符号集。本规则适用于中国濒危语言自然话语的采集、记录和建档,也可作为中国语言口语语料库建设的参考准则。