基于深度学习的自然语言处理鲁棒性研究综述

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取得很好结果的模型在实际应用中的效果却经常大打折扣.近期的一些研究还发现,在测试数据上替换一个相似词语、增加一个标点符号,甚至只是修改一个字母都可能使得这些模型的预测结果发生改变,效果大幅度下降.即使是大型语言模型,也会因输入中的微小扰动而改变其预测结果.什么原因导致了这种现象的发生?深度神经网络模型真的如此脆弱吗?如何才能避免这种问题的出现?这些问题近年来受到了越来越多的关注,诸多有影响力的工作都不约而同地从不同方面讨论了自然语言处理的鲁棒性问题.在本文中,我们从自然语言处理任务的典型范式出发,从数据构建、模型表示、对抗攻防以及评估评价等四个方面对自然语言处理鲁棒性相关研究进行了总结和归纳,并对最新进展进行了介绍,最后探讨了未来的可能研究方向以及我们对自然语言处理鲁棒性问题的一些思考.

GPT系列大语言模型在自然语言处理任务中的鲁棒性

大语言模型(large language models,LLMs)所展现的处理各种自然语言处理(natural language processing,NLP)任务的能力引发了广泛关注.然而,它们在处理现实中各种复杂场景时的鲁棒性尚未得到充分探索,这对于评估模型的稳定性和可靠性尤为重要.因此,使用涵盖了9个常见NLP任务的15个数据集(约147000个原始测试样本)和来自TextFlint的61种鲁棒的文本变形方法分析GPT-3和GPT-3.5系列模型在原始数据集上的性能,以及其在不同任务和文本变形级别(字符、词和句子)上的鲁棒性.研究结果表明,GPT模型虽然在情感分析、语义匹配等分类任务和阅读理解任务中表现出良好的性能,但其处理信息抽取任务的能力仍较为欠缺,比如其对关系抽取任务中各种关系类型存在严重混淆,甚至出现“幻觉”现象.在鲁棒性评估实验中,GPT模型在任务层面和变形层面的鲁棒性都较弱,其中,在分类任务和句子级别的变形中鲁棒性缺乏更为显著.此外,探究了模型迭代过程中性能和鲁棒性的变化,以及提示中的演示数量和演示内容对模型性能和鲁棒性的影响.结果表明,随着模型的迭代以及上下文学习的加入,模型的性能稳步提升,但是鲁棒性依然亟待提升.这些发现从任务类型、变形种类、提示内容等方面揭示了GPT模型还无法完全胜任常见的NLP任务,并且模型存在的鲁棒性问题难以通过提升模型性能或改变提示内容等方式解决.通过对gpt-3.5-turbo的更新版本、gpt-4模型,以及开源模型LLaMA2-7B和LLaMA2-13B的性能和鲁棒性表现进行对比,进一步验证了实验结论.鉴于此,未来的大模型研究应当提升模型在信息提取以及语义理解等方面的能力,并且应当在模型训练或微调阶段考虑提升其鲁棒性.

上海土音新字本《伊娑菩个比方》及其所见19世纪50年代上海方音

文章介绍了美国传教士郏爱比(Asa Bruce Cabaniss)以高第丕(Tarleton Perry Crawford)等传教士创制的上海土音新字翻译编写的上海话本《伊娑菩个比方》(即《伊索寓言》),将其内容与罗伯聃(Robert Thom)所翻译的文言本的《意拾喻言》进行了比较,并整理分析了该书所反映的19世纪50年代上海话的音系特点。

从《儿女英雄传》看一百四十年来常州话的演变

文章分析了晚清小说《儿女英雄传》中的北京话和常州话的对音材料,并结合93个常州地区方言点的共时调查材料,拟测一百四十年前的常州话的面貌。然后和赵元任于1928年记载的常州话比较,梳理了1878年至1928年五十年间发生的诸多音韵变化,并给出解释。通过本个案研究,文章揭示了明清小说中的方言语料对方言研究的重要性,同时强调把文献材料和共时调查得到的方言地理材料结合,对研究方言的区域性演变具有重要意义。

成长中的演化语言学:汉藏语系的演化

汉藏语的起源是一个极具争议的话题.一种观点认为汉藏语的祖语源起约6000年前的中国北方.另一种认为原始汉语起源于中国西南部或印度东部.借助语言学材料和进化生物学的方法.再整合遗传学和考古学证据.将为研究反藏语的起源和演化提供新途径.

感知方言学——母语者感知空间的计量探索

本文旨在介绍感知方言学的研究目标、基本方法和原理。感知方言学包含感知距离和语言态度两个重要的议题。前者有“小箭头法”“差异分级法”“手绘地图”“录音识别”等方法,后者包括愉悦度评价和正确性评价。本文基于该领域大量国内外前沿研究成果对上述方法逐一介绍,并强调了感知方言学研究的意义。

语音演变的地理语言学解释--以云南香格里拉藏语为例

本文以云南迪庆香格里拉藏语为例,讨论如何利用地理语言学的方法来了解语音演变的过程和地理分布之间的关系。地理语言学的研究对象大多以词形为主,针对语音演变的地理语言学研究由于音变的自律性而不适用于演变过程的分析。本文指出,在某一个具有历史资料背景的小范围内,我们可以使用地理语言学的方法对语音演变的地理分布进行分析及解释。

方言地理学家贺登崧与方言地理学

贺登崧是著名的方言地理学家,本文分三个部分介绍贺登崧对方言地理学的贡献:第一部分介绍贺登崧的生平,并梳理其方言地理学的学术工作;第二部分介绍贺登崧和高本汉的学术争鸣,并总结贺登崧的学术思想和贡献;第三部分为附录,罗列贺登崧发表的方言地理学论著。

大模型时代的自然语言处理:挑战、机遇与发展

近期发布的ChatGPT和GPT-4等大型语言模型,不仅能高质量完成自然语言生成任务,生成流畅通顺,贴合人类需求的语言,而且具备以生成式框架完成各种开放域自然语言理解任务的能力.在少样本、零样本场景下,大模型可取得接近乃至达到传统监督学习方法的性能,且具有较强的领域泛化性,从而对传统自然语言核心任务产生了巨大的冲击和影响.本文就大模型对自然语言处理的影响进行了详细的调研和分析,试图探究大模型对自然语言处理核心任务带来哪些挑战和机遇,探讨大模型将加强哪些自然语言处理共性问题的研究热度,展望大模型和自然语言处理技术的未来发展趋势和应用.分析结果表明,大模型时代的自然语言处理依然大有可为.我们不仅可以将大模型作为研究方法和手段,学习、借鉴大型语言模型的特点和优势,变革自然语言处理的主流研究范式,对分散独立的自然语言处理任务进行整合,进一步提升自然语言核心任务的能力;还可就可解释性、公平性、安全性、信息准确性等共性问题开展深入研究,促进大模型能力和服务质量的提升.未来,以大模型作为基座,拓展其感知、计算、推理、交互和控制能力,自然语言处理技术将进一步助力通用人工智能的发展,促进各行各业的生产力进步,更好地为人类社会服务.

汉语方言u韵母前裂化音变的蕴含共性及初步解释

从音变类型学的视角看,汉语方言中以*u为音变起点的中古模韵字,在不同声母后发生前裂化音变的难易程度,存在+P/+K<+T<+Ts<+n<+1这一等级序列。其中,+Grave<+Acute这一蕴含共性,可以从发音动作或者声学特征的角度找到合理的解释。

吴语人称包括性问题的类型学研究

文章基于111个吴语方言点,考察了吴语的人称包括性问题。首先就吴语方言人称包括性问题进行了共时层面的考察;然后从人称代词并列结构词汇化为包括式和启用新语素构成包括式这两个角度,考察了包括式的来源。

吴语富阳(东梓关)方言音系

本文主要描写了吴语富阳场口东梓关方言的音系。文章首先对富阳和东梓关进行了简要的介绍,之后列出了东梓关方言的声韵调系统和音韵特点,最后是该方言的同音字汇。

语言学与数字人文:来自方言测量学者的观察——黄河副研究员访谈

当前的数字人文宣称重视语言学研究,但其关注焦点实际上却片面局限于计算语言学等领域,缺乏对语言学学科发展现状的全面理解。文章是对语言学,尤其是方言测量学领域的活跃学者——复旦大学现代语言学研究院黄河博士所作的访谈,目的在于疏通语言学与数字人文的关系。黄河博士认为,“数字人文”应指数字技术辅助下的人文研究,而语言学是一个复杂的学科群,既有偏向人文的领域,如文献语言学;也有偏向自然科学的领域,如神经语言学;还有偏向社会科学性质的领域,如地理语言学。计量方法在后两者中的应用已然十分普遍,这可能也是语言学界较少强调“数字人文”这一概念的原因之一。“数字人文”这一标签在一定历史时期内是有意义的,但其覆盖范围会逐渐缩小,亦不具备构成独立学科的基本条件。此外,黄河博士还以方言测量学为例,指出该领域现阶段计量研究存在的部分问题及一项好的计量研究须具备的要素,其见解对各领域的数字人文研究都深具启示。

汉语程度特指问编码策略的类型学研究——兼论程度疑问代词的演变模型

程度特指问提问属性量,构造形式是“程度疑问代词+量项成分”,量项成分为等级义成分;由于程度具有数值和等级描写的双重内涵,程度特指问也能用以上两者回答。基于跨方言比较,汉语程度特指问的类型特点有:1)构造类型有光杆型、后缀型、正反型、正反-后缀型和重叠型五种;2)部分方言存在句法变异,构造类型和程度疑问代词的选择,与量项成分是否可量度、是否区分中性问和偏向问相关;3)程度疑问代词来源于数量疑问代词、方式疑问代词或程度副词。文章最后提出汉语程度疑问代词的语义演变模型,讨论共性与个性问题。

“结构化程度”与“各向渐变性”——宜兴话的方言测量学研究

本文提出“各向渐变性”是衡量语言变异在地理上渐变的计量指标。该指标可以通过构建语言距离和对数转换后的地理距离的回归模型来度量。本文以宜兴方言为对象,采用方言测量学的方法探索不同语言变异(音韵、功能词、实词)的各向渐变性的差异,发现了各向渐变性序列(由强到弱):实词>功能词>音韵,并对该序列进行解释,并提出各向渐变性与结构化程度成反比这一假说。

音类的音征与语音演变

本文提出音征概念和定义,认为音征是音类(音段)的下位单位。音征的提出是语音研究的深入,对于音变有很强的解释力,增加音征这一单位可以避免音段或音类命名的分歧。本文提出音征的多种分类视角和维度,用音征的变化来讨论卷舌音的音变问题、浊辅音清化的进程,以及声调产生的机制。音征可以独立自主转移到邻近音段,使得邻近音段的性质发生变化。本文还提出音变是渐变的观点,音变肇始于音征的渐变,因此言语交际在几代人之间是连续性的、无障碍的。

外部因素影响的“滞后效应”——方言引力模型计量研究

本文介绍了引力模型的基本原理和国际上较为前沿的个案研究,并首次在汉语方言上验证引力模型的解释力。本文通过宜兴方言地理的大量数据,证明了以下观点:1)引力模型在解释语言地理变异上表现出色;2)杰卡德加权距离的算法比莱氏距离更优;3)以步行时间为地理距离的引力模型优于行车时间的模型,步行时间的解释力要高于行车时间;4)语言系统和作用于它的地理因素之间存在一种明显的“滞后效应”。

从语篇关系再探现代汉语“怀疑”的语义

既有研究一般认为汉语中的命题态度动词“怀疑”表达“相信”和“不相信”两种相对立的语义。本文从“怀疑”适用的语篇关系出发,再探“怀疑”消歧的机制并对两解进行统一分析。本文认为,汉语里只有一个“怀疑”,核心功能是说话人尝试提出和已有结论不同的意见。“怀疑”预设语篇中对于宾语命题φ是否正确这一议题存在一个已有的观点p,断言说话人认为可能不是p,记作◇¬p。“怀疑”的两解来自于p的不同取值。p可以取φ,也可以取非φ。如果p取φ,解读为“怀疑doubt”,即语篇中已经有人提出过和宾语命题φ相似的观点,而说话人认为这一观点可能不对(◇α¬φ),得到“怀疑”的“不相信”的解读。如果p取非φ,则解读为“怀疑suspect”,即语篇中有人表达过与宾语命题φ相反的观点或者尚未讨论过φ的可能性,说话人认为φ也有可能(◇ᬬφ等于◇αφ),从而得到“怀疑”的“相信”解读。此外,φ和非φ间的相对可能性也可以为“怀疑”的识解提供线索。如果说话人认为φ的相对可能性大于非φ,得到“怀疑”的“相信”解读,反之得到“怀疑”的“不相信”解读。

汉语方言“隔壁”之“隔”的读音——从苏州方言的异读说开去

苏州方言“隔壁”之“隔”读[ka?]应是“间壁”之“间”促声化的结果。“隔壁”和“间壁”是不同历史时期产生的词汇。就现代方言来看,“间壁”或其促声化之后的形式主要保留在吴语(尤其是太湖片)、赣语、少数闽语及江准官话中。促声化是方言中一种特殊的音变现象,值得我们在讨论异读时多加留意。

汉语语音教学的捷径——普通话简明音系解说

本文解说普通话简明音系,以帮助教师和学生认识汉语拼音的实际发音,在汉语语音教学中取得较快的进步。