多模态语法建构问题探索

我们根据符号系统的层次、类型和维度探讨多模态语法建构中的主要问题,力图澄清哪些符号系统适合建构语法,以及要为每个适合建构语法的符号系统单独建立语法还是建构一个同类符号系统共享的语法。研究发现,从不同层次的符号系统着眼,只有3个层次的符号系统才有可能建立语法;从类型角度讲,图像符号以及某些能指和所指关系易于推断的索引符号,一般情况下没有必要建立语法;从维度角度讲,不同维度的符号系统具有不同的语法模式和系统。所以,在起始阶段,应该为每个适合建构语法的符号系统单独建构语法。

多模态话语分析是否需要分析多模态语法?

本研究通过综述前人的研究成果,提出了在多模态话语分析中是否需要分析多模态语法的问题。根据语法的特点,本研究指出,在多模态话语分析中是否需要分析语法是由多种因素决定的。这些因素包括:1)进行多模态语篇分析的目标;2)相关模态或符号系统的特点;3)多模态语篇分析的特点。之后本文用实例说明了多模态话语组成模式,最后提出多模态话语分析的具体步骤。

多模态范畴语法和汉语部分“的”字研究

范畴语法是对自然语言信息进行可计算处理的逻辑语义体系。从20世纪70年代的蒙太古语法开始基于句法范畴和语义类型的对应来尝试处理英语部分语段,到目前多模态范畴语法对组合范畴语法和范畴类型逻辑的结合,都是为了能够取范畴语法体系中具有不同结构性质的类型逻辑系统的长处,以便更好地处理自然语言的句法和语义。汉语中独有的虚化成分"的"的可计算研究正体现了范畴语法的发展思路。

国外政府网站设计与形象建构:基于多模态视觉语法的分析

本文在多模态视觉语法理论的指导下,以英、加、澳三国政府网站主页为分析语料,从再现意义、互动意义以及构图意义三个方面对三国政府的形象建构进行了实证探讨。研究发现:1.三国政府网站的主要图像类型为概念性图像,为网民提供各项信息、知识和服务,有助于构建服务型政府形象;2.三国政府网站图像主要采用水平视角、远镜头、“提供”类、高模态等色彩情态的图像信息来吸引阅读者,便于政府与网民之间形成互动,有助于构建亲民型政府形象;3.三国政府网站的主要构图模式为上下构图,通过对比度大的颜色深浅来凸显图像特征,表现不同的图像框架结构,其构图意义旨在将多模态图像的再现成分与互动成分整合成一个有机整体,因此有助于强化构建服务型、亲民型政府形象。

例谈多模态教学模式在初中英语语法教学中的应用研究

本文基于多模态教学模式的概念和特点,以一节语法复习课为例,从交际引入、语法呈现、拓展练习、文化链接、迁移输出五个层次入手,探寻了语法教学整合多模态教学模式的实践路径,阐述了“交际引入,关联知识;语法呈现,有效把握;拓展练习,内化内容;文化链接,主题探究;灵活应用,迁移输出”的CPPCO的多模态语法教学模式。

语言、逻辑与计算互动视角下汉语“把”字句的多模态组合范畴语法处理

现代汉语“把”已语法化为功能投射的中心语,“致使性”是“把”字句句式义,它附着在“把”字上。使用句法替换标准或语义指向标准易于把两类汉语“把”字句即致使义“把”字句和处置义“把”字句区分开来。“把”字句的各成分之间的语义关系错综复杂,也因此产生了歧义性“把”字句。设计“分解型”词条指派方法,借助广义斯科伦项理论,在多模态组合范畴语法MMCCG中不仅可以将各种“把”后VR区分开来,还可以精确地刻画“把”字句的各成分之间的语义关系,特别是能成功地处理两种歧义性“把”字句,弥补了句法分析的不足。

多模态视觉语法下悬疑剧反派人物形象分析

随着媒介技术的革新和网剧的兴起,网络悬疑剧逐渐“回暖”,涉案剧再次成为国产影视剧市场的“风口”。本文试图聚焦国产悬疑剧中的反派人物,以多模态视觉语法理论为分析视角,探讨国产悬疑剧如何塑造反派人物形象以及不同悬疑剧中的反派人物形象是否具有相似之处,并以内容分析法作为研究方法,分析《摩天大楼》《无证之罪》《沉默的真相》《隐秘的角落》4部剧中的反派人物的服饰、饰品等元素。

汉语量化并列结构的多模态组合范畴语法处理

量化结构历来是语言学家、逻辑学家以及人工智能学家共同关注的焦点问题,而量化并列结构更是长期争论不休、亟待解决的疑难之一。在多模态组合范畴语法的理论框架中融入广义斯科伦项技术,拟对汉语量化并列结构进行处理,以冀为量化并列结构提供一般的解析框架。多模态的组合范畴语法,将敏感的模态算子特征及广义斯科伦项技术融入到原生态CCG的框架系统,能够对自然语言现象进行更为精确的刻画。这种逻辑工具在处理更多的汉语语言现象中也有更值得期待的前景。

跨文化视域下专业英语语法教学思政隐性融入新模态研究

课程思政是高校落实立德树人根本任务的关键举措。高校英语语法教学的目的除了要让学生掌握使用语言的规则,恰当地表达,更要通过汉英对比,引导学生认识到语法规则背后的文化及思维差异,从而更有效地提高当代大学生的语法意识和思辨能力。本文试从跨文化视角,结合课程思政融入语法教学的实践,探析了将思政隐性融入专业英语语法教学的路径与方法。

英语课堂话语多模态协同的意义建构--以一堂英语专业二年级精读教学公开课为例

该研究以一堂英语专业二年级精读教学公开课中的课堂话语为语料,探讨英语课堂教学中口语模态与PPT模态组合的相互配合及其在体裁结构、语法与语类层面上的体现,分析了以课堂话语不同模态之间相互协同、相互作用构建课堂话语意义的过程。研究发现:课堂教学的主模态是口语模态、听觉模态和视觉模态,其他模态起强化、补充、支架、协同等作用,对模态的选择与运用可由课堂话语的交际目的及教学设计与目标所确定,而恰当地运用各模态间的配合与协同作用对提升课堂教学效果具有重要意义。

多模态符号学视角下音乐话语与城市身份构建——以杭州G20晚会《美丽的爱情故事》为例

以多模态符号学理论中的五个意义功能为框架,对杭州G20峰会晚会上《美丽的爱情故事》这部音乐话语作品中呈现出来的符号进行多模态分析,探究该作品所表达的社会含义及对杭州这座历史文化名城的城市身份构建作用,旨在检验多模态符号学理论用于解释我国本土化文化现象的适用性。研究发现,该音乐话语作品在交响乐背景音乐下,通过其中越剧的歌词、小提琴独奏的旋律、舞蹈表演者的姿态语言以及舞台空间、灯光、道具和演员服装等多种符号模态,集中表现了“爱情”这个全人类共通的情感,凸显了杭州这座城市书香人文的文化身份,成功展现了我国“融合与包容”的文化内涵和“科技与创新”的精神气韵,向世界传递出“爱”与“和”的文化符号,达到从多模态符号学视角解读音乐话语如何在特定中国语境参与社会实践的目的。

组合范畴语法产生和发展的动因之分析——从句法演算的角度看

AB-演算刻画句法推演能力太弱,许多合语法的语句在AB-演算中没有合适的推演形式。斯蒂德曼(Steedman)在AB-演算基础上增加组合规则,产生了标准的组合范畴语法CCG;CCG刻画推演能力太强,不仅能推演出所有合语法的语句,而且可以推演出不合语法的语句;为制止非法句子的可推演性,就需要对推理规则做出限制,因为各种自然语言的特殊性,这种限制又会因语言而异,导致CCG失去一定的普遍性。鲍德里奇(Jason Baldridge)和克鲁伊夫(Geert-Jan M.Kruijff)把模态词引入CCG,由此产生了多模态组合范畴语法MMCCG;MMCCG摒弃了CCG的限制规则的策略,在词法上控制组合规则的适用性,不同语言语法的区别仅仅体现在词汇上,使语法逻辑走上了完全的词汇主义道路。

国内语法隐喻研究趋势及展望

我国的语法隐喻研究从理论引介阐释到理论论证完善,还表现出实际应用的特点,同时出现跨学科融合和跨语言对比的趋势,取得很大成就,但仍然存在一些争议,如一致式定义的确定、隐喻式的范围还需要进一步的研究。未来语篇层面、跨学科角度和多模态语法隐喻的研究还需要进一步探讨。

记录片《河西走廊》中多模态语篇分析

多模态是理解语篇的重要手段。本研究运用Kress和vanLeeuwen的视觉语法理论。从再现意义、互动意义以及构图意义这三个方面对纪录片《河西走廊》进行多模态语篇分析。通过对图像、色彩，文字、声音等各类模态的分析。讨论了其中的语篇意义。帮助观众对该纪录片语篇意义的认知理解，提高对历史文化遗产的保护意识。

基于视觉语法分析的政府网站设计与形象建构——以广州、深圳两地政府网站为例

随着网络传播的发展,政府网站日益重视利用多种模态的协同整合以提升其宣传效果。文章以语言学者克瑞斯(Kress)和范勒文(van Leeuwen)构建的视觉语法和语言学者Painter等对视觉语法理论的发展与创新为理论基础,重新组合形成理论分析框架,基于粤港澳大湾区中的重点城市——广州、深圳两地的政府网站英文版以及丹麦政府网站主页上的多模态图像,从再现意义、互动意义以及构图意义三个方面对政府的形象建构进行了实证探讨和对比分析,对广深两地政府网站的维护与建设具有参考性意义。

视觉语法视域下民间艺术的社会治理功能——以“图说我们的价值观”戏曲作品为例

在全社会范围内进行核心价值观的培育和践行,最关键之处在于提高在广大人民群众中的传播效度,民间艺术作为兼具通俗性、人民性等特点的文化样式,在传播社会主义核心价值观的过程中能发挥重要作用。本文以多模态视觉语法为理论工具,以“图说我们的价值观”中戏曲系列作品为分析对象,探讨此系列作品的再现意义、互动意义、构图意义三个维度在社会主义核心价值观的传播中都是怎么发挥作用的。

汉语间接被动句的多模态组合范畴语法处理

汉语被动句有长短之别,也有直接和间接之分,如何处理汉语被动句历来是计算语言学家需要攻克的难题。根据主语与“被”后某成分的不同关系,间接被动句分为“包括式间接被动句”和“排除式间接被动句”。传统分析方法借助移位、控制和述谓等操作分析汉语间接被动句,不仅否定了汉语间接被动句的原生成性,而且违反了语法规则,并出现了诸多难以解释的现象。多模态组合范畴语法MMCCG是单层结构语法,它从汉语间接被动句的表层结构出发,以毗连组合的方式生成其MMCCG树,从而证明了汉语间接被动句的原生成性,并避免了传统分析方法处理汉语间接被动句时出现的问题。

汉语把字句及相关句式的CCG形式计算

自然语言可以由有限的词汇构造出无限的句子,即使言说的语句很复杂,该语言的母语使用者也可以判断出这个句子是否合语法,如果合语法,说话人想表达的意思是什么。如果我们能够找到或者模拟出相应的句法规则和语义运算方法,很好地代表自然语言的句法和语义运算规律,我们就可以训练计算机使用该方法学习更多可能未被语料库涵盖的语句,甚至"理解"自然语言语句。把字句是现代汉语中的一种重要句式,基于沈阳对把字句的分析和研究,我们利用组合范畴语法(CCG)为把字句及相关转换句型构造一个句法分析模型,从句法生成的角度厘清把字句各式的句法核心和句法变化,从而从一个方面证明了多模态组合范畴语法在句法生成上的优越性。

多模态构式语法:前沿与展望

多模态构式语法属于构式语法与多模态研究的前沿交叉领域。本文系统梳理了多模态构式语法的研究现状,发现多模态构式存在“强式”和“弱式”两类定义;涉及三个研究焦点,即多模态构式的特征、形式-意义表征以及认知机制;呈现出三种研究趋势,即从在线认知思维寻找突破口,注重多模态语料库与实验方法创新,并由多模态构式个例向家族拓展。未来多模态构式语法研究应进一步完善理论建构与实证研究,多领域拓展应用范围,同时推进本土化探索与创新。

Multimodal Discourse Analysis of Judges’Footing Shifts in Criminal Courtroom

The paper,based on the concept of FOOTING,makes a multimodal discourse analysis of the relationship between the judge’s discourse and his footing shifts in a criminal courtroom.The results show that in the interaction,multimodal resources in judges’discourse include conversational features(prolonging keywords,interrupting,repeating,taking turns,etc.),acoustic ones(ascending F0 for pitches and d B for intensity,transition tracks between consonants and formants of vowels,duration of some keywords in important sentences,etc.),and visual ones(facing other parties,facing the materials,etc.).The multimodal resources activate different judges’footings,including ANIMATOR,ANIMATOR+AUTHOR and ANIMATOR+AUTHOR+PRINCIPAL,and identify the judge’s footing shifts in the courtroom.The results also demonstrate that the judge’s footing shifts perform the functions of trial organizing,information confirming,fact investigating,spokesperson of the collegial panel,law educating and so on in criminal trials.