用于未对齐多模态语言序列情感分析的多交互感知网络

针对现有对齐多模态语言序列情感分析方法常用的单词对齐方法缺乏可解释性的问题,提出了一种用于未对齐多模态语言序列情感分析的多交互感知网络(MultiDAN)。MultiDAN的核心是多层的、多角度的交互信息提取。首先使用循环神经网络(RNN)和注意力机制捕捉模态内的交互信息;然后,使用图注意力网络(GAT)一次性提取模态内及模态间的、长短期的交互信息;最后,使用特殊的图读出方法,再次提取图中节点的模态内及模态间交互信息,得到多模态语言序列的唯一表征,并应用多层感知机(MLP)分类获得序列的情感分数。在两个常用公开数据集CMU-MOSI和CMU-MOSEI上的实验结果表明,MultiDAN能充分提取交互信息,在未对齐的两个数据集上MultiDAN的F1值比对比方法中最优的模态时空注意图(MTAG)分别提高了0.49个和0.72个百分点,具有较高的稳定性。MultiDAN可以提高多模态语言序列的情感分析性能,且图神经网络(GNN)能有效提取模态内、模态间的交互信息。

国家安全视阈下网络多模态语言舆情监测研究

网络语言舆情的监测对于开展网络空间语言战略研究、舆情治理以及国家安全具有重大意义。本研究首先厘清网络语言舆情监测的现状和存在问题,指出网络舆情监测的多模态趋势,进而阐述在“情绪压倒事实”为特征的“后真相”时代舆情监测的关注点应是网络情绪和主流意识形态安全;然后针对多模态语言舆情监测的需要,指出可以结合语言学理论和方法进行监测,从而将应该关注但却被大多数研究所忽略的语言现象、图片和视频深度伪造现象、图片内置隐匿信息现象以及表情包传播舆情现象纳入研究范围,有效地揭示网络舆情中的负面情绪和主流意识形态所面临的威胁;最后简述了多模态语言舆情监测的工作流程,提出监测应与治理同步、多元主体协同治理的观点。本研究为网络空间语言战略研究、舆情治理以及将更多的语言学理论和方法运用到网络舆情监测和治理之中提供了有益参考。

从《Routledge多模态分析手册》看多模态语言研究

《Routledge多模态分析手册》以宽广的学术视野展示各个学科背景下多模态研究,对人类社会活动的多模态现象及其研究进行了综合性介绍,理论探讨与应用研究并举,视野宽阔独到。多模态语言研究有不同的路径方式。本书所载文章主要属于从系统功能语言学、社会符号学等理论出发的研究路径。目前,国内外多种多模态研究路径并行发展,将话语多模态信息可视化研究的软件开发方兴未艾,相关多模态语料库建设也发展迅速。多模态路径拓展了语言学研究的范围,为交叉研究和综合应用提供了切入口。使语言研究在脑与认知、人机交互、人工智能等前沿科技领域中找到一席之地,部分研究内容甚至成为某些科技进步的核心基础或关键技术。

认知体验观视阈下少数民族多模态语言档案数据库建设思考

本文基于认知体验观和多模态语言理论,结合少数民族语言档案管理的特殊性,分析多模态民族语言档案数据库建设的必要性,探讨多模态民族语言档案数据库的基本构成,并以音频语言档案数据库的建设为例,提出建设该类档案数据库的基本步骤,以期对我国少数民族语言档案管理工作和相关研究的开展提供借鉴思路。

全局性模态词与基本模态语言的扩充

模态语言是讨论关系结构的一种简洁的语言。基本模态语言是仅有一个模态算子◇的模态语言,用ML(◇)表示此语言,但基本模态语言对框架关系的表达力并不是完全的,加入新的模态算子是增强模态语言表达力的方法之一。在基本模态语言ML(◇)基础上增加全局性模态词"E"得到ML(◇,E)语言,这种更丰富的语言对关系模型和关系框架的表达力明显强于基本模态语言。

国际化城市多模态语言景观与城市形象建设--以义乌市宾王商贸区和稠州北路为例

语言是人们进行交流和获取信息的媒介与载体,人们可以通过语言感知和认识世界,因此,语言在塑造城市形象时能够发挥独特作用。开放、包容的语言景观能够为塑造开放、包容的国际化城市添砖加瓦。"汉语+英语+阿拉伯语"的多模态语言景观能展现义乌市开放、包容、多元的国际化城市形象,能够推动义乌市在国际化道路上稳步前行。

青花瓷文学的多模态语言探析

青花瓷文学生成的不仅是书面语言,还传递其独特的多模态语言,给人们带来视觉、听觉、触觉、嗅觉和味觉感官感受。通过对青花瓷文学进行整理分类,描述文学中青花瓷的意象运用,解析青花瓷文学的多模态语言,总结归纳青花瓷多模态语言在文学作品和文化艺术包装设计中的作用。

多模态语言景观资源在对外汉语教学中的作用

随着社会发展,语言景观的涵盖范围不断扩大,各类标牌逐渐呈现“多模态化”,形成多模态语言景观。将多模态语言景观资源应用在对外汉语教学中具有较高的可行性,能在用作偶发性学习的教学指导、培养语言意识、增强语言应用能力、提高对多模态文本的理解能力四个方面发挥重要作用,为对外汉语教学提供新的发展方向,也为中国文化的传播贡献一份力量。

多模态语言输入条件下英语课堂动机动态变化轨迹个案研究

二语动机是一个持续、动态变化的过程。以“复杂动态系统”和“二语动机自我系统”理论为支撑,通过对三名英语专业学生实施个案追踪,利用时间序列法、个性动态法和等效建模法探讨了多模态语言输入条件下二语课堂动机动态变化发展特征及情境性影响因素。研究结果表明,多模态语言输入条件下个体学习者的二语课堂动机表现出动态发展趋势的相对稳定性和特定时期的非线性动态发展特点。一方面,个体学习者的未来二语自我导向是维持动机水平稳定性的高阶吸引子;另一方面,学习者语言习得水平、课堂学习内容及输入模态、教师和学伴行为是个体学习者课堂动机动态变化的关键情境性因素。

基于多模态大语言模型的攻击性模因解释生成方法

随着5G的发展,攻击性言论逐渐以多模态的方式在社交网络上广泛传播.因此,攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用.现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容,忽略了模因包含的社会背景知识和隐喻表达手法,无法全面、准确地解释攻击性模因的含义,大大限制了解释的应用范围.为了应对这一挑战,提出一种基于多模态大模型的攻击性模因解释生成方法,通过增强攻击目标、攻击内容和隐喻识别等多种指令数据,利用其微调多模态大模型,以提升大模型对攻击性模因的解释生成能力.实验结果证实,该方法生成的解释具有3点优势:一是相比基线模型在BERTScore评估指标上提高了19%;二是解释中包含了攻击性隐喻表达的相关背景知识;三是在处理未见的模因数据时也表现出良好的泛化性能.

开源多模态大语言模型初探

【目的】本文旨在总结开源多模态大语言模型(Multimodal Large Language Model,MLLM)的最新进展,探索其在新闻领域的落地实践。【方法】首先,笔者介绍了MLLM的研究背景,对典型的开源和闭源模型在不同测试基准上的表现进行了对比,然后解析了模型架构,包括其组成部分和工作原理,接着探讨了训练策略以及所需要的数据,最后展望了应用场景和研究方向。【结果/结论】通过本文的分析,可以了解到开源MLLM在赶超闭源商业模型上的潜力和发展方向,以及在新闻领域广阔的应用前景,同时为采编业务全流程提供强大的语言理解和生成能力,未来可以结合实际场景开展相关技术的落地实践。

视觉-语言多模态下的多任务人脸年龄估计

现有的年龄估计方法仅基于人脸图像,无法充分利用图像背后的语言背景信息。此外,这些方法通常专注于单一年龄估计任务的优化,忽略了相近任务带来的提高模型性能的信息。针对上述问题,提出一种基于视觉-语言多模态的多任务人脸年龄估计方法。该方法利用提示文本信息为年龄估计提供更丰富、更准确的图像理解和先验知识。同时,引入多任务学习方法,利用任务间的互补性将年龄分类任务与序数回归任务相结合,以获得更好的性能。最后,为了获得可靠的预测结果,研究了加权平均法和任务回归法两种多任务结果融合方法,并对加权平均法的权重系数进行了消融实验,以期找到一组合适的权重系数。结果表明:与其他先进方法相比,所提方法在UTK-FACE数据集上的平均绝对误差(MAE)降低了7.32%,在MorphⅡ数据集上的MAE降低了1.20%,累积分数(CS)提升了0.11%。

多模态大语言模型对开源声像信息研究的影响

开源声像信息研究作为国防科技信息研究的组成部分,在自媒体与短视频爆发的现阶段重要性愈发凸显。大模型浪潮爆发后,深入探析多模态大语言模型对开源声像信息研究工作的影响具有重要意义。通过研究梳理多种多模态大语言模型技术特点和应用场景特点,提出在开源声像信息研究中的潜在应用方向,为开源声像信息研究工作提供参考。现阶段多模态大语言模型距离直接落地应用还有差距,但其将是重塑重构声像信息研究工作的重要推手,其生成特性也为开源声像信息研究带来极大挑战,开源声像信息研究进入转型升维的战略机遇期。

语言中的态度系统:《武汉战疫纪》中多模态话语协同路径

态度系统是评价理论三大分支之一,是抒发情感、表达人际意义的主要方式,其下还包括情感、判断和鉴赏三个子系统。多模态话语是一种运用听觉、视觉、触觉等多种感觉,以及语言、图像、语音、动作等多种符号信息进行交际的交流方式。纪录片《武汉战疫纪》中的态度系统以语言模态和非语言模态形式体现。语言模态主要包括字幕、标题以及画面中的注释,非语言模态以视觉、听觉、身体特征和非身体特征为主。在态度系统下,这部纪录片的多模态协同路径表现为:视觉模态与语言模态之间呈强化互补关系;视觉模态与听觉模态之间呈补缺互补关系;身体特征和非身体特征模态与语言模态之间呈互补关系。

介入效应下的多模态话语协同路径研究——以旅游公益广告为例

介入系统作为评价理论的三大分支之一,重点讨论的是话语中体现作者声音来源与参与程度的语言资源,包括自言和借言两种。多模态话语是指利用听觉、视觉、触觉等感官,通过语言、图像、声音、动作等手段进行信息传递。在介入系统下,该类宣传语的自言介入资源中,语言模态、视觉模态和听觉模态分布广、频率高;借言介入资源中,语言模态和视觉模态分布少、频次低。鉴于此,为实现讲述红色历史、传播红色文化与红色精神的最大化效果,必须采取多模态话语协同路径,即语言模态、视觉模态之间的补缺互补,视觉模态、听觉模态之间的强化互补,语言、视觉和听觉模态之间的互补。

大语言模型在电催化领域中的应用

大语言模型作为现代科技的杰出代表,已经在社会的各个领域产生了深远影响.这些模型由数十亿个神经元相互连接构建而成,集成了人类至今为止的丰富知识,具备与全球各地人们进行流畅、精确对话的卓越能力.其类人智能特性不仅使其能够应对现代社会的各种挑战,更在多个科学领域中展现出巨大的应用前景.然而,目前大语言模型广泛应用的潜力尚未被完全挖掘.本文旨在深入探讨现代大语言模型在电催化领域的潜在应用,以期阐明这些人工智能驱动的模型如何助力科研人员深化对催化学科的理解,并推动催化剂的智能设计.通过对大语言模型在电催化领域应用的系统研究,我们期望能够为未来的科研工作提供新的思路和方法.本文首先分析了传统的实验法和多尺度模拟方法在催化研究中的局限性,包括资源消耗大、实验周期长、研究进展缓慢以及受人类自身能力限制等问题.随后,着重探讨了大语言模型在电催化研究中的显著优势,如突破人类认知界限、理论上具备无限知识累积能力等.尽管大语言模型展现出巨大的潜力,但仍面临泛化能力与领域专业性之间的权衡、文本限制等挑战.为应对这些挑战,本文进一步介绍了多模态大语言模型的发展及其在电催化研究中的具体应用,包括与实验者的直接互动、基于实验反馈的持续优化、预训练模型的微调以及结合视觉编码器实现多模态数据融合等.最后,强调了多模态大语言模型在光谱分析、实验路径设计、过渡状态搜索、分子结构设计、催化剂优化和问题诊断等方面的巨大潜力.总之,多模态方法在催化领域具有广泛的应用前景,能够整合多种数据源,为催化剂设计、反应机理研究和反应条件优化提供强大的工具和技术支持.最后,本文展望了大语言模型在科学研究中的作用和未来发展趋势.大语言模型在知识积累和效率提升方面展现出了出色的能力,但在创造全新知识方面,或许还无法与科学先驱相提并论.展望未来,大语言模型应当与实验和模拟方法深度融合,以增强其预测能力和多模态学习能力.通过这样的结合,大语言模型将能够更全面地辅助科学研究者,进而推动科学研究更迅速地发展.这一发展趋势不仅有助于提升科学研究的效率和准确性,还将为科学领域带来更多的创新和突破.

国外多模态语言教学研究现状与趋势分析——基于CiteSpace可视化研究

本文以187篇国际权威期刊中有关多模态语言教学的论文及共被引文献为数据来源,运用CiteSpace 5.7.R1进行可视化研究,分析出整体趋势,基于中心值挖掘高学术影响力文献,通过关键词聚类得出核心研究领域。研究发现:国外研究整体呈波动性增长的积极态势;核心领域分别为二语习得策略、语言教学理论及方法、多模态意义构建和多模态读写能力。研究启示为理论上重视语言习得策略和人脑记忆规律;实践上重视师生技术层面培训和构建虚拟学习共同体。

多模态元语言的互动阐释及优化设计——以EFLT微课为例

EFLT多模态微课元语言中各模态不同的互动关系可以实现不同的阐释功能:模态转换可以实现异位阐释,模态互补可以实现协同阐释,模态嵌套可以实现重点阐释,模态叠合可以实现动态阐释。EFLT微课元语言的优化设计要考虑社会适应性、语境制约性和多层需求性,应采用多元模态,在手段、功能、内容和理念等方面进行优化设计。

城市风韵塑造中的超语实践——以汉街语言景观为例

语言景观是城市景观的重要组成部分,亦直观体现城市风韵。文章以湖北省武汉市汉街的语言景观为例,通过田野调查发现:英文作为世界通用语,使用比例最高,承担象征功能;中文表意,提供具体信息,实际地位高于英文。动态的语言标牌融合了图文、视听等多重认知和符号资源,超语实践在塑造和解读语言景观的过程中发挥了重要作用。文章在语言景观研究中融合超语理论,试图以小见大,呈现我国华中地区语言生态,丰富了超语理论在社会语言学领域的研究。

汀·克特：“扩充的模态语言的内插性”

本文的主题是寻找基本模态相似型语言带内插性的可表达的、可判定的扩充。扩充的模态语言指基本模态相似型的语言BML加克里普克结构个体状态的名字，这里具体指：可以使用“名字”来指称克里普克模型的个体状态以及带量词的混合逻辑H(E)、H(@)、H(@，↓)、