北太平洋海温Victoria模态与ENSO年际关系的非对称特征

利用美国NOAA海表温度资料,重点分析了北太平洋海温异常EOF第二模态Victoria模态(VM)与ENSO年际关系的非对称特征。研究发现,VM和ENSO在年代际尺度上相关性较弱,而在年际尺度上有很好的相关关系,两者同期为负相关,VM超前1 a为正相关。然而,正负VM事件与ENSO冷暖位相在年际尺度上的联系存在着一定的非对称性。正VM事件与同年冬季热带中东太平洋海温异常的联系较弱,但次年常有厄尔尼诺事件发生;相比较而言,负VM事件在同年一般都有厄尔尼诺事件伴随发生,而与次年冬季热带中东太平洋海温没有显著联系,且很少有ENSO事件发生。由此可见,正VM事件对次年厄尔尼诺的发生发展似乎有促进作用,可作为ENSO前期预报因子之一,而负VM事件不能作为ENSO的前期预报因子。

综采液压支架中部跟机多模态人机协同控制系统

我国煤矿智能化综采工作面建设处于初级阶段,液压支架电液控自动化技术已广泛应用,但目前液压支架单一固化的自动化控制逻辑难以适应复杂、多变、动态的工作面生产场景,现场实际控制过程仍大多采用自动化+人工干预方式。针对综采工作面复杂场景中液压支架人机交互协作任务需求,提出液压支架中部跟机多模态人机协同控制系统的理论方法与技术原理。首先,设计了人工式、分工式、批准式、否决式4种人机协同模态,以煤层地质、瓦斯粉尘、采煤机速度、液压支架智能水平、系统状态、岗位工技术水平、任务负荷等为判别因素,构建了基于AOG的液压支架人机协同模态选择模型,实现了人工、机器偏好的模态选择。然后,设计了液压支架中部跟机人机协同控制决策机制,提出液压支架中部跟机再次调控策略AI推理技术思路,利用现场数据学习人工操作经验,分别构建了液压支架是否再次调控决策树分类模型和再次拉架时间贝叶斯回归模型,基于上述模型开发了液压支架人机协同控制决策程序,实现了基于多模态与或推理和再次调控策略AI推理的液压支架人机协同控制。最后,采用云-边-端架构软硬件技术,开发了液压支架多模态人机协同控制系统,实现了模型进化、运算推理、程序执行等液压支架多模态人机协同控制功能。该系统在沙曲二矿3404工作面进行了工业试运行,相比于系统使用前,该工作面液压支架中部跟机效率平均提高2%。

基于动态模态分解-自适应变步长油浸式电力变压器绕组瞬态温升快速计算方法

为了改善当前油浸式电力变压器绕组瞬态温升计算过慢的问题,该文结合动态模态分解法和自适应变步长法提出了一种动态模态分解(DMD)-自适应变步长(ATS)快速计算方法。首先,该方法引入了动态模态分解算法,利用动态系统中前若干时步提取得到的变化特征,近似拟合其后一段时间内的系统变化,并通过选取主模态降低计算时间。其次,为了提高DMD算法性能,进一步提出结合ATS方法,通过自适应调整计算步长,提高瞬态计算效率;为了验证算法的计算精度和效率,建立了八分区分匝绕组数值传热模型并在此基础上将该文所提算法与仿真软件Fluent的计算结果进行对比,结果表明,在计算精度方面,二者结果几乎一致,计算误差最大不超过0.3 K;对于计算效率,该文算法的总计算时间为5.99 s,仅为Fluent总计算时间的1/89,且算法时间步数仅为Fluent的4.7%。最后,为了验证DMD-ATS算法的工程实用性,基于产品级油浸式电力变压器绕组结构搭建温升实验平台,并将所提算法计算结果与实验结果进行对比,结果表明所提算法在各测量线饼的误差均处在可接受的范围内,最大误差仅为4.57 K,且包含预处理时间在内的计算时间仅为69.14 s,计算时步仅需17步,较当前主流的计算方法效率有明显提高。综合算法的精度和效率,充分说明所提算法具有一定工程价值。

基于行波模态分解的特高压直流输电线路双端行波测距方法

基于晶闸管换流器的特高压直流输电系统(ultra-high voltage direct current based on line commutated converter,LCC-UHVDC)的故障定位算法对智能电网的安全稳定运行起着重要作用。针对长距离特高压直流输电系统故障测距方法精准度低、快速性差的问题,提出了一种基于变分模态分解法(variational mode decomposition,VMD)和Teager能量算子(Teager energy operator,TEO)的双端行波故障测距方法。首先,研究了LCC-UHVDC线路故障电压行波的传播特性。利用零模电压随线路传播衰减明显的特征,通过VMD算法提取采样点处零模电压行波的时频特性。针对VMD参数选择不当导致的模态混叠问题,利用K-L散度(Kullback-Leibler divergence)对提取的模态指标进行优化。然后采用TEO对分解后信号进行瞬时能量谱提取,精确标定波头到达时间,最后采用双端迭代测距法迭代求解故障距离。在PSCAD/EMTDC搭建±800 kV LCC-UHVDC仿真模型进行验证。结果表明,所提方法在不同故障位置、过渡电阻和故障类型下具有较强的鲁棒性。

大跨度斜拉桥模态参数长期追踪及其变异性分析

为了丰富大跨度斜拉桥模态参数的实测数据库,依托苏通大桥结构健康监测系统采集的数据,采用所建立的模态自动识别和追踪方法,获取了2010年期间该桥的模态参数值,并据此分析了在温度和风速作用下桥梁模态参数的变异性。研究结果表明,大桥主梁模态频率的变化受温度和风速共同影响,随着温度的升高而降低,随着风速的升高而增加。大桥主梁模态阻尼比的变异性显著大于模态频率,低风速下主梁一阶侧弯阻尼比在0.5%~15%之间波动,风速大于9 m/s时逐渐降低并稳定在2%左右。大桥主梁前四阶竖弯阻尼比受气动阻尼的影响较大,在风速较小时随着风速的增加略有增加。研究结果可为大桥的服役性能评估与运营管理提供参考。

面向云边端协同的多模态数据建模技术及其应用

云边端协同架构中数据类型多样,各级存储资源与计算资源存在差异,给数据管理带来新的挑战.现有数据模型或者数据模型的简单叠加,都难以同时满足云边端中多模态数据管理和协同管理需求.因此,研究面向云边端协同的多模态数据建模技术成为重要问题.其核心在于,如何高效地从云边端三层架构中得到满足应用所需的查询结果.从云边端三层数据的数据类型出发,提出了面向云边端协同的多模态数据建模技术,给出了基于元组的多模态数据模型定义,设计了6种基类,解决多模态数据统一表征困难的问题;提出了云边端协同查询的基本数据操作体系,以满足云边端业务场景的查询需求;给出了多模态数据模型的完整性约束,为查询优化奠定了理论基础.最后,给出了面向云边端协同多模态数据模型的示范应用,并从数据存储时间、存储空间和查询时间这3个方面对所提出的数据模型存储方法进行了验证.实验结果表明,所提方案能够有效地表示云边端协同架构中的多模态数据.

智慧图书馆多模态阅读情感研究

文章基于阅读全生命周期情感阶段,立足基本情感、专有情感和高级情感3个层级,通过动因情感、实时情感和延伸情感3个扇区,构建智慧图书馆多模态阅读情感群喷泉模型,并从表情、语音、生理、肢体、文本和行为6个模态构建多模态阅读情感表征体系。基于此,设计智慧图书馆多模态阅读情感感知模型并阐释其运行机理,就动态阅读情感提出情感匹配、交流汇聚、双向反馈等阅读情感导引建议。

基于电极模态切换的半球谐振陀螺自校准方法

针对因受加工技术、加工条件以及外部环境因素等影响,半球谐振陀螺在力平衡模式下输出零偏稳定性及重复性变化较大的问题,提出一种基于模态切换的陀螺自校准方法。基于半球谐振陀螺二阶振动模态机理,建立理想状态下谐振子运动方程,并分析推导了谐振子在阻尼不均和频率裂解等非理想因素影响下的运动模型和参数控制方程。根据谐振陀螺输出漂移特性,提出了一种基于电极功能切换的半球谐振陀螺自校准方法。通过相关实验,分析比较了电极模态切换前后陀螺输出稳定性及重复性,实验结果表明,陀螺零偏稳定性提升1.8倍以上,陀螺零偏重复性提升90.5%,所提方法能有效估计及补偿陀螺漂移,提高半球谐振陀螺输出的稳定性和重复性。

基于深度学习多模态融合的2型糖尿病中医证素辨证模型的构建

目的为适应互联网+智能医疗的时代需求,纳入舌诊仪图像数据及问诊结构化数据,采用深度学习、多模态融合等方法构建2型糖尿病中医证素辨证模型,为中医智能化辨证提供实验支撑和科学依据。方法共纳入2585例2型糖尿病患者,邀请3位专家分别进行证素辨证标记。基于深度全连接神经网络、U2-Net与ResNet34等网络构建基于舌图数据、症候数据的症候辨证模型(S-Model)、舌图辨证模型(T-Model),并采用多模态融合技术构建以二者为共同输入的多模态融合辨证模型(TS-Model)。通过F1值、精确率、召回率等对比不同模型预测性能。结果T-Model对十四类证素的预测F1值波动于0.000%-86.726%,S-Model的预测F1值波动于0.000%-97.826%,TS-Mode的预测F1值波动于55.556%-99.065%。与T-Model、S-Model对比,TS-Model整体F1值较高且稳定。结论基于深度学习多模态融合技术构建中医证素智能辨证模型性能较好。多模态融合技术适用于中医证素辨证模型优化,为下一步建立四诊信息全客观化的高度智能证素辨证模型提供方法学支持。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

图书数字营销的新理念和新策略——基于多模态媒介环境的应用

数字化时代,消费市场的营销渠道往往依靠数字媒介搭建。短视频、网络直播、VR设备、数字音频营造出多模态媒介环境,数字营销则适应着这种环境,与消费者的消费行为发生耦合关系。图书市场当中,多模态媒介环境下的数字营销可以与消费者发生良好的互动关系。出版机构和书商通过社交媒体进行带货,最大限度利用了消费社群;又通过跨媒介联动、数字与实体联动等方式丰富营销手段,并开展出版组织间的合作;图书还通过大数据分析、智能可视化技术、智能交互技术等创新消费体验。借助多模态媒介渠道,图书的数字营销策略应当注重与消费者之间的互动,选择和搭建适配的数字平台,并尊重读者需求和图书价值。

基于模态分析的多逆变器系统串并联谐振特性分析

基于模态分析的多逆变器系统谐振分析方法能够获得系统准确的谐振定位,但在谐振类型辨识方面存在不足。该文提出一种基于模态分析方法和参与因子计算的多逆变器系统谐振辨识方法。考虑线路阻抗,建立计及电容电流有源阻尼的逆变器诺顿等效模型。当逆变器组合变化时,对比串、并联谐振模态分析结果的差异。通过对系统谐振类型的划分,获取不同类型谐振的特征信息。针对不同类型谐振选择特定的模态分析方法,借助参与因子表现实现谐振类型辨识。最后,搭建仿真电路模型和实验平台,通过仿真和实验验证所得结论的正确性。

基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。

基于多尺度卷积和自注意力特征融合的多模态情感识别方法

基于生理信号的情感识别受噪声等因素影响,存在准确率低和跨个体泛化能力弱的问题。对此,提出一种基于脑电(EEG)、心电(ECG)和眼动信号的多模态情感识别方法。首先,对生理信号进行多尺度卷积,获取更高维度的信号特征并减少参数量;其次,在多模态信号特征的融合中使用自注意力机制,以提升关键特征的权重并减少模态之间的特征干扰;最后,使用双向长短期记忆(Bi-LSTM)网络提取融合特征的时序信息并进行分类。实验结果表明,所提方法在效价、唤醒度和效价/唤醒度四分类任务上分别取得90.29%、91.38%和83.53%的识别准确率,相较于脑电单模态和脑电/心电双模态方法,准确率上提升了3.46~7.11和0.92~3.15个百分点。所提方法能够准确识别情感,在个体间的识别稳定性更好。

多模态方面级情感分析的多视图交互学习网络

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

跨模态生成技术下面向文化产品的概念设计方法研究

文化产品是传承传统文化的重要方式,但目前市场同质化严重,设计研究效率低,人力成本高。跨模态生成技术可实现文化产品数字原型快速生成迭代,是数字化创新的有效途径。文章提出了一种将跨模态生成技术与当前文化产品概念设计过程相结合的方法。根据文化产品特点和跨模态生成技术特点,结合文化意象层次知识,将设计过程中需要人为处理的大量跨模态设计任务,通过跨模态技术处理传递设计信息,快速生成创新概念方案,并对此设计方法流程进行研究。以“基于海晏河清文化的加湿器”为例,进行有效设计实践,获得相关文化产品初步概念设计方案。利用该概念设计方法可以促进文化产品概念设计阶段快速迭代,为文化产品的创新和发展提供有力支持。

基于深度置信网络的多模态过程故障评估方法及应用

传统的多模态过程故障等级评估方法对模态之间的共性特征考虑较少,导致当被评估模态故障信息不充分时,评估的准确性较低.针对此问题,首先,提出一种共性–个性深度置信网络(Common and specific deep belief network,CS-DBN),该网络充分利用深度置信网络(Deep belief network,DBN)的深度分层特征提取能力,通过度量多模态数据间分布的相似性和差异性,进一步得到能够反映多模态过程共有信息的共性特征以及反映每个模态独有信息的个性特征;其次,基于CS-DBN,利用多模态过程的已知故障等级数据生成多模态共性–个性特征集,通过加权逻辑回归构建故障等级评估模型;最后,将所提方法应用于带钢热连轧生产过程的故障等级评估中.应用结果表明,随着多模态故障等级数据的增加,所提方法的评估准确率逐渐增加,当故障信息充足时,评估准确率可达98.75%;故障信息不足时,与传统方法相比,评估准确率提升近10%.

多模态影像结合病例分析在神经外科学教学中的应用

目的 探索多模态影像结合病例分析在神经外科学教学中的应用效果。方法 选择2020年1月至2021年5月在嘉兴学院附属第二医院学习的本学院2018级五年制临床医学专业185班和186班共86名学生为研究对象。采用试验对照方法,将185班44名学生设为A组,前半部分课程采用多模态影像结合病例分析教学方式,后半部分课程采用常规教学方式;将186班42名学生设为B组,前半部分课程采用常规教学方式,后半部分课程采用多模态影像结合病例分析教学方式。课程教学结束后,对两组学生进行相关理论知识考核和教学满意度问卷调查,比较分析两组学生不同教学安排的实施效果。结果 A组学生前半部分课程理论知识考核成绩为(92.5±12.7)分,教学满意度评分为(4.5±1.1)分;后半部分课程理论知识考核成绩为(85.8±10.6)分,教学满意度评分为(3.7±1.2)分。B组学生前半部分课程理论知识考核成绩为(86.5±11.4)分,教学满意度评分为(3.6±1.2)分;后半部分课程理论知识考核成绩为(91.8±12.8)分,教学满意度评分为(4.4±1.3)分。两组学生相同部分课程理论知识考核成绩和教学满意度评分比较,其差异均具有统计学意义(均P<0.05)。结论 在神经外科学教学中应用多模态影像结合病例分析教学方式,能够提高学生的理论知识考核成绩和教学满意度评分,获得更好的教学效果,具有推广应用价值。

多模态协同感知与融合技术专题前言

与人类利用视觉、听觉、触觉等多种感官信息来感知世界相似,计算机智能系统也可通过不同的传感器,如摄像头、雷达、麦克风、触觉传感器等,来获取人类和物理世界中的数据与信息.随着智能终端和多模态传感设备的普及,可用于感知世界的数据来源、维度和数据量都在快速增长,单独模态数据所提供的信息已经不能满足智能系统感知与理解世界的需求.因此智能系统在感知世界时,需要从更多模态数据的差异化获取、动态适配、互补融合、协同感知等角度开展深入研究,这也是多媒体领域的一个非常重要和具有挑战性的问题.本专题强调多模态的协同交互与有机融合,研究多模态协同感知与融合技术,重点关注视觉语言多模态交互理解技术、多模态交互生成与重建技术和多模态智能融合与协同学习技术,旨在促进多模态特征表示、自适应融合、协同学习和交互生成等相关理论与方法的研究进展.

基于建筑信息模型数据驱动的铁路设备运维多模态知识图谱构建

铁路信号设备是保障行车安全、提高运输效率的核心装备,加强信号设备智能运维是降低铁路运行风险的必要基础保障。目前,针对我国基于建筑信息模型(BIM)的智能运维平台存在不能精准映射各设备的行为规律和相互之间互馈作用的机理,须同时依靠经验知识进行推断等问题。首先构建了铁路设备运维文本知识图谱;其次构建卷积神经网络(CNN)-团组图卷积神经网络(cgGCN)模型对BIM图像模态数据进行处理,完成对20种铁路信号设备零件图信息的标注,实验结果表明模型准确率达到95.38%,精确率和召回率的调和平均值F1达到95.58%;最后将BIM图像信息以视觉模态嵌入运维文本知识图谱,利用Neo4j图数据库实现多模态知识图谱可视化展示,从而精准映射各信号设备相互之间互馈作用的机理,为后续现场铁路运维人员实施安全管理和运维决策提供在线服务和指导。