圆柱壳体动力响应中的模态参与问题研究

以两端简支圆柱壳体为例,研究了考虑正、余弦模态成分影响的圆柱壳体动力响应中的模态参与问题,提出了根据模态参与因子的分布特征判定模态截断阶次的方法,采用正、余弦模态叠加得到了圆柱壳体在冲击激励及旋转行波激励作用下的动力响应,基于响应的收敛性验证了判定方法的可靠性。理论计算与有限元仿真结果表明,与圆柱壳体模态特性分析不同,在求解圆柱壳体动力响应时必须同时考虑正、余弦模态成分的影响;冲击激励作用下,圆柱壳体各阶正、余弦模态在响应中的参与程度与激振点和观测点的位置相关;旋转行波激励作用下,圆柱壳体各阶正、余弦模态在响应中的参与程度与激励的阶次和频率密切相关。

面向肝细胞癌微血管侵犯评估的高效多模态贡献度感知网络研究

微血管侵犯(MicroVascular Invasion,MVI)是肝细胞癌(HepatoCellular Carcinoma,HCC)切除或移植患者出现早期复发和长期预后不良的重要影响因素,因此在HCC患者术前评估是否存在MVI具有非常重要的临床价值.近年来,深度学习为MVI影像诊断评估提供了有价值的解决方法,但受数据标注收集困难等因素的影响,目前研究多独立利用电子计算机断层扫描(Computed Tomography,CT)或核磁共振成像(Magnetic Resonance Imaging,MRI)手段采集影像中的单模态序列,缺乏对各成像手段中多模态序列的综合应用.在小样本场景下,为有效利用多模态序列数据,提高诊断效能,本文提出一种高效多模态贡献度感知网络.该网络可以利用模态分组卷积和高效多模态自适应加权模块,在极少计算开销的引入下,学习CT或MRI的各模态影像信息在复杂多样的MVI表象下的诊断贡献.本文在三甲医院收集的临床数据集上进行实验,结果表明该网络模型可以在少量有标注数据的支持下,取得优于多种基于注意力机制的神经网络模型的MVI诊断性能,为专业医师的诊断分析提供了有效参考.

基于变分模态提取的动力响应重构方法研究

基于经验模态分解的响应重构方法依赖于参数繁多的带通滤波器,且不适用于具有密集模态的结构,因此,提出一种基于变分模态提取的动力响应重构方法。首先,在时域内使用变分模态提取将由传感器测得的动力响应分解为各阶模态响应;随后,通过根据有限元建模或模态试验导出的模态转换矩阵计算得到响应未知位置的各阶模态响应,再根据模态叠加法完成其余位置动力响应的重构;最后,对非密集模态的悬臂梁和密集模态的3层剪切框架进行数值模拟,并通过简支梁进行试验分析,验证了所提方法的有效性和较好的鲁棒性。

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

基于非文本模态强化和门控融合方法的多模态情感分析

针对各模态之间信息密度存在差距和融合过程中可能会丢失部分情感信息等问题,提出一种基于非文本模态强化和门控融合方法的多模态情感分析模型。该模型通过设计一个音频-视觉强化模块来实现音频和视觉模态的信息增强,从而减小与文本模态的信息差距。之后,通过跨模态注意力和门控融合方法,使得模型充分学习到多模态情感信息和原始情感信息,从而增强模型的表达能力。在对齐和非对齐的CMU-MOSEI数据集上的实验结果表明,所提模型是有效的,相比现有的一些模型取得了更好的性能。

基于动态模态分解-自适应变步长油浸式电力变压器绕组瞬态温升快速计算方法

为了改善当前油浸式电力变压器绕组瞬态温升计算过慢的问题,该文结合动态模态分解法和自适应变步长法提出了一种动态模态分解(DMD)-自适应变步长(ATS)快速计算方法。首先,该方法引入了动态模态分解算法,利用动态系统中前若干时步提取得到的变化特征,近似拟合其后一段时间内的系统变化,并通过选取主模态降低计算时间。其次,为了提高DMD算法性能,进一步提出结合ATS方法,通过自适应调整计算步长,提高瞬态计算效率;为了验证算法的计算精度和效率,建立了八分区分匝绕组数值传热模型并在此基础上将该文所提算法与仿真软件Fluent的计算结果进行对比,结果表明,在计算精度方面,二者结果几乎一致,计算误差最大不超过0.3 K;对于计算效率,该文算法的总计算时间为5.99 s,仅为Fluent总计算时间的1/89,且算法时间步数仅为Fluent的4.7%。最后,为了验证DMD-ATS算法的工程实用性,基于产品级油浸式电力变压器绕组结构搭建温升实验平台,并将所提算法计算结果与实验结果进行对比,结果表明所提算法在各测量线饼的误差均处在可接受的范围内,最大误差仅为4.57 K,且包含预处理时间在内的计算时间仅为69.14 s,计算时步仅需17步,较当前主流的计算方法效率有明显提高。综合算法的精度和效率,充分说明所提算法具有一定工程价值。

社交网络舆情多模态知识图谱构建框架研究

[研究目的]信息技术的发展丰富了社交媒体用户的沟通交流方式,研究社交网络舆情多模态知识图谱的构建对网络舆情治理具有重要的现实意义。[研究方法]基于多模态数据的语义互补,讨论了实体属性关联、图像(视频)文字描述、图像(视频)属性、图像(视频)关联等多种异构数据融合方式。在此基础上,提出社交网络舆情多模态知识图谱的构建框架,并分析了在多模态语义理解、多模态实体对齐、多模态知识表示等方面存在的问题与挑战。[研究结论]提出基于多模态知识融合的社交网络舆情多模态知识图谱构建框架,为交互方式日趋丰富的社交网络舆情治理提供有益参考。

航空发动机风扇管道径向声模态模拟与识别技术

针对航空发动机风扇管道径向声模态模拟与测试问题,研究了径向声模态模拟技术以及径向声模态识别技术。采用基于径向排布的声源阵列形式,调节阵列预设的各扬声器幅值及相位实现径向模态声源模拟。建立声源管道下游多圈环形阵列,根据阵列位置信息构造求解模态的传递函数矩阵,运用Tikhonov正则化方法减小传递函数矩阵的条件数,从而实现径向声模态识别能力。通过理论推导和数值计算,设计风扇管道径向声模态试验装置,并在消声室进行试验验证。通过试验验证了该系统具备周向4阶以内,径向2阶以内的径向声模态模拟与识别能力。

基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。

多模态方面级情感分析的多视图交互学习网络

以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示,对方面和观点词相关性的识别不敏感,且不能动态获取图片信息对单词表示的贡献,因而不能充分识别多模态与方面之间的相关性。针对上述问题,提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征,以便在多模态交互时充分利用到文本的全局特征;对文本、图片和方面之间的关系进行建模,使模型实现多模态交互;同时融合不同模态的交互表示,动态获取视觉信息对文本中每个单词的贡献程度,充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验,实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

跨模态生成技术下面向文化产品的概念设计方法研究

文化产品是传承传统文化的重要方式,但目前市场同质化严重,设计研究效率低,人力成本高。跨模态生成技术可实现文化产品数字原型快速生成迭代,是数字化创新的有效途径。文章提出了一种将跨模态生成技术与当前文化产品概念设计过程相结合的方法。根据文化产品特点和跨模态生成技术特点,结合文化意象层次知识,将设计过程中需要人为处理的大量跨模态设计任务,通过跨模态技术处理传递设计信息,快速生成创新概念方案,并对此设计方法流程进行研究。以“基于海晏河清文化的加湿器”为例,进行有效设计实践,获得相关文化产品初步概念设计方案。利用该概念设计方法可以促进文化产品概念设计阶段快速迭代,为文化产品的创新和发展提供有力支持。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性:简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息(即区域或单词)。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络(MMTN)模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明:所提模型达到了最先进的性能。

动车组车体模态频率贡献度和改进方法研究

针对高速列车车体低阶模态频率提升过程中,传统灵敏度分析方法存在的设计变量繁多和难以识别出优先改进部件的难题,提出了一种新颖的车体模态频率贡献度评估与结构改进方法。重点分析了铝合金车体板件厚度与模态频率的灵敏度关系,并在此基础上提出了部件模态贡献度概念,推导和建立了描述部件模态频率灵敏度与贡献度的数学模型。通过对动车组车体中各铝型材的贡献度进行计算,详细分析了车顶、侧墙、底架等六大部件对前3阶模态频率的影响。研究揭示,部件模态贡献度表示了局部部件对整体结构模态影响的大小,呈现了灵敏度无法显示的全局量化指标。车顶部件对车体前3阶模态的贡献度最大,侧墙和底架居中,底架边梁、端墙和牵枕缓最小。车顶与侧墙、侧墙与底架连接处的型材对低阶模态产生了显著影响。通过增加内外板厚度并适度降低内部筋板厚度的策略,可提升1阶垂弯模态频率。应用所提出的方法,基于车体54个部件模态贡献度,成功甄别出车顶和连接处型材等优先优化部件并进行了改进,实现了1阶垂弯模态频率从9.5 Hz提升至10.2 Hz,同时将车体重量增加控制在43 kg以内,验证了方法的有效性和高效性,为车体模态频率的优化提供了清晰的路径。该方法具有广泛的适用性,可推广应用于其他领域的结构模态改进。

面向视频数据的多模态情感分析

多模态情感分析旨在从文本、图像和音频数据中提取和整合语义信息,从而识别在线视频中说话者的情感状态。尽管多模态融合方案在此研究领域已取得一定成果,但是已有方法在处理模态间分布差异和关系知识的融合方面仍有欠缺,为此,提出一种多模态情感分析方法。设计一种多模态提示门(MPG)模块,其能够将非语言信息转换为融合文本上下文的提示,利用文本信息对非语言信号的噪声进行过滤,得到包含丰富语义信息的提示,以增强模态间的信息整合。此外,提出一种实例到标签的对比学习框架,在语义层面上区分隐空间中的不同标签以进一步优化模型输出。在3个大规模情感分析数据集上的实验结果表明,该方法的二分类精度相对次优模型提高了约0.7%,三分类精度提高了超过2.5%,达到0.671。该方法能够为将多模态情感分析引入用户画像、视频理解、AI面试等领域提供参考。

一种多模态知识图谱实体对齐方法

多模态知识图谱的融合需要解决知识融合过程中的实体对齐问题。在多模态知识图谱中,多模态属性可以提供关键对齐信息来提升实体对齐的能力。本文提出一种基于多模态属性嵌入和图注意力网络的多模态知识图谱实体对齐方法。首先,根据多模态知识图谱中图像、文本和图谱结构信息,将多模态知识图谱划分成子图;其次,利用图注意力网络提取文本和图结构信息,利用视觉几何组(visual geometry group, VGG)网络提取图像特征信息;然后,将文本、图像和图结构特征生成嵌入表示到向量空间;最后,综合子图的多模态特征和图结构特征用于对齐。实验结果表明,在对齐任务中该模型相比于4种基线模型性能有明显提升(Hits@1、Hits@10和MRR提升了10.64%、5.60%和0.227)。

混凝土缺陷信号变分模态分解与超声成像方法

混凝土的强散射特性限制了其中缺陷声波成像的分辨率。该文采用一种依据变分模态分解与全聚焦成像相结合的方法,将接收信号分解成多个本征模态函数,计算各本征模态函数与激励信号的相关系数,对信号加权重构以实现对特征信号的提取,从而提高成像算法对混凝土缺陷间散射波互干扰的鲁棒性。通过设置对比试验,研究了不同缺陷混凝土结构中该信号处理方式对于成像结果的影响。试验结果表明,该方法对于弱散射及散射干扰具有更好的鲁棒性,相比基于原始数据的成像方法能够更好地还原混凝土内部结构。

一种多模态隐喻数据集的构建和验证方法

隐喻的目的是启发理解、说服他人。目前,隐喻呈现文本、图像、视频等多模态融合的趋势,因此,识别多模态信息中蕴含的隐喻语义对互联网内容安全具有研究价值。由于缺乏多模态隐喻数据集,难以建立研究模型,因此,当前学者更关注基于文本的隐喻检测。针对这一不足,作者首先从图像-文本、隐喻出现、情感表达和作者意图等角度构建新型多模态隐喻数据集;其次,对数据集的标注者进行Kappa分数计算;最后,借助预训练模型和注意力机制融合图像属性特征、图像实体对象特征和文本特征,构建多模态隐喻检测模型,验证多模态数据集的质量和价值。实验结果表明:具有情感和意图表达的隐喻数据集可提升隐喻模型检测效果,多模态信息间相互关系有助于隐喻的理解。

基于多模态的井下登高作业专人扶梯检测方法

目前大多数的井下人员不安全行为识别研究侧重于在计算机视觉上提高精度,但井下易出现遮挡、光照不稳定、反光等情况,仅采用计算机视觉技术难以实现对不安全行为的准确识别,尤其登高作业中的爬梯、扶梯等相似动作在识别过程中易被混淆,存在安全隐患。针对上述问题,提出一种基于多模态的井下登高作业专人扶梯检测方法。该方法从视觉和音频2个模态对监控视频数据进行分析。视觉模态方面,采用YOLOv8模型检测登高梯是否存在,如果存在,获得登高梯的位置坐标,并将视频段放入OpenPose算法中进行姿态估计,得到人体的各个骨骼关节点的特征,将这些骨骼关节点序列放入改进的时空注意图卷积网络(SAT−GCN)中,得到人体动作标签及其对应概率。音频模态方面,采用飞桨自动语言识别系统将语音转换为文本,使用双向编码器表示(BERT)模型对文本信息进行特征分析与提取,得到文本标签及其对应的概率。最后将视觉模态与音频模态得到的信息进行决策级融合,判断井下登高作业是否有专人扶梯。实验结果表明:基于骨架数据的动作识别中,优化后的SAT−GCN模型对于扶梯、爬梯、站立3种动作的识别精度分别提升了3.36%,2.83%,10.71%;基于多模态的检测方法比单模态方法具有更高的识别准确率,达到98.29%。

基于工作模态辨识的高速飞行器运输约束动载荷辨识技术研究

在运输振动测量数据基础上,本文提出了基于工作模态辨识的高速飞行器运输约束动载荷辨识方法。首先,详细介绍了ERA(Eigensystem Realization Algorithm)环境激励模态辨识方法的理论和载荷辨识时域方法的理论;其次,给出了飞行器结构动力学建模方法;再次,提出了基于工作模态辨识的高速飞行器运输约束动载荷辨识计算工作流程,详细分析了各操作步骤;最后,通过算例验证了方法的可行性,其中,基于振动测量数据,采用环境激励模态辨识方法辨识各时刻的模态,包括模态频率和模态振型,再利用振动响应的模态叠加原理和模态正交理论,获取各时刻飞行器低阶模态的响应,再结合模态剪力和模态弯矩进行动载荷识别,采用载荷识别方法获取了高速飞行器约束点的约束载荷时域历程。