期刊文献+
共找到489篇文章
< 1 2 25 >
每页显示 20 50 100
Flight Flutter Modal Parameters Identification with Atmospheric Turbulence Excitation Based on Wavelet Transformation 被引量:4
1
作者 张波 史忠科 李健君 《Chinese Journal of Aeronautics》 SCIE EI CAS CSCD 2007年第5期394-401,共8页
In view of the feature of flight flutter test data with atmospheric turbulence excitation, a method which combines wavelet transformation with random decrement technique for identifying flight flutter modal parameters... In view of the feature of flight flutter test data with atmospheric turbulence excitation, a method which combines wavelet transformation with random decrement technique for identifying flight flutter modal parameters is presented. This approach firstly uses random decrement technique to gain free decays corresponding to the acceleration response of the structure to some non-zero initial conditions. Then the continuous Morlet wavelet transformation of the free decays is performed; and the Parseval formula and residue theorem are used to simplify the transformation. The maximal wavelet transformation coefficients in different scales are searched out by means of band-filtering characteristic of Morlet wavelet, and then the modal parameters are identified according to the relationships with maximal modulus and angle of the wavelet transform. In addition, the condition of modal uncoupling is discussed according to variation trend of flight flutter modal parameters in the flight flutter state. The analysis results of simulation and flight flutter test data show that this approach is not only simple, effective and feasible, but also having good noise immunity. 展开更多
关键词 flight flutter modal parameters identification atmospheric turbulence excitation wavelet transformation random decrement technique acceleration response
下载PDF
利用Transformer的多模态目标跟踪算法
2
作者 刘万军 梁林林 曲海成 《计算机工程与应用》 CSCD 北大核心 2024年第11期84-94,共11页
目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像... 目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。 展开更多
关键词 多模态融合 可见光图像 红外图像 transformER 目标跟踪
下载PDF
Modal identification based on Hilbert-Huang Transform of structural response with S VD preprocessing 被引量:7
3
作者 Min Zheng Fan Shen Yuping Dou Xiaoyan Yan College of Civil Aviation,Nanjing University of Aeronautics and Astronautics,210016 Nanjing. China 《Acta Mechanica Sinica》 SCIE EI CAS CSCD 2009年第6期883-888,共6页
In recent years, Empirical mode decomposition and Hilbert spectral analysis have been combined to identify system parameters. Singular-Value Decomposition is pro- posed as a signal preprocessing technique of Hilbert-H... In recent years, Empirical mode decomposition and Hilbert spectral analysis have been combined to identify system parameters. Singular-Value Decomposition is pro- posed as a signal preprocessing technique of Hilbert-Huang Transform to extract modal parameters for closely spaced modes and low-energy components. The proposed method is applied to a simulated airplane model built in Automatic Dynamic Analysis of Mechanical Systems software. The results demonstrate that the identified modal parameters are in good agreement with the baseline model. 展开更多
关键词 modal identification . Hilbert-Huang transforms - Singular-value decomposition . Signal processing
下载PDF
基于Transformer网络多模态融合的密集视频描述方法
4
作者 李想 桑海峰 《系统仿真学报》 CAS CSCD 北大核心 2024年第5期1061-1071,共11页
针对目前的密集视频描述模型大多使用两阶段的方法存在效率较低、忽略音频及语义信息,描述结果不全面的问题。提出了一种基于Transformer网络多模态和语义信息融合的密集视频描述方法。提取自适应R(2+1)D网络提取视觉特征,设计了语义探... 针对目前的密集视频描述模型大多使用两阶段的方法存在效率较低、忽略音频及语义信息,描述结果不全面的问题。提出了一种基于Transformer网络多模态和语义信息融合的密集视频描述方法。提取自适应R(2+1)D网络提取视觉特征,设计了语义探测器生成语义信息,加入音频特征进行补充,建立了多尺度可变形注意力模块,应用并行的预测头,加快模型收敛速度,提高模型精度。实验结果表明:模型在2个基准数据集上性能均有很好的表现,评价指标BLEU4上达到了2.17。 展开更多
关键词 密集事件描述 transformer网络 语义信息 多模态融合 可变形注意力
下载PDF
基于Transformer生成对抗网络的跨模态哈希检索算法
5
作者 雷蕾 徐黎明 《南阳理工学院学报》 2024年第4期38-44,共7页
考虑生成对抗网络在保持跨模态数据之间的流形结构的优势,并结合Transformer利用自注意力和无须使用卷积的优点,提出一种基于Transformer生成对抗网络的跨模态哈希检索算法。首先在ImageNet数据集上预训练Vision Transformer框架,并将... 考虑生成对抗网络在保持跨模态数据之间的流形结构的优势,并结合Transformer利用自注意力和无须使用卷积的优点,提出一种基于Transformer生成对抗网络的跨模态哈希检索算法。首先在ImageNet数据集上预训练Vision Transformer框架,并将其作为图像特征提取的主干网络,然后将不同模态的数据分割为共享特征和私有特征。接着,构建对抗学习模块减少不同模态的共享特征的分布距离与保持语义一致性,同时增大不同模态的私有特征分布距离与保持语义非一致性。最后将通用的特征表示映射为紧凑的哈希码,实现跨模态哈希检索。实验结果表明,在公共数据集上,所提算法优于对比算法。 展开更多
关键词 transformER 生成对抗网络 跨模态检索 哈希编码 语义保持
下载PDF
基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割算法 被引量:1
6
作者 姚宗亮 黄荣 +2 位作者 董爱华 韩芳 王青云 《宁夏大学学报(自然科学版)》 CAS 2024年第1期16-24,共9页
脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性... 脑肿瘤是目前世界上最致命的肿瘤之一,所以脑肿瘤图像的自动分割在临床诊疗中变得日益重要.近年来,基于CNN和Transformer的脑肿瘤分割方法在医学图像分割领域取得了令人欣喜的成就.然而,大多数方法没有充分利用脑肿瘤多模态间的互补性和差异性,并且模型中的Transformer在捕获远程依赖性的同时,忽略了其较大的计算复杂性、冗余依赖性等问题.针对此问题,提出一种基于多模态融合和自适应剪枝Transformer的脑肿瘤图像分割方法(MF-MAPT Swin UNETR),其中多模态融合模块可以充分学习性质相近的模态间信息和不同模态不同尺度的特征变化,为后续分割提供了充分的准备;基于多模态的自适应剪枝Transformer可以降低计算复杂度,对提升性能有一定的帮助,将MF-MAPT Swin UNETR模型在两个公共数据集上进行了实验验证,结果表明,该模型较最先进的方法整体具有突出的分割性能. 展开更多
关键词 脑肿瘤分割 transformER 模态交叉连接 多尺度特征融合 token融合 自适应剪枝
下载PDF
面向多模态情感分析的低秩跨模态Transformer
7
作者 孙杰 车文刚 高盛祥 《计算机工程与科学》 CSCD 北大核心 2024年第10期1888-1900,共13页
多模态情感分析将基于文本的方法扩展到包含视觉和语音信号的多模态环境,已成为情感计算领域的热门研究方向。在预训练-微调的背景下,将预训练语言模型微调到多模态情感分析领域是必要的。然而,微调大规模预训练语言模型仍然很昂贵,而... 多模态情感分析将基于文本的方法扩展到包含视觉和语音信号的多模态环境,已成为情感计算领域的热门研究方向。在预训练-微调的背景下,将预训练语言模型微调到多模态情感分析领域是必要的。然而,微调大规模预训练语言模型仍然很昂贵,而且跨模态交互不足会影响性能。因此,提出低秩跨模态Transformer(LRCMT)来解决这些问题。受大型预训练语言模型在适应不同的自然语言处理下游任务时所呈现的低秩参数更新现象启发,LRCMT在每个冻结层中注入可训练的低秩参数矩阵,这大大减少了可训练参数,同时允许动态单词表示。此外,设计了跨模态交互模块,其中视觉和语音模态在与文本模态交互之前首先相互交互,从而实现更充分的跨模态融合。在多模态情感分析基准数据集上的大量实验表明了LRCMT的有效性和高效性。仅微调约全参数量0.76%的参数,LRCMT实现了与完全微调相当或更高的性能。此外,它还在许多指标上获得了最先进或具有竞争力的结果。消融实验表明,低秩微调与充分的跨模态交互有助于提升LRCMT的性能。总之,本文的工作降低了预训练语言模型在多模态任务上的微调成本,并为高效和有效的跨模态融合提供了思路。 展开更多
关键词 多模态 情感分析 预训练语言模型 跨模态transformer
下载PDF
基于多模态掩码Transformer网络的社会事件分类
8
作者 陈宏 钱胜胜 +2 位作者 李章明 方全 徐常胜 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期579-587,共9页
多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性:简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据... 多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性:简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息(即区域或单词)。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络(MMTN)模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明:所提模型达到了最先进的性能。 展开更多
关键词 多模态 社会事件分类 社交媒体 表示学习 多模态transformer网络
下载PDF
融合图像信息的跨模态Transformer点云补全算法
9
作者 何星 朱哲 +3 位作者 燕雪峰 郭延文 宫丽娜 魏明强 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第7期1026-1033,共8页
针对三维传感器(如LiDAR、深度相机)获取的点云往往残缺不全,需要进行补全处理,而单模态方法存在的补全结果细节不丰富、结构不完整等问题,提出一种融合图像信息的跨模态Transformer点云补全算法.首先采用点云分支和图像分支分别提取点... 针对三维传感器(如LiDAR、深度相机)获取的点云往往残缺不全,需要进行补全处理,而单模态方法存在的补全结果细节不丰富、结构不完整等问题,提出一种融合图像信息的跨模态Transformer点云补全算法.首先采用点云分支和图像分支分别提取点云特征和图像特征,其中,点云分支采用PoinTr为骨干网络,图像分支采用7层卷积;然后通过特征融合模块融合点云特征和图像特征,由粗到精地生成全分辨率的点云.在ShapeNet-ViPC数据集上进行实验的结果表明,所提算法的可视化结果优于单模态点云补全方法和目前仅有的跨模态点云补全方法ViPC,且在大部分测试类别上的CD-L_(2)量化指标优于ViPC;平均CD-L_(2)为2.74,比ViPC低17%.为了便于研究人员评估和使用,文中算法可通过https://github.com/Starak-x/ImPoinTr开源获取. 展开更多
关键词 点云补全 transformER 跨模态
下载PDF
基于CNN-Transformer双模态特征融合的目标检测算法 被引量:2
10
作者 杨晨 侯志强 +2 位作者 李新月 马素刚 杨小宝 《光子学报》 EI CAS CSCD 北大核心 2024年第3期273-286,共14页
针对单模态目标检测的不足,提出了一种基于CNN-Transformer双模态特征融合的目标检测算法。在YOLOv5的基础上,构建了一个可以同时输入红外和可见光图像的双流特征提取网络;然后,分别提出了基于卷积神经网络结构的红外特征提取主干网络... 针对单模态目标检测的不足,提出了一种基于CNN-Transformer双模态特征融合的目标检测算法。在YOLOv5的基础上,构建了一个可以同时输入红外和可见光图像的双流特征提取网络;然后,分别提出了基于卷积神经网络结构的红外特征提取主干网络和基于Transformer结构的可见光特征提取主干网络,以提升对红外和可见光图像的特征提取能力;最后,按照中期融合的思想,设计了双模态特征融合模块,对两个分支对应尺度的双模态特征信息进行有效融合,实现跨模态信息互补。在数据集上对所提算法进行验证,实验结果表明,该算法在KAIST数据集上对双模态图像进行检测的结果,较基准算法单独检测红外图像和可见光图像,精度分别提升了5.7%和17.4%;在FLIR数据集上较基准算法,检测精度分别提升了11.6%和17.1%;在自建GIR数据集上,所提算法的检测精度也有明显提升。此外,该算法还可以单独处理红外或可见光图像,且检测精度较基准算法均有明显提升。 展开更多
关键词 目标检测 卷积神经网络 transformER 双模态 特征融合 红外 可见光
下载PDF
情感分析的跨模态Transformer组合模型
11
作者 王亮 王屹 王军 《计算机工程与应用》 CSCD 北大核心 2024年第13期124-135,共12页
基于Transformer的端到端组合深度学习模型是多模态情感分析的主流模型。针对相关工作中此类模型存在的低资源(low-resource)模态数据的情感特征提取能力不足、不同模态非对齐数据的特征尺度差异导致对齐融合过程中易丢失关键特征信息... 基于Transformer的端到端组合深度学习模型是多模态情感分析的主流模型。针对相关工作中此类模型存在的低资源(low-resource)模态数据的情感特征提取能力不足、不同模态非对齐数据的特征尺度差异导致对齐融合过程中易丢失关键特征信息、基础注意力模型并行处理多模态数据导致多模态长期依赖机制不可靠的问题,提出了一种基于轻量级注意力聚合模块与跨模态Transformer的能使用多模态非对齐数据执行二分类和多分类任务的多模态情感分析模型LAACMT。LAACMT模型提出采用门控循环单元与改进的特征提取算法提取低资源模态信息,提出位置编码配合卷积放缩方法用于对齐多模态语境,提出跨模态多头注意力机制融合已对齐的多模态数据并建立可靠的跨模态长期依赖机制。LAACMT模型在包含文本、语音和视频的三种模态非对齐数据集CMU-MOSI上的实验结果表明该模型的性能评价指标较SOTA有稳定提升。其中Acc7提升了3.96%、Acc2提升了4.08%、F1分数提升了3.35%。消融实验结果数据证明所提模型解决了多模态情感分析相关工作中存在的问题,降低了基于Transformer的多模态情感分析模型的复杂度,提升了模型性能的同时避免了过拟合问题。 展开更多
关键词 多模态情感分析 轻量级注意力聚合模块 跨模态transformer 门控循环单元 跨模态多头注意力机制
下载PDF
基于双模态Transformer模型的话务量预测
12
作者 裴明丽 刘晓川 +1 位作者 黄如兵 张友海 《安徽职业技术学院学报》 2024年第1期19-25,70,共8页
为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,... 为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,最后采用多种模型进行话务量预测以及多种衡量指标对预测结果进行分析。结果表明:与其他算法比较,Transformer模型性能较好,对运营商资源的合理配置具有较高的指导意义,同时更易获得客户较高的满意度和忠诚度。 展开更多
关键词 话务量预测 transformer模型 服务质量 双模态
下载PDF
Structural modal parameter identifi cation and damage diagnosis based on Hilbert-Huang transform 被引量:15
13
作者 Han Jianping Zheng Peijuan Wang Hongtao 《Earthquake Engineering and Engineering Vibration》 SCIE EI CSCD 2014年第1期101-111,共11页
Traditional modal parameter identifi cation methods have many disadvantages,especially when used for processing nonlinear and non-stationary signals.In addition,they are usually not able to accurately identify the dam... Traditional modal parameter identifi cation methods have many disadvantages,especially when used for processing nonlinear and non-stationary signals.In addition,they are usually not able to accurately identify the damping ratio and damage.In this study,methods based on the Hilbert-Huang transform(HHT) are investigated for structural modal parameter identifi cation and damage diagnosis.First,mirror extension and prediction via a radial basis function(RBF) neural network are used to restrain the troublesome end-effect issue in empirical mode decomposition(EMD),which is a crucial part of HHT.Then,the approaches based on HHT combined with other techniques,such as the random decrement technique(RDT),natural excitation technique(NExT) and stochastic subspace identifi cation(SSI),are proposed to identify modal parameters of structures.Furthermore,a damage diagnosis method based on the HHT is also proposed.Time-varying instantaneous frequency and instantaneous energy are used to identify the damage evolution of the structure.The relative amplitude of the Hilbert marginal spectrum is used to identify the damage location of the structure.Finally,acceleration records at gauge points from shaking table testing of a 12-story reinforced concrete frame model are taken to validate the proposed approaches.The results show that the proposed approaches based on HHT for modal parameter identifi cation and damage diagnosis are reliable and practical. 展开更多
关键词 modal parameter identifi cation damage diagnosis Hilbert-Huang transform natural excitation technique stochastic subspace identifi cation random decrement method shaking table test
下载PDF
基于多模态双协同Gather Transformer网络的虚假信息检测方法
14
作者 向旺 王金光 +1 位作者 王一飞 钱胜胜 《计算机科学》 CSCD 北大核心 2024年第12期242-249,共8页
社交媒体网站是人们在日常生活中分享信息、表达和交换意见的便捷平台。随着用户数量的不断增加,社交媒体网站上出现了大量的信息数据。然而,由于用户没有检查共享信息的可靠性,这些信息的真实性难以保证,从而导致大量虚假信息在社交媒... 社交媒体网站是人们在日常生活中分享信息、表达和交换意见的便捷平台。随着用户数量的不断增加,社交媒体网站上出现了大量的信息数据。然而,由于用户没有检查共享信息的可靠性,这些信息的真实性难以保证,从而导致大量虚假信息在社交媒体上广泛传播。然而,现有方法大多存在以下局限性:1)大多数方法通过简单提取文本与视觉特征,将其拼接后得到多模态特征来进行虚假信息判断,忽略了模态间和模态内细粒度内在联系,缺乏对关键信息的检索和筛选;2)多模态信息间缺乏指导性的特征提取,文本和视觉等特征之间缺乏交互增强,对多模态信息的理解不足。为了应对这些挑战,提出了一种新颖的基于多模态双协同Gather Transformer网络(Multimodal Dual-Collaborative Gather Transformer Network,MDCGTN)的虚假信息检测方法。在MDCGTN模型中,通过文本-视觉编码网络对文本和视觉信息的特征表示进行提取,将获得的视觉和文本特征表示输入多模态Gather Transformer网络进行多模态信息融合,使用Gather机制提取关键信息,充分捕捉和融合模态内和模态间细粒度关系。此外,设计了一个双协同机制对社交媒体帖子的多模态信息进行整合,以实现模态之间信息的交互和增强。在两个公开可用的基准数据集上进行了大量实验,结果表明,与现有的先进基准方法相比,所提方法准确率明显提升,证明了其对于虚假信息检测的优越性能。 展开更多
关键词 多模态 虚假信息检测 社交媒体 Gather transformer网络
下载PDF
嵌入局部聚类描述符的视频问答Transformer模型 被引量:2
15
作者 郭丹 姚沈涛 +1 位作者 王辉 汪萌 《计算机学报》 EI CAS CSCD 北大核心 2023年第4期671-689,共19页
视频问答(Video Question Answering)是典型的跨模态理解任务,其目的是根据提问的文本对视频内容进行理解并推理正确的答案,如何有效地对多模态输入进行特征表示并建立跨模态间复杂的语义关联是解决这一任务的关键难点.为了正确地推理结... 视频问答(Video Question Answering)是典型的跨模态理解任务,其目的是根据提问的文本对视频内容进行理解并推理正确的答案,如何有效地对多模态输入进行特征表示并建立跨模态间复杂的语义关联是解决这一任务的关键难点.为了正确地推理结果,模型首先必须捕获视频序列和复杂文本中包含的关键语义信息.本文提出了一种嵌入局部聚类描述符的视频问答Transformer模型,称为TVLAD-Net(Transformer Residual-less VLAD Network).TVLAD-Net主要包含一个端到端可训练的无残差局部聚合描述符模块(RVLAD,Residual-less Vec⁃tor of Local Aggregated Descriptor),以及一个统一的语义转换模块(Transformer).具体来说,RVLAD通过设置多个不同的聚类中心将视频和文本特征分别聚合为少量紧凑的局部聚类描述符;每个聚类描述符从全局角度分配及汇总了序列上权重不一的语义信息,相比于聚合前的视频帧特征或文本词特征具有更丰富的表征能力.Trans⁃former模块能够利用模态间的相互语义引导,实现多模态聚类描述符的语义交互,即采用多头注意力机制同时求解模态内和模态间的语义关联,进而避免了与所求解问题无关或者冗余的描述符语义单元的聚合.实验评估在TGIF-QA、MSVD-QA和MSRVTT-QA三个基准数据集上进行;实验结果表明本文方法能够实现先进的问答推理,在整体的评价指标上与现有方法相比有2%~5%的性能提升. 展开更多
关键词 视频问答 多模态数据 聚类描述符 自注意力变换网络 深度学习
下载PDF
基于Transformer-ESIM注意力机制的多模态情绪识别 被引量:2
16
作者 徐志京 高姗 《计算机工程与应用》 CSCD 北大核心 2022年第10期132-138,共7页
为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法。传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序... 为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法。传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序属性无法捕获长距离特征,因此采用Transformer编码层的多头注意力机制对序列进行并行化处理,解决了序列距离限制,能充分提取序列内的情感语义信息,获取语音和文本序列的深层情感语义编码,同时提高处理速度;通过ESIM交互注意力机制计算语音和文本之间的相似特征,实现语音和文本模态的对齐,解决了多模态特征直接融合而忽视的模态间交互问题,提高模型对情感语义的理解和泛化能力。该方法在IEMOCAP数据集上进行实验测试,实验结果表明,情绪识别分类准确率可达72.6%,和其他主流的多模态情绪识别方法相比各项指标都得到了明显的提升。 展开更多
关键词 多模态情绪识别 transformer编码层 多头注意力机制 交互注意力
下载PDF
基于Transformer的多模态气象预测 被引量:3
17
作者 向德萍 张普 +1 位作者 向世明 潘春洪 《计算机工程与应用》 CSCD 北大核心 2023年第10期94-103,共10页
随着气象观测技术的快速发展,气象行业积累了海量的气象大数据,为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系,以及多模态气象要素间存在的复杂跨模态耦合关系,基于深度学习的... 随着气象观测技术的快速发展,气象行业积累了海量的气象大数据,为构建新型的数据驱动的气象预测模型提供了机遇。由于气象数据中存在的长时依赖关系和大范围空间关联关系,以及多模态气象要素间存在的复杂跨模态耦合关系,基于深度学习的气象预测是一个具有挑战性的研究课题。针对“温度、相对湿度、纬向风速、经向风速”四种经典气象要素组成的等气压层时序多模态数据,提出了一种基于多模态融合的气象预测深度学习模型。首先采用卷积网络来学习各个模态的特征,并在此基础上引入门控机制实现多模态加权融合;然后引入注意力机制,以并行时空轴向注意力代替传统的注意力机制,从而有效地学习长时依赖关系和大范围空间关联关系。整体结构上,采用了基于Transformer的编码器-解码器结构。在ERA5再分析数据集(子区域)上进行了对比实验,实验结果表明了所提方法在温度、相对湿度、风速等预测任务上的有效性和优越性。 展开更多
关键词 气象预测 多模态融合 transformER 轴向注意力
下载PDF
基于Transformer的图文跨模态检索算法 被引量:5
18
作者 杨晓宇 李超 +2 位作者 陈舜尧 李浩亮 殷光强 《计算机科学》 CSCD 北大核心 2023年第4期141-148,共8页
随着互联网多媒体数据的不断增长,文本图像检索已成为研究热点。在图文检索中,通常使用相互注意力机制,通过将图像和文本特征进行交互,来实现较好的图文匹配结果。但是,这种方法不能获取单独的图像特征和文本特征,在大规模检索后期需要... 随着互联网多媒体数据的不断增长,文本图像检索已成为研究热点。在图文检索中,通常使用相互注意力机制,通过将图像和文本特征进行交互,来实现较好的图文匹配结果。但是,这种方法不能获取单独的图像特征和文本特征,在大规模检索后期需要对图像文本特征进行交互,消耗了大量的时间,无法做到快速检索匹配。然而基于Transformer的跨模态图像文本特征学习取得了良好的效果,受到了越来越多的关注。文中设计了一种新颖的基于Transformer的文本图像检索网络结构(HAS-Net),该结构主要有以下几点改进:1)设计了一种分层Transformer编码结构,以更好地利用底层的语法信息和高层的语义信息;2)改进了传统的全局特征聚合方式,利用自注意力机制设计了一种新的特征聚合方式;3)通过共享Transformer编码层,使图片特征和文本特征映射到公共的特征编码空间。在MS-COCO数据集和Flickr30k数据集上进行实验,结果表明跨模态检索性能均得到提升,在同类算法中处于领先地位,证明了所设计的网络结构的有效性。 展开更多
关键词 transformER 跨模态检索 特征分层提取 特征聚合 特征共享
下载PDF
基于多任务学习与层叠Transformer的多模态情感分析模型
19
作者 陈巧红 孙佳锦 +1 位作者 漏杨波 方志坚 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2023年第12期2421-2429,共9页
针对单模态特征提取存在的模态特征异质性难以保留问题和跨模态特征融合存在的特征冗余问题,基于跨模态Transformer,提出新的多模态情感分析模型(MTSA).使用长短时记忆(LSTM)与多任务学习框架提取单模态上下文语义信息,通过累加辅助模... 针对单模态特征提取存在的模态特征异质性难以保留问题和跨模态特征融合存在的特征冗余问题,基于跨模态Transformer,提出新的多模态情感分析模型(MTSA).使用长短时记忆(LSTM)与多任务学习框架提取单模态上下文语义信息,通过累加辅助模态任务损失以筛除噪声并保留模态特征异质性.使用多任务门控机制调整跨模态特征融合,通过层叠Transformer结构融合文本、音频与视觉模态特征,提升融合深度,避免融合特征冗余.在2个公开数据集MOSEI和SIMS上的实验结果表明,相较于其他先进模型,MTSA的整体性能表现更好,二分类准确率分别达到83.51%和84.18%. 展开更多
关键词 多模态情感分析 长短时记忆(LSTM) transformER 多任务学习 跨模态特征融合
下载PDF
Optimization of the End Effect of Hilbert-Huang transform(HHT) 被引量:4
20
作者 Chenhuan Lv Jun ZHAO +2 位作者 Chao WU Tiantai GUO Hongjiang CHEN 《Chinese Journal of Mechanical Engineering》 SCIE EI CAS CSCD 2017年第3期732-745,共14页
In fault diagnosis of rotating machinery, Hil- bert-Huang transform (HHT) is often used to extract the fault characteristic signal and analyze decomposition results in time-frequency domain. However, end effect occu... In fault diagnosis of rotating machinery, Hil- bert-Huang transform (HHT) is often used to extract the fault characteristic signal and analyze decomposition results in time-frequency domain. However, end effect occurs in HHT, which leads to a series of problems such as modal aliasing and false IMF (Intrinsic Mode Func- tion). To counter such problems in HHT, a new method is put forward to process signal by combining the general- ized regression neural network (GRNN) with the bound- ary local characteristic-scale continuation (BLCC). Firstly, the improved EMD (Empirical Mode Decompo- sition) method is used to inhibit the end effect problem that appeared in conventional EMD. Secondly, the gen- erated IMF components are used in HHT. Simulation and measurement experiment for the cases of time domain, frequency domain and related parameters of Hilbert- Huang spectrum show that the method described here can restrain the end effect compared with the results obtained through mirror continuation, as the absolute percentage of the maximum mean of the beginning end point offset and the terminal point offset are reduced from 30.113% and 27.603% to 0.510% and 6.039% respectively, thus reducing the modal aliasing, and eliminating the false IMF components of HHT. The proposed method caneffectively inhibit end effect, reduce modal aliasing and false IMF components, and show the real structure of signal components accuratelX. 展开更多
关键词 End effect Hilbert-Huang transform (HHT)modal aliasing Boundary local characteristic-scalecontinuation (BLCC) Generalized regression neuralnetwork (GRNN)
下载PDF
上一页 1 2 25 下一页 到第
使用帮助 返回顶部