期刊文献+
共找到3,358篇文章
< 1 2 168 >
每页显示 20 50 100
Defect Detection Model Using Time Series Data Augmentation and Transformation
1
作者 Gyu-Il Kim Hyun Yoo +1 位作者 Han-Jin Cho Kyungyong Chung 《Computers, Materials & Continua》 SCIE EI 2024年第2期1713-1730,共18页
Time-series data provide important information in many fields,and their processing and analysis have been the focus of much research.However,detecting anomalies is very difficult due to data imbalance,temporal depende... Time-series data provide important information in many fields,and their processing and analysis have been the focus of much research.However,detecting anomalies is very difficult due to data imbalance,temporal dependence,and noise.Therefore,methodologies for data augmentation and conversion of time series data into images for analysis have been studied.This paper proposes a fault detection model that uses time series data augmentation and transformation to address the problems of data imbalance,temporal dependence,and robustness to noise.The method of data augmentation is set as the addition of noise.It involves adding Gaussian noise,with the noise level set to 0.002,to maximize the generalization performance of the model.In addition,we use the Markov Transition Field(MTF)method to effectively visualize the dynamic transitions of the data while converting the time series data into images.It enables the identification of patterns in time series data and assists in capturing the sequential dependencies of the data.For anomaly detection,the PatchCore model is applied to show excellent performance,and the detected anomaly areas are represented as heat maps.It allows for the detection of anomalies,and by applying an anomaly map to the original image,it is possible to capture the areas where anomalies occur.The performance evaluation shows that both F1-score and Accuracy are high when time series data is converted to images.Additionally,when processed as images rather than as time series data,there was a significant reduction in both the size of the data and the training time.The proposed method can provide an important springboard for research in the field of anomaly detection using time series data.Besides,it helps solve problems such as analyzing complex patterns in data lightweight. 展开更多
关键词 Defect detection time series deep learning data augmentation data transformation
下载PDF
基于双向稀疏Transformer的多变量时序分类模型
2
作者 王慧强 陈楚皓 +1 位作者 吕宏武 米海林 《小型微型计算机系统》 CSCD 北大核心 2024年第3期555-561,共7页
针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框... 针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%. 展开更多
关键词 多变量时序分类 transformer 双向稀疏机制 活跃度评价函数
下载PDF
基于Swin Transformer与GRU的低温贮藏番茄成熟度识别与时序预测研究
3
作者 杨信廷 刘彤 +2 位作者 韩佳伟 郭向阳 杨霖 《农业机械学报》 EI CAS CSCD 北大核心 2024年第3期213-220,共8页
面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型... 面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型,首先通过融合番茄两侧图像获取番茄表观全局红色总占比,构建不同成熟番茄图像数据集,并基于迁移学习优化Swin Transformer模型初始权重配置,实现番茄成熟度分类识别;其次,周期性采集不同储藏温度(4、9、14℃)下番茄图像数据,结合番茄初始颜色特征与贮藏环境信息,构建基于Swin Transformer与GRU的番茄成熟度时序预测模型,并融合时间注意力模块优化模型预测精度;最后,对比分析不同模型预测结果,验证本研究所提模型的准确性与优越性。结果表明,番茄成熟度正确识别率为95.783%,相比VGG16、AlexNet、ResNet50模型,模型正确识别率分别提升2.83%、3.35%、12.34%。番茄成熟度时序预测均方误差(MSE)为0.225,相比原始GRU、LSTM、BiGRU模型MSE最高降低29.46%。本研究为兼顾番茄成熟度实现贮藏温度柔性适时调控提供了关键理论基础。 展开更多
关键词 番茄 低温贮藏 成熟度识别 时序预测模型 Swin transformer GRU
下载PDF
基于Transformer和GAN的多元时间序列异常检测方法
4
作者 曾凡锋 吕繁钰 《北方工业大学学报》 2024年第1期100-109,共10页
在时序数据分析中,异常检测是最为成熟的应用之一。它在量化交易、网络安全检测、自动驾驶和大型工业设备日常维护等现实领域广泛应用。随着业务组合的复杂性和时序数据量的增加,传统的人工和简单算法方法很难判断异常点。针对上述问题... 在时序数据分析中,异常检测是最为成熟的应用之一。它在量化交易、网络安全检测、自动驾驶和大型工业设备日常维护等现实领域广泛应用。随着业务组合的复杂性和时序数据量的增加,传统的人工和简单算法方法很难判断异常点。针对上述问题,对现有的检测方法进行了改进,提出了一种基于Transformer和生成式对抗网络(Generative Adversarial Networks,GAN)的时间序列异常检测模型,利用改进后的Transformer对时间序列的空间特征进行提取,并使用基于异常分数的异常检测算法和对抗训练以获得稳定性和准确性。模型采用自监督训练的方式,避免了需要手动标注异常数据的麻烦,同时减少了数据集对于监督模型训练的依赖。通过实验验证,本文提出的基于Transformer的时间序列异常检测模型在准确率上与先进的基于Transformer的模型相当,并且表现优于多元时间序列的大型数据集上的监督训练和传统异常检测方法。因此,该模型在实际应用中具有较好的潜力。 展开更多
关键词 深度学习 异常检测 transformer 生成式对抗网络(GAN) 多元时间序列
下载PDF
基于LSTM与Transformer的地面沉降智能预测方法研究——以上海市为例
5
作者 彭文祥 张德英 《时空信息学报》 2024年第1期94-103,共10页
受地面沉降严重威胁到生命财产安全的人口已达19%,开展地面沉降模拟预测对防灾减灾具有非常重要的现实意义。针对现有地面沉降预测在模型参数难以获取、单一深度学习方法在预测精度低等方面的局限性,本文提出了集成大模型核心技术的地... 受地面沉降严重威胁到生命财产安全的人口已达19%,开展地面沉降模拟预测对防灾减灾具有非常重要的现实意义。针对现有地面沉降预测在模型参数难以获取、单一深度学习方法在预测精度低等方面的局限性,本文提出了集成大模型核心技术的地面沉降预测方法。首先,从地面沉降模拟预测的顶层设计,提出了基于深度学习的地面沉降预测包括算力层、数据层、模型层、评估层与应用层的总体架构;其次,基于LSTM与Transformer提出了地面沉降预测的实用方法;最后,利用上海的地面沉降数据进行了实验研究。结果表明:深度学习技术可以在地面沉降模拟预测中取得较好的结果,多模型法对地面沉降变化不大、回弹、变化较大均可进行预测,iTransformer模型对地面沉降变化较小的情况预测效果较好;在微量地面沉降时代,利用大模型的核心技术Transformer可以取得较高的精度。 展开更多
关键词 地面沉降 深度学习 时间序列预测 长短期记忆 transformer 大模型
下载PDF
基于Transformer的矿井内因火灾时间序列预测方法
6
作者 王树斌 王旭 +1 位作者 闫世平 王珂 《工矿自动化》 CSCD 北大核心 2024年第3期65-70,91,共7页
传统的基于机器学习的矿井内因火灾预测方法尽管具备一定的预测能力,然而在处理复杂的多变量数据时不能有效捕捉数据间的全局依赖关系,导致预测精度较低。针对上述问题,提出了一种基于Transformer的矿井内因火灾时间序列预测方法。首先... 传统的基于机器学习的矿井内因火灾预测方法尽管具备一定的预测能力,然而在处理复杂的多变量数据时不能有效捕捉数据间的全局依赖关系,导致预测精度较低。针对上述问题,提出了一种基于Transformer的矿井内因火灾时间序列预测方法。首先,采用Hampel滤波器和拉格朗日插值法对数据进行异常值检测和缺失值填补。然后,利用Transformer的自注意力机制对时间序列数据进行特征提取及趋势预测。最后,通过调节滑动窗口的大小与步长,在不同的时间步长和预测长度下对模型进行不同时间维度的训练。结合气体分析法将矿井火灾产生的标志性气体(CO,O_(2),N_(2),CO_(2),C_(2)H_(2),C_(2)H4,C_(2)H_(6))作为模型输入变量,其中CO作为模型输出的目标变量,O_(2),N_(2),CO_(2),C_(2)H_(2),C_(2)H4,C_(2)H_(6)作为模型输入的协变量。选取陕煤集团柠条塔煤矿S1206回风隅角火灾预警的束管数据进行实验验证,结果表明:①对CO进行单变量预测和多变量预测,多变量预测相比单变量预测有着更高的预测精度,说明多变量预测能通过捕捉序列间的相关性提高模型的预测精度。②当时间步长固定时,基于Transformer的矿井内因火灾预测模型的预测精度随着预测长度的增加而下降。当预测长度固定时,模型的预测精度随时间步长增加而提高。③Transformer算法的预测精度较长短时记忆(LSTM)算法和循环神经网络(RNN)算法分别提高了7.1%~12.6%和20.9%~24.9%。 展开更多
关键词 矿井内因火灾 transformer 时间序列 标志性气体 自注意力机制
下载PDF
基于Transformer-LSTM网络的轴承寿命预测
7
作者 张帆 姚德臣 +4 位作者 姚圣卓 杨建伟 王琰亮 魏明辉 胡忠硕 《振动与冲击》 EI CSCD 北大核心 2024年第6期320-328,共9页
轴承是旋转机械设备中的重要部件,由于工况、材质、加工方式等原因,轴承寿命时长相差许多。传统的并行或串行神经网络预测方式,对数据集有一定要求。因此,需要一种能够适用于不同数据长短的轴承剩余使用寿命预测网络。为此提出了一种能... 轴承是旋转机械设备中的重要部件,由于工况、材质、加工方式等原因,轴承寿命时长相差许多。传统的并行或串行神经网络预测方式,对数据集有一定要求。因此,需要一种能够适用于不同数据长短的轴承剩余使用寿命预测网络。为此提出了一种能够预测不同寿命时长的Transformer-LSTM串并行神经网络预测模型。通过将Transformer解码层进行重构,并与长短期记忆时序神经网络(long short-term memory,LSTM)网络结构融合,实现轴承寿命数据的串并行预测处理。试验结果表明Transformer-LSTM神经网络能够精准预测长、中、短不同寿命时长的轴承失效时间,具有较强的模型泛化能力,提升轴承寿命预测精度与模型的泛化能力。 展开更多
关键词 滚动轴承 轴承寿命预测 transformer神经网络 LSTM神经网络 非线性时间序列预测
下载PDF
基于Transformer与改进记忆机制的用电量预测研究
8
作者 蔡岳 张津铭 +2 位作者 郭晶 徐玉华 孙知信 《信息技术》 2024年第6期67-74,79,共9页
近年来我国经济的高速发展对电力配置提出了更高要求,实现电力资源的高效配置需要更加精准的用电量预测。随着人工智能、机器学习等技术的发展,高效精准的用电量预测成为可能。目前该领域普遍使用Long Short-Term Memory (LSTM)及其变... 近年来我国经济的高速发展对电力配置提出了更高要求,实现电力资源的高效配置需要更加精准的用电量预测。随着人工智能、机器学习等技术的发展,高效精准的用电量预测成为可能。目前该领域普遍使用Long Short-Term Memory (LSTM)及其变种模型,但准确度相对较低。文中提出了一种基于改进记忆机制与Transformer的用电量预测模型,使用Transformer编码输入,提出了一种新型记忆机制来执行预测。实验表明该方法相较随机森林回归和LSTM及其变种模型,一周内平均误差分别下降9.05%与5.32%,模型收敛速度更快且具有较好的泛化性能。 展开更多
关键词 记忆网络 transformer 时序预测 机器学习 长短期记忆
下载PDF
基于GAT的Transformer多维时间序列异常检测
9
作者 张素莉 钱晓淳 常依婷 《长春工业大学学报》 CAS 2024年第2期153-159,共7页
针对多维时序数据中多个时间和多个变量之间的复杂依赖关系,无法准确地识别出少量异常点问题,提出一种基于GAT的Transformer多变量时间序列异常检测方法。首先,将特征转换为嵌入向量表示;然后,引入图注意力机制自适应地学习不同时间和... 针对多维时序数据中多个时间和多个变量之间的复杂依赖关系,无法准确地识别出少量异常点问题,提出一种基于GAT的Transformer多变量时间序列异常检测方法。首先,将特征转换为嵌入向量表示;然后,引入图注意力机制自适应地学习不同时间和不同变量之间复杂的依赖关系;最后,将原始数据与GAT层的输出拼接,输入带有位置编码的Transformer编码器,通过计算异常分数并设定阈值判定异常情况。结果表明,所提模型可以有效地检测出时序数据中的异常。 展开更多
关键词 异常检测 图注意力机制 transformer 多维时间序列
下载PDF
融合增量学习与Transformer模型的股价预测研究
10
作者 陈东洋 毛力 《计算机科学与探索》 CSCD 北大核心 2024年第7期1889-1899,共11页
股票价格预测一直是金融研究和量化投资共同关注的重点话题。当前股价预测的深度学习模型多数基于批处理学习设置,这要求训练数据集是先验的,这些模型面对实时的数据流预测是不可扩展的,当数据分布动态变化时模型的预测效果将会下降。... 股票价格预测一直是金融研究和量化投资共同关注的重点话题。当前股价预测的深度学习模型多数基于批处理学习设置,这要求训练数据集是先验的,这些模型面对实时的数据流预测是不可扩展的,当数据分布动态变化时模型的预测效果将会下降。针对现有研究对非平稳股票价格数据预测精度不佳的问题,提出一种基于增量学习和持续注意力机制的在线股价预测模型(Increformer),通过持续自注意力机制挖掘特征变量之间的时序依赖关系,采用持续归一化机制处理数据非平稳问题,基于弹性权重巩固的增量训练策略获取数据流中的新知识,提高预测精度。在股票市场的股指与个股价格序列中选取五个公开数据集进行实验。实验结果表明,Increformer模型能够有效挖掘数据的时序信息以及特征维度的关联信息从而提高股票价格的预测性能。通过消融实验评估了Increformer模型的持续归一化机制、持续注意力机制以及增量训练策略的效果及必要性,验证了所提模型的准确性与普适性,Increformer模型能够有效捕捉股票价格序列的趋势与波动。 展开更多
关键词 时间序列预测 transformer模型 增量学习 持续注意力机制
下载PDF
基于双域稀疏Transformer的变电站设备故障预警方法
11
作者 张建亮 李洋 +4 位作者 朱春山 薛泓林 马军伟 张丽霞 毕胜 《计算机科学》 CSCD 北大核心 2024年第5期62-69,共8页
利用变电站电气设备运行时产生的时间序列数据,可以构建其未来运行状态的预测模型,从而提前发现异常数据,排除故障隐患,提升变电站的稳定性和可靠运行能力。Transformer模型是一种新兴的序列化数据处理模型,在面对较长序列时更具优势,... 利用变电站电气设备运行时产生的时间序列数据,可以构建其未来运行状态的预测模型,从而提前发现异常数据,排除故障隐患,提升变电站的稳定性和可靠运行能力。Transformer模型是一种新兴的序列化数据处理模型,在面对较长序列时更具优势,可以满足故障预警前瞻性的需求。然而Transformer的模型结构使其具有较高的计算复杂度与空间占用率,难以直接应用到故障预警任务中。据此提出了一种基于时间序列预测的变压器设备故障预警方法,通过改进Transformer模型实现对设备运行数据的建模。该模型使用双塔式的编码器结构提取序列在频域和时域的特征,将时间特征数据和空间特征数据进行多维数据融合,从而提取更细致的信息。其次,用稀疏化处理的注意力机制代替标准的注意力机制,降低Transformer的计算复杂度和空间占用率,以满足实时预警的需求。在ETT变压器设备数据集上通过实验证明了所提模型的优越性,以及所改进的模块的必要性。相较于其他方法,该模型在多数预测任务中的MSE与MAE指数都达到了最优,尤其在长序列预测任务中表现出了更佳的性能,且预测速度更快。 展开更多
关键词 设备故障预警 时间序列预测 深度学习 transformer
下载PDF
基于Transformer的时间序列预测研究
12
作者 潘美财 吴楠 《信息与电脑》 2024年第2期29-31,共3页
文章探究Transformer结构在时间序列预测领域的性能,并讨论目前的工作与方法,分析改进方向。通过改进Transformer结构应用于长时间序列预测,降低计算复杂度和时间成本,同时提高预测准度。分别进行单变量和多变量预测,并与不同的基准模... 文章探究Transformer结构在时间序列预测领域的性能,并讨论目前的工作与方法,分析改进方向。通过改进Transformer结构应用于长时间序列预测,降低计算复杂度和时间成本,同时提高预测准度。分别进行单变量和多变量预测,并与不同的基准模型进行对比得出实验结果,发现基于Transformer结构改进的模型在时间序列预测方面效果较好。 展开更多
关键词 transformer 时间序列 自注意力机制 预测
下载PDF
PT-MIL:Parallel transformer based on multi-instance learning for osteoporosis detection in panoramic oral radiography
13
作者 黄欣然 YANG Hongjie +2 位作者 CHEN Hu ZHANG Yi 廖培希 《中国体视学与图像分析》 2023年第4期410-418,共9页
Osteoporosis is a systemic disease characterized by low bone mass,impaired bone microstruc-ture,increased bone fragility,and a higher risk of fractures.It commonly affects postmenopausal women and the elderly.Orthopan... Osteoporosis is a systemic disease characterized by low bone mass,impaired bone microstruc-ture,increased bone fragility,and a higher risk of fractures.It commonly affects postmenopausal women and the elderly.Orthopantomography,also known as panoramic radiography,is a widely used imaging technique in dental examinations due to its low cost and easy accessibility.Previous studies have shown that the mandibular cortical index(MCI)derived from orthopantomography can serve as an important indicator of osteoporosis risk.To address this,this study proposes a parallel Transformer network based on multiple instance learning.By introducing parallel modules that alleviate optimization issues and integrating multiple-instance learning with the Transformer architecture,our model effectively extracts information from image patches.Our model achieves an accuracy of 86%and an AUC score of 0.963 on an osteoporosis dataset,which demonstrates its promising and competitive performance. 展开更多
关键词 parallel transformer multiple instance learning weakly-supervised classification
下载PDF
Some New Transformation Formulas for q-Series through the Bailey Transform
14
作者 Lijun Hao Liangliang Xu 《Advances in Pure Mathematics》 2023年第10期651-661,共11页
In the literature, the Bailey transform has many applications in basic hypergeometric series. In this paper, we derive many new transformation formulas for q-series by means of the Bailey transform. Meanwhile, We also... In the literature, the Bailey transform has many applications in basic hypergeometric series. In this paper, we derive many new transformation formulas for q-series by means of the Bailey transform. Meanwhile, We also obtain some new terminated identities. Furthermore, we establish a companion identity to the Rogers-Ramanujan identity labelled by number (23) on Slater’s list. 展开更多
关键词 Q-series Bailey transform transformation Formulas Rogers-Ramanujan Identities
下载PDF
基于随机Transformer的多维时间序列异常检测模型 被引量:4
15
作者 霍纬纲 梁锐 李永华 《通信学报》 EI CSCD 北大核心 2023年第2期94-103,共10页
针对已有基于变分自编码器(VAE)的多维时间序列(MTS)异常检测模型无法在隐空间中传播随机变量间的长时依赖性问题,提出了一种融合Transformer编码器和VAE的随机Transformer MTS异常检测模型(ST-MTS-AD)。在ST-MTS-AD的推断网络中,Transf... 针对已有基于变分自编码器(VAE)的多维时间序列(MTS)异常检测模型无法在隐空间中传播随机变量间的长时依赖性问题,提出了一种融合Transformer编码器和VAE的随机Transformer MTS异常检测模型(ST-MTS-AD)。在ST-MTS-AD的推断网络中,Transformer编码器产生的当前时刻MTS长时依赖特征和上一时刻随机变量的采样值被输入多层感知器,由此生成当前时刻随机变量的近似后验分布,实现随机变量间的时序依赖。采用门控转换函数(GTF)生成随机变量的先验分布,ST-MTS-AD的生成网络由多层感知器重构MTS各时刻取值分布,该多层感知器的输入为推断网络生成的MTS的长时依赖特征和随机变量近似后验采样值。ST-MTS-AD基于变分推断技术学习正常MTS样本集分布,由重构概率对数似然确定MTS异常片段。4个公开数据集上的实验表明,ST-MTS-AD模型比典型相关基线模型的F1分数有明显提升。 展开更多
关键词 随机transformer 变分自编码器 多维时间序列 异常检测
下载PDF
基于多尺度时间序列块自编码Transformer神经网络模型的风电超短期功率预测 被引量:6
16
作者 骆钊 吴谕侯 +3 位作者 朱家祥 赵伟杰 王钢 沈鑫 《电网技术》 EI CSCD 北大核心 2023年第9期3527-3536,共10页
风电超短期功率预测过程中对时间依赖性的有效捕捉与建模,将直接影响风电功率时间序列预测模型的稳定性和泛化性。为此,提出一种新型时序Transformer风电功率预测模型。模型架构在逻辑上分为时间块自编码、隐空间Transformer自注意力时... 风电超短期功率预测过程中对时间依赖性的有效捕捉与建模,将直接影响风电功率时间序列预测模型的稳定性和泛化性。为此,提出一种新型时序Transformer风电功率预测模型。模型架构在逻辑上分为时间块自编码、隐空间Transformer自注意力时序自回归、随机方差缩减梯度(stochastic variance reduce gradient,SVRG)优化3个部分。首先,依稀疏约束及低秩近似规则,风电功率时空数据被半监督映射至隐空间;其次,隐空间编码经由多头自注意力网络完成时序自回归预测;最后,模型采用方差缩减SVRG优化算法降低噪声,达到更高预测效能。实验结果表明,所提新型Transformer架构能稳定有效进行超短期风电功率预测,预测结果在准确性、泛化性方面相较于传统机器学习模型都有明显提升。 展开更多
关键词 风电功率预测 时间依赖性 时间序列块自编码 时间序列transformer 自注意力网络
下载PDF
一种基于Transformer的三维人体姿态估计方法 被引量:3
17
作者 王玉萍 曾毅 +1 位作者 李胜辉 张磊 《图学学报》 CSCD 北大核心 2023年第1期139-145,共7页
三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑战性的问题。为了解决这个问题,提出一种基于Transformer的三维人体姿态估计方法,利用多层长短期记忆(LSTM)单元和多尺度Transformer结构增强人体... 三维人体姿态估计是人类行为理解的基础,但是预测出合理的三维人体姿态序列仍然是具有挑战性的问题。为了解决这个问题,提出一种基于Transformer的三维人体姿态估计方法,利用多层长短期记忆(LSTM)单元和多尺度Transformer结构增强人体姿态序列预测的准确性。首先,设计基于时间序列的生成器,通过ResNet预训练神经网络提取图像特征;其次,采用多层LSTM单元学习时间连续性的图像序列中人体姿态之间的关系,输出合理的SMPL人体参数模型序列;最后,构建基于多尺度Transformer的判别器,利用多尺度Transformer结构对多个分割粒度进行细节特征学习,尤其是Transformerblock对相对位置进行编码增强局部特征学习能力。实验结果表明,该方法相对于VIBE方法具有更好地预测精度,在3DPW数据集上比VIBE的平均(每)关节位置误差(MPJPE)低了7.5%;在MP-INF-3DHP数据集上比VIBE的MPJPE降低了1.8%。 展开更多
关键词 多尺度transformer结构 LSTM单元 时间序列 注意力机制 三维姿态估计
下载PDF
跨尺度跨维度的自适应Transformer网络应用于结直肠息肉分割
18
作者 梁礼明 何安军 +1 位作者 李仁杰 吴健 《光学精密工程》 EI CAS CSCD 北大核心 2023年第18期2700-2712,共13页
针对结直肠息肉图像病灶区域尺度变化大、边界模糊、形状不规则且与正常组织对比度低等问题,导致边缘细节信息丢失和病灶区域误分割,提出一种跨尺度跨维度的自适应Transformer分割网络。该网络一是利用Transformer编码器建模输入图像的... 针对结直肠息肉图像病灶区域尺度变化大、边界模糊、形状不规则且与正常组织对比度低等问题,导致边缘细节信息丢失和病灶区域误分割,提出一种跨尺度跨维度的自适应Transformer分割网络。该网络一是利用Transformer编码器建模输入图像的全局上下文信息,多尺度分析结直肠息肉病灶区域。二是通过通道注意力桥和空间注意力桥减少通道维度冗余和增强模型空间感知能力,抑制背景噪声。三是采用多尺度密集并行解码模块来填补各层跨尺度特征信息之间的语义空白,有效聚合多尺度上下文特征。四是设计面向边缘细节的多尺度预测模块,以可学习的方式引导网络去纠正边界错误预测分类。在CVC-ClinicDB、Kvasir-SEG、CVC-ColonDB和ETIS数据集上进行实验,其Dice相似性系数分别为0.942,0.932,0.811和0.805,平均交并比分别为0.896,0.883,0.731和0.729,其分割性能优于现有方法。仿真实验表明,本文方法能有效改善结直肠息肉病灶区域误分割,具有较高的分割精度,为结直肠息肉诊断提供新窗口。 展开更多
关键词 结直肠息肉 transformer 多尺度密集并行解码模块 多尺度预测模块
下载PDF
基于CATPCA的优化Transformer卫星电源消耗时序预测研究 被引量:1
19
作者 张璋 常亮 +3 位作者 田明华 邓雷 常建平 董亮 《北京理工大学学报》 EI CAS CSCD 北大核心 2023年第7期744-754,共11页
提出一种由基于最优尺度量化的分类主成分分析数据处理模块和优化Transformer时序预测模块组成的卫星电源消耗预测方法.针对卫星工程数据的高冗余问题,建立了基于赫斯特指数分析(Hurst)、灰色关联分析以及分类主成分分析(CATPCA)的卫星... 提出一种由基于最优尺度量化的分类主成分分析数据处理模块和优化Transformer时序预测模块组成的卫星电源消耗预测方法.针对卫星工程数据的高冗余问题,建立了基于赫斯特指数分析(Hurst)、灰色关联分析以及分类主成分分析(CATPCA)的卫星高维数据处理模型,对百维度时序数据进行有效提取,重构输入数据.采用对抗学习网络架构,建立多学习Transformer的卫星电量预测模型,模型综合考虑影响卫星能源消耗的多种因素以及时序数据依赖,可以在较短的时间内完成高精度卫星电源消耗时序预测.实验部分采用卫星真实运行数据,综合考虑影响卫星能源消耗的多种因素,12 h预测拟合优度达到94%,比BP神经网络,长短期记忆网络(LSTM)精度更高.可以有效克服常规工程数据的冗余、缺失以及脏数据问题,解决了常规时序预测需要依赖长期数据的不足缺陷,有效完成卫星能源短时消耗高精度预测.这对卫星在轨任务规划、卫星在轨健康管理等后续任务提供可靠支持. 展开更多
关键词 时序预测 transformer时序 分类主成分分析 深度学习 卫星电源预测
下载PDF
融合因果注意力Transformer模型的股价预测研究 被引量:2
20
作者 任佳屹 王爱银 《计算机工程与应用》 CSCD 北大核心 2023年第13期325-334,共10页
股票价格预测是金融研究和量化投资共同关注的重点话题,近年来利用深度学习技术揭示股票市场的行情规律成为研究热点。现有股票价格预测深度学习模型多数仅研究时间点数据,这种结构上的缺陷导致其不能反映出特征因子的累积作用对股价的... 股票价格预测是金融研究和量化投资共同关注的重点话题,近年来利用深度学习技术揭示股票市场的行情规律成为研究热点。现有股票价格预测深度学习模型多数仅研究时间点数据,这种结构上的缺陷导致其不能反映出特征因子的累积作用对股价的影响。针对此,通过重新设计模型处理时间序列数据,提出一种基于Transformer的股票价格预测模型Stockformer。它通过因果自注意力机制挖掘股票价格与特征因子之间的时序依赖关系,采用趋势增强模块为模型提供序列的趋势特征,同时利用编码器的特定输入为预测提供输入特征的直接先验信息。实验结果表明,Stockformer的预测精度显著优于已有深度学习模型,且相较经典Transformer预测模型的平均绝对误差和均方根误差分别降低了23.2%和25.7%,预测值与真实值更为拟合;通过消融实验分别评估了Stockformer的因果注意力机制、时序特征提取手段以及特定的模型输入的效果及必要性,验证了所提模型的优越性及普适性。 展开更多
关键词 股票价格预测 时间序列 深度学习 transformer 注意力机制
下载PDF
上一页 1 2 168 下一页 到第
使用帮助 返回顶部