期刊文献+
共找到9,333篇文章
< 1 2 250 >
每页显示 20 50 100
Application of Elzaki Transform Method to Market Volatility Using the Black-Scholes Model
1
作者 Henrietta Ify Ojarikre Ideh Rapheal Ebimene James Mamadu 《Journal of Applied Mathematics and Physics》 2024年第3期819-828,共10页
Black-Scholes Model (B-SM) simulates the dynamics of financial market and contains instruments such as options and puts which are major indices requiring solution. B-SM is known to estimate the correct prices of Europ... Black-Scholes Model (B-SM) simulates the dynamics of financial market and contains instruments such as options and puts which are major indices requiring solution. B-SM is known to estimate the correct prices of European Stock options and establish the theoretical foundation for Option pricing. Therefore, this paper evaluates the Black-Schole model in simulating the European call in a cash flow in the dependent drift and focuses on obtaining analytic and then approximate solution for the model. The work also examines Fokker Planck Equation (FPE) and extracts the link between FPE and B-SM for non equilibrium systems. The B-SM is then solved via the Elzaki transform method (ETM). The computational procedures were obtained using MAPLE 18 with the solution provided in the form of convergent series. 展开更多
关键词 Elzaki transform Method European Call Black-Scholes model Fokker-Planck Equation Market Volatility
下载PDF
基于多模态掩码Transformer网络的社会事件分类
2
作者 陈宏 钱胜胜 +2 位作者 李章明 方全 徐常胜 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期579-587,共9页
多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性:简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据... 多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性:简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息(即区域或单词)。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络(MMTN)模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明:所提模型达到了最先进的性能。 展开更多
关键词 多模态 社会事件分类 社交媒体 表示学习 多模态transformer网络
下载PDF
基于RoBERTa和图增强Transformer的序列推荐方法 被引量:1
3
作者 王明虎 石智奎 +1 位作者 苏佳 张新生 《计算机工程》 CAS CSCD 北大核心 2024年第4期121-131,共11页
自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明... 自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著提升,相较于最优对比模型最高分别提升4.7%和5.3%。 展开更多
关键词 推荐算法 评论文本 RoBERTa模型 图注意力机制 transformer机制
下载PDF
考虑特征重组与改进Transformer的风电功率短期日前预测方法 被引量:1
4
作者 李练兵 高国强 +3 位作者 吴伟强 魏玉憧 卢盛欣 梁纪峰 《电网技术》 EI CSCD 北大核心 2024年第4期1466-1476,I0025,I0027-I0029,共15页
短期日前风电功率预测对电力系统调度计划制定有重要意义,该文为提高风电功率预测的准确性,提出了一种基于Transformer的预测模型Powerformer。模型通过因果注意力机制挖掘序列的时序依赖;通过去平稳化模块优化因果注意力以提高数据本... 短期日前风电功率预测对电力系统调度计划制定有重要意义,该文为提高风电功率预测的准确性,提出了一种基于Transformer的预测模型Powerformer。模型通过因果注意力机制挖掘序列的时序依赖;通过去平稳化模块优化因果注意力以提高数据本身的可预测性;通过设计趋势增强和周期增强模块提高模型的预测能力;通过改进解码器的多头注意力层,使模型提取周期特征和趋势特征。该文首先对风电数据进行预处理,采用完全自适应噪声集合经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)将风电数据序列分解为不同频率的本征模态函数并计算其样本熵,使得风电功率序列重组为周期序列和趋势序列,然后将序列输入到Powerformer模型,实现对风电功率短期日前准确预测。结果表明,虽然训练时间长于已有预测模型,但Poweformer模型预测精度得到提升;同时,消融实验结果验证了模型各模块的必要性和有效性,具有一定的应用价值。 展开更多
关键词 风电功率预测 特征重组 transformer模型 注意力机制 周期趋势增强
下载PDF
基于Transformer的司法文书命名实体识别方法
5
作者 王颖洁 张程烨 +1 位作者 白凤波 汪祖民 《计算机科学》 CSCD 北大核心 2024年第S01期113-121,共9页
命名实体识别是自然语言处理领域的关键任务之一,是实现下游任务的基础。目前针对司法领域的相关研究相对较少,司法系统的信息化和智能化转型仍有许多问题亟需解决。相比其他领域的文本,司法文书存在专业性强、语料资源少等局限,导致现... 命名实体识别是自然语言处理领域的关键任务之一,是实现下游任务的基础。目前针对司法领域的相关研究相对较少,司法系统的信息化和智能化转型仍有许多问题亟需解决。相比其他领域的文本,司法文书存在专业性强、语料资源少等局限,导致现有的司法文书识别结果较低。因此,从以下3方面开展研究:首先,提出了一种多标签层级迭代的文本标注方式,可以对原始司法文书文本进行自动化标注,同时有效地提升司法文书命名实体识别任务的实体识别效果;其次,提出了一种交融式的Transformer神经网络模型,对汉字固有属性的深层特征进行了充分利用,用于对司法文书进行命名实体识别;最后,对所提出的标注方法和模型与其他神经网络模型进行了对比实验。所提出的文本标注方式可以较为准确地实现司法文书的标注任务;同时,所提出的模型在通用数据集中相对于对照模型有较大的提高,并在司法领域数据集中取得了良好的效果。 展开更多
关键词 自然语言处理 数据标注 transformer模型 深度学习 司法信息化
下载PDF
基于Swin Transformer与GRU的低温贮藏番茄成熟度识别与时序预测研究
6
作者 杨信廷 刘彤 +2 位作者 韩佳伟 郭向阳 杨霖 《农业机械学报》 EI CAS CSCD 北大核心 2024年第3期213-220,共8页
面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型... 面向绿熟番茄采后持续转熟特征,适时调温是满足不同成熟度番茄适宜贮运温度需求的关键,而果实成熟度自动识别与动态预测则是实现温度适时调控的基础条件。本文基于Swin Transformer与改进GRU提出了一种番茄成熟度识别与时序动态预测模型,首先通过融合番茄两侧图像获取番茄表观全局红色总占比,构建不同成熟番茄图像数据集,并基于迁移学习优化Swin Transformer模型初始权重配置,实现番茄成熟度分类识别;其次,周期性采集不同储藏温度(4、9、14℃)下番茄图像数据,结合番茄初始颜色特征与贮藏环境信息,构建基于Swin Transformer与GRU的番茄成熟度时序预测模型,并融合时间注意力模块优化模型预测精度;最后,对比分析不同模型预测结果,验证本研究所提模型的准确性与优越性。结果表明,番茄成熟度正确识别率为95.783%,相比VGG16、AlexNet、ResNet50模型,模型正确识别率分别提升2.83%、3.35%、12.34%。番茄成熟度时序预测均方误差(MSE)为0.225,相比原始GRU、LSTM、BiGRU模型MSE最高降低29.46%。本研究为兼顾番茄成熟度实现贮藏温度柔性适时调控提供了关键理论基础。 展开更多
关键词 番茄 低温贮藏 成熟度识别 时序预测模型 Swin transformer GRU
下载PDF
基于Swin-Transformer的黑色素瘤图像病灶分割研究
7
作者 赵宏 王枭 《计算机工程》 CAS CSCD 北大核心 2024年第8期249-258,共10页
黑色素瘤图像病灶分割的主流模型大多基于卷积神经网络(CNN)或Vision Transformer(ViT)网络,但是CNN模型受限于感受野大小,无法获取全局上下文信息,而ViT模型只能提取固定分辨率的特征,无法提取不同粒度的特征。为解决该问题,建立一种基... 黑色素瘤图像病灶分割的主流模型大多基于卷积神经网络(CNN)或Vision Transformer(ViT)网络,但是CNN模型受限于感受野大小,无法获取全局上下文信息,而ViT模型只能提取固定分辨率的特征,无法提取不同粒度的特征。为解决该问题,建立一种基于Swin-Transformer的融合双分支的混合模型SwinTransFuse。在编码阶段,首先利用Noise Reduction图像降噪模块去除图像中的毛发等噪声,然后采用CNN和Swin-Transformer构成的双分支特征提取模块来提取图像的局部细粒度信息和全局上下文信息,并对来自Swin-Transformer分支的全局上下文信息使用SE模块进行通道注意力操作以增强全局特征的提取,对来自CNN分支的局部细粒度信息使用卷积块注意力机制模块(CBAM)进行空间注意力操作以增强局部细粒度特征的提取,接下来利用Hadamard积运算对两个分支输出的特征进行特征交互以实现特征的融合,最后将SE模块输出的特征、CBAM模块输出的特征和特征融合后的特征进行拼接以实现多层次特征融合,并通过一个残差块输出交互后的特征。在解码阶段,将特征输入到上采样模块得到图像最终的分割结果。实验结果表明,该模型在ISIC2017和ISIC2018皮肤病数据集上的平均交并比分别为78.72%和78.56%,优于同类型的其他医学分割模型,具有更高的实用价值。 展开更多
关键词 Swin-transformer模型 黑色素瘤 特征融合 降噪 ISIC2018数据集
下载PDF
基于卷积神经网络与Transformer的电能质量扰动分类方法
8
作者 金星 周凯翔 +2 位作者 于海洲 王盛慧 伍孟海 《科学技术与工程》 北大核心 2024年第16期6726-6733,共8页
复杂电能质量扰动(power quality disturbances, PQD)的智能分类对于智能电网发展具有重要意义。扰动特征的提取与定位、模式识别与分类是电能质量扰动分类方法研究的难点。采用深度学习算法,将具有关注全局信息的Transformer与善于提... 复杂电能质量扰动(power quality disturbances, PQD)的智能分类对于智能电网发展具有重要意义。扰动特征的提取与定位、模式识别与分类是电能质量扰动分类方法研究的难点。采用深度学习算法,将具有关注全局信息的Transformer与善于提取局部特征的卷积神经网络相融合,提出一种基于卷积神经网络(convolutional neural network, CNN)与Transformer的电能质量扰动分类方法,即CTranCBA。这种双深度学习模型分类方法主要是通过一维卷积神经网络提取电能质量扰动信号特征,利用Transformer自注意力机制引导模型关注序列中不同位置间的依赖关系,实现对扰动信号局部特征与全局特征的互补,克服了因感受野的限制而带来的识别不清、分类不准等问题。使用23种不同电能质量扰动信号,将CTranCBA与Deep-CNN、CNN-LSTM、CNN-CBAM方法进行比较。结果表明:该方法在分类准确率和抗噪性方面表现优异,可为电能质量扰动智能分类提供一种新的方法。 展开更多
关键词 电能质量扰动(PQD) 卷积神经网络(CNN) transformer模型 卷积注意力机制
下载PDF
规则压缩模型和灵活架构的Transformer加速器设计
9
作者 姜小波 邓晗珂 +1 位作者 莫志杰 黎红源 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第3期1079-1088,共10页
基于注意力机制的Transformer模型具有优越的性能,设计专用的Transformer加速器能大幅提高推理性能以及降低推理功耗。Transformer模型复杂性包括数量上和结构上的复杂性,其中结构上的复杂性导致不规则模型和规则硬件之间的失配,降低了... 基于注意力机制的Transformer模型具有优越的性能,设计专用的Transformer加速器能大幅提高推理性能以及降低推理功耗。Transformer模型复杂性包括数量上和结构上的复杂性,其中结构上的复杂性导致不规则模型和规则硬件之间的失配,降低了模型映射到硬件的效率。目前的加速器研究主要聚焦在解决模型数量上的复杂性,但对如何解决模型结构上的复杂性研究得不多。该文首先提出规则压缩模型,降低模型的结构复杂度,提高模型和硬件的匹配度,提高模型映射到硬件的效率。接着提出一种硬件友好的模型压缩方法,采用规则的偏移对角权重剪枝方案和简化硬件量化推理逻辑。此外,提出一个高效灵活的硬件架构,包括一种以块为单元的权重固定脉动运算阵列,同时包括一种准分布的存储架构。该架构可以高效实现算法到运算阵列的映射,同时实现高效的数据存储效率和降低数据移动。实验结果表明,该文工作在性能损失极小的情况下实现93.75%的压缩率,在FPGA上实现的加速器可以高效处理压缩后的Transformer模型,相比于中央处理器(CPU)和图形处理器(GPU)能效分别提高了12.45倍和4.17倍。 展开更多
关键词 自然语音处理 transformER 模型压缩 硬件加速器 机器翻译
下载PDF
基于语言和视觉融合Transformer的指代图像分割
10
作者 段勇 刘铁 《传感技术学报》 CAS CSCD 北大核心 2024年第7期1193-1201,共9页
针对指代图像分割任务中存在语言表达歧义、多模态特征对齐不充分、对图像整体理解不全面等问题,提出一种基于Transformer特征融合与对齐的多模态深度学习模型。该模型使用优化的Darknet53图像特征提取骨干网络,加强了对全局特征理解能... 针对指代图像分割任务中存在语言表达歧义、多模态特征对齐不充分、对图像整体理解不全面等问题,提出一种基于Transformer特征融合与对齐的多模态深度学习模型。该模型使用优化的Darknet53图像特征提取骨干网络,加强了对全局特征理解能力。使用了卷积神经网络结构、双向门控循环单元Bi-GRU结构和自注意力机制相互结合的语言特征提取结构,挖掘深层次语义特征,消除语言表达的歧义性。构建了基于Transformer的特征对齐结构,以提升模型的分割细节和分割精度。最后,采用平均的交并比mIoU和在不同阈值的识别精度作为模型评估指标,通过实验证明所提模型可以充分融合多模态的特征,理解多模态特征的深层语义信息,模型识别结果更加准确。 展开更多
关键词 深度学习 指代图像分割 自然语言处理 注意力机制 transformer模型
下载PDF
基于遥感多参数和CNN-Transformer的冬小麦单产估测
11
作者 王鹏新 杜江莉 +3 位作者 张悦 刘峻明 李红梅 王春梅 《农业机械学报》 EI CAS CSCD 北大核心 2024年第3期173-182,共10页
为了提高冬小麦单产估测精度,改善估产模型存在的高产低估和低产高估等现象,以陕西省关中平原为研究区域,选取旬尺度条件植被温度指数(VTCI)、叶面积指数(LAI)和光合有效辐射吸收比率(FPAR)为遥感特征参数,结合卷积神经网络(CNN)局部特... 为了提高冬小麦单产估测精度,改善估产模型存在的高产低估和低产高估等现象,以陕西省关中平原为研究区域,选取旬尺度条件植被温度指数(VTCI)、叶面积指数(LAI)和光合有效辐射吸收比率(FPAR)为遥感特征参数,结合卷积神经网络(CNN)局部特征提取能力和基于自注意力机制的Transformer网络的全局信息提取能力,构建CNN-Transformer深度学习模型,用于估测关中平原冬小麦产量。与Transformer模型(R^(2)为0.64,RMSE为465.40 kg/hm^(2),MAPE为8.04%)相比,CNN-Transformer模型具有更高的冬小麦单产估测精度(R^(2)为0.70,RMSE为420.39 kg/hm^(2),MAPE为7.65%),能够从遥感多参数中提取更多与产量相关的信息,且对于Transformer模型存在的高产低估和低产高估现象均有所改善。基于5折交叉验证法和留一法进一步验证了CNN-Transformer模型的鲁棒性和泛化能力。此外,基于CNN-Transformer模型捕获冬小麦生长过程的累积效应,分析逐步累积旬尺度输入参数对产量估测的影响,评估模型对于冬小麦不同生长阶段的累积过程的表征能力。结果表明,模型能有效捕捉冬小麦生长的关键时期,3月下旬至5月上旬是冬小麦生长的关键时期。 展开更多
关键词 冬小麦 作物估产 遥感多参数 卷积神经网络 transformer模型
下载PDF
基于Swin Transformer和CNN的汉字书法教学系统
12
作者 林粤伟 张通 +2 位作者 宋丹 梁汇鑫 薛克程 《青岛大学学报(自然科学版)》 CAS 2024年第1期45-51,共7页
针对日益增长的汉字书法学习需求,将滑动窗口自注意力(Swin Transformer,ST)模型和卷积神经网络(Convolutional Neural Network,CNN)模型相结合,提出手写体汉字识别ST-CNN模型,进而开发了汉字书法教学系统。实测结果表明,ST-CNN模型识... 针对日益增长的汉字书法学习需求,将滑动窗口自注意力(Swin Transformer,ST)模型和卷积神经网络(Convolutional Neural Network,CNN)模型相结合,提出手写体汉字识别ST-CNN模型,进而开发了汉字书法教学系统。实测结果表明,ST-CNN模型识别准确率约为91.6%,较传统的ST模型提升了约0.5个百分点,较传统的CNN模型与ST模型,在收敛速度上分别提升了约10和30个百分点,开发的汉字书法教学系统性能良好。 展开更多
关键词 深度学习 滑动窗口自注意力模型 卷积神经网络 手写体汉字识别
下载PDF
基于条件对抗增强的Transformer煤矿微震定位方法
13
作者 丁琳琳 胡永亮 +2 位作者 李昱达 王凯璐 王慧颖 《计算机与数字工程》 2024年第1期1-8,17,共9页
随着人工智能技术的发展以及煤矿微震监测系统的广泛应用,越来越多的深度学习模型被应用到煤矿微震事件震源定位问题的求解上。然而,由于目前的微震数据量小且数据单一不足以训练大且深的神经网络模型,而小且浅的神经网络模型也不足以... 随着人工智能技术的发展以及煤矿微震监测系统的广泛应用,越来越多的深度学习模型被应用到煤矿微震事件震源定位问题的求解上。然而,由于目前的微震数据量小且数据单一不足以训练大且深的神经网络模型,而小且浅的神经网络模型也不足以表征受多方因素影响的微震事件的震源,因而导致了定位模型定位精度低和鲁棒性弱,在实际生产生活中表现较差,严重地阻碍了深度学习模型在微震定位领域上的发展。针对上述问题,提出一种基于条件对抗增强的Transformer煤矿微震定位方法CGAN-Transformer,该方法首先通过一个CGAN架构的网络模型将数据量少且单一的微震数据增强成数据量庞大且具有一定多样性的微震数据;其次,利用Transformer编码器层将微震波形数据转换为特征数据后再利用其注意力机制进一步学习微震波形数据深层次特征和复杂的站间依赖关系,同时也利用高斯分布随机变量抵消了不同地质条件对定位精度的影响;最后,通过引入混合密度输出层获取高斯分布参数,计算最优的震源位置。在智利和辽宁某矿数据集上的实验结果验证了该方法的有效性,结果表明该方法所获得的震中误差与震源误差均优于其他方法,在两个数据集上的定位误差分别降低了38%和12%,达到了提高震源定位精度和定位模型鲁棒性的目的。 展开更多
关键词 生成对抗网络 transformer模型 微震定位 注意力机制 混合密度网络
下载PDF
基于非平稳Transformer的超短期风电功率多步预测 被引量:1
14
作者 张亚丽 王聪 +2 位作者 张宏立 马萍 李新凯 《智慧电力》 北大核心 2024年第1期108-115,共8页
针对风电预测中波动性和随机性造成的风电功率多步预测精确度不高的问题,提出一种基于非平稳Transformer的超短期风电功率多步预测模型。利用皮尔逊相关系数法(PCC)和主成分分析法(PCA)对风电功率及其影响因素的分析确定输入数据,结合... 针对风电预测中波动性和随机性造成的风电功率多步预测精确度不高的问题,提出一种基于非平稳Transformer的超短期风电功率多步预测模型。利用皮尔逊相关系数法(PCC)和主成分分析法(PCA)对风电功率及其影响因素的分析确定输入数据,结合可以提升非平稳时序预测效果的非平稳Transformer模型,高效充分地挖掘输入数据与输出功率的复杂关系,构建风电功率超短期预测模型。实例分析表明,所提方法对不同预测步长下的风电功率进行预测时均具有较高的预测精度,且预测结果更稳定。 展开更多
关键词 风电功率 预测 皮尔逊相关系数 主成分分析 非平稳transformer模型
下载PDF
基于LSTM与Transformer的地面沉降智能预测方法研究——以上海市为例
15
作者 彭文祥 张德英 《时空信息学报》 2024年第1期94-103,共10页
受地面沉降严重威胁到生命财产安全的人口已达19%,开展地面沉降模拟预测对防灾减灾具有非常重要的现实意义。针对现有地面沉降预测在模型参数难以获取、单一深度学习方法在预测精度低等方面的局限性,本文提出了集成大模型核心技术的地... 受地面沉降严重威胁到生命财产安全的人口已达19%,开展地面沉降模拟预测对防灾减灾具有非常重要的现实意义。针对现有地面沉降预测在模型参数难以获取、单一深度学习方法在预测精度低等方面的局限性,本文提出了集成大模型核心技术的地面沉降预测方法。首先,从地面沉降模拟预测的顶层设计,提出了基于深度学习的地面沉降预测包括算力层、数据层、模型层、评估层与应用层的总体架构;其次,基于LSTM与Transformer提出了地面沉降预测的实用方法;最后,利用上海的地面沉降数据进行了实验研究。结果表明:深度学习技术可以在地面沉降模拟预测中取得较好的结果,多模型法对地面沉降变化不大、回弹、变化较大均可进行预测,iTransformer模型对地面沉降变化较小的情况预测效果较好;在微量地面沉降时代,利用大模型的核心技术Transformer可以取得较高的精度。 展开更多
关键词 地面沉降 深度学习 时间序列预测 长短期记忆 transformER 大模型
下载PDF
基于TF-IDF和多头注意力Transformer模型的文本情感分析 被引量:4
16
作者 高佳希 黄海燕 《华东理工大学学报(自然科学版)》 CAS CSCD 北大核心 2024年第1期129-136,共8页
文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Documen... 文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。 展开更多
关键词 文本情感分析 自然语言处理 多头注意力机制 TF-IDF算法 transformer模型
下载PDF
基于Transformer的路网轨迹重建方法
17
作者 梅宇生 赵卓峰 《数据采集与处理》 CSCD 北大核心 2024年第3期678-688,共11页
轨迹重建是针对低采样轨迹数据进行轨迹补充还原的一类轨迹数据处理研究。为了提高轨迹重建的准确性,一些工作通过引入Seq2Seq等深度学习模型来提升轨迹重建的效率与精度,但由于现有工作忽略了轨迹间的长距离依赖问题,导致轨迹还原中还... 轨迹重建是针对低采样轨迹数据进行轨迹补充还原的一类轨迹数据处理研究。为了提高轨迹重建的准确性,一些工作通过引入Seq2Seq等深度学习模型来提升轨迹重建的效率与精度,但由于现有工作忽略了轨迹间的长距离依赖问题,导致轨迹还原中还存在准确率不高等问题。本文提出一种基于Transformer的轨迹重建模型ZTrajRec(Zero-based trajectory recovery),通过Transformer编码器捕获轨迹间的长距离依赖,注意力机制用于当前轨迹和历史轨迹相似性查询来进行轨迹在路网上的重建。实验结果表明,在真实北京出租车数据集上,ZTrajRec比基准模型最好效果在召回率上提升3%∼4%。本文最后对重建结果进行了可视化分析以展示其合理性。 展开更多
关键词 轨迹重建 路网 序列到序列模型 transformER
下载PDF
DRT Net:面向特征增强的双残差Res-Transformer肺炎识别模型
18
作者 周涛 彭彩月 +3 位作者 杜玉虎 党培 刘凤珍 陆惠玲 《光学精密工程》 EI CAS CSCD 北大核心 2024年第5期714-726,共13页
针对肺部X射线图像的病灶区域较小、形状复杂,与正常组织间的边界模糊,使得肺炎图像中的病灶特征提取不充分的问题,提出了一个面向特征增强的双残差Res-Transformer肺炎识别模型,设计3种不同的特征增强策略对模型特征提取能力进行增强... 针对肺部X射线图像的病灶区域较小、形状复杂,与正常组织间的边界模糊,使得肺炎图像中的病灶特征提取不充分的问题,提出了一个面向特征增强的双残差Res-Transformer肺炎识别模型,设计3种不同的特征增强策略对模型特征提取能力进行增强。设计了组注意力双残差模块(GADRM),采用双残差结构进行高效的特征融合,将双残差结构与通道混洗、通道注意力、空间注意力结合,增强模型对于病灶区域特征的提取能力;在网络的高层采用全局局部特征提取模块(GLFEM),结合CNN和Transformer的优势使网络充分提取图像的全局和局部特征,获得高层语义信息的全局特征,进一步增强网络的语义特征提取能力;设计了跨层双注意力特征融合模块(CDAFFM),融合浅层网络的空间信息以及深层网络的通道信息,对网络提取到的跨层特征进行增强。为了验证本文模型的有效性,分别在COVID-19 CHEST X-RAY数据集上进行消融实验和对比实验。实验结果表明,本文所提出网络的准确率、精确率、召回率,F1值和AUC值分别为98.41%,94.42%,94.20%,94.26%和99.65%。DRT Net能够帮助放射科医生使用胸部X光片对肺炎进行诊断,具有重要的临床作用。 展开更多
关键词 肺炎识别 X射线图像 特征增强 双残差结构 transformER
下载PDF
A Deep Learning Ensemble Method for Forecasting Daily Crude Oil Price Based on Snapshot Ensemble of Transformer Model
19
作者 Ahmed Fathalla Zakaria Alameer +1 位作者 Mohamed Abbas Ahmed Ali 《Computer Systems Science & Engineering》 SCIE EI 2023年第7期929-950,共22页
The oil industries are an important part of a country’s economy.The crude oil’s price is influenced by a wide range of variables.Therefore,how accurately can countries predict its behavior and what predictors to emp... The oil industries are an important part of a country’s economy.The crude oil’s price is influenced by a wide range of variables.Therefore,how accurately can countries predict its behavior and what predictors to employ are two main questions.In this view,we propose utilizing deep learning and ensemble learning techniques to boost crude oil’s price forecasting performance.The suggested method is based on a deep learning snapshot ensemble method of the Transformer model.To examine the superiority of the proposed model,this paper compares the proposed deep learning ensemble model against different machine learning and statistical models for daily Organization of the Petroleum Exporting Countries(OPEC)oil price forecasting.Experimental results demonstrated the outperformance of the proposed method over statistical and machine learning methods.More precisely,the proposed snapshot ensemble of Transformer method achieved relative improvement in the forecasting performance compared to autoregressive integrated moving average ARIMA(1,1,1),ARIMA(0,1,1),autoregressive moving average(ARMA)(0,1),vector autoregression(VAR),random walk(RW),support vector machine(SVM),and random forests(RF)models by 99.94%,99.62%,99.87%,99.65%,7.55%,98.38%,and 99.35%,respectively,according to mean square error metric. 展开更多
关键词 Deep learning ensemble learning transformer model crude oil price
下载PDF
Micro-expression recognition algorithm based on graph convolutional network and Transformer model
20
作者 吴进 PANG Wenting +1 位作者 WANG Lei ZHAO Bo 《High Technology Letters》 EI CAS 2023年第2期213-222,共10页
Micro-expressions are spontaneous, unconscious movements that reveal true emotions.Accurate facial movement information and network training learning methods are crucial for micro-expression recognition.However, most ... Micro-expressions are spontaneous, unconscious movements that reveal true emotions.Accurate facial movement information and network training learning methods are crucial for micro-expression recognition.However, most existing micro-expression recognition technologies so far focus on modeling the single category of micro-expression images and neural network structure.Aiming at the problems of low recognition rate and weak model generalization ability in micro-expression recognition, a micro-expression recognition algorithm is proposed based on graph convolution network(GCN) and Transformer model.Firstly, action unit(AU) feature detection is extracted and facial muscle nodes in the neighborhood are divided into three subsets for recognition.Then, graph convolution layer is used to find the layout of dependencies between AU nodes of micro-expression classification.Finally, multiple attentional features of each facial action are enriched with Transformer model to include more sequence information before calculating the overall correlation of each region.The proposed method is validated in CASME II and CAS(ME)^2 datasets, and the recognition rate reached 69.85%. 展开更多
关键词 micro-expression recognition graph convolutional network(GCN) action unit(AU)detection transformer model
下载PDF
上一页 1 2 250 下一页 到第
使用帮助 返回顶部