基于Transform模型的图像识别与处理技术探索

文中提出了一种基于Transform模型的图像识别与处理技术,通过对图像进行变换和特征提取,实现了对复杂图像的高效识别和处理。首先,介绍了Transform模型的原理和应用背景,然后描述了基于该模型的图像处理流程,并通过实验验证了该技术在图像识别与处理领域的有效性。该研究成果为图像处理领域的进一步发展提供了新的思路和方法。

基于Depth-wise卷积和视觉Transformer的图像分类模型

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

基于双向稀疏Transformer的多变量时序分类模型

针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%.

规则压缩模型和灵活架构的Transformer加速器设计

基于注意力机制的Transformer模型具有优越的性能,设计专用的Transformer加速器能大幅提高推理性能以及降低推理功耗。Transformer模型复杂性包括数量上和结构上的复杂性,其中结构上的复杂性导致不规则模型和规则硬件之间的失配,降低了模型映射到硬件的效率。目前的加速器研究主要聚焦在解决模型数量上的复杂性,但对如何解决模型结构上的复杂性研究得不多。该文首先提出规则压缩模型,降低模型的结构复杂度,提高模型和硬件的匹配度,提高模型映射到硬件的效率。接着提出一种硬件友好的模型压缩方法,采用规则的偏移对角权重剪枝方案和简化硬件量化推理逻辑。此外,提出一个高效灵活的硬件架构,包括一种以块为单元的权重固定脉动运算阵列,同时包括一种准分布的存储架构。该架构可以高效实现算法到运算阵列的映射,同时实现高效的数据存储效率和降低数据移动。实验结果表明,该文工作在性能损失极小的情况下实现93.75%的压缩率,在FPGA上实现的加速器可以高效处理压缩后的Transformer模型,相比于中央处理器(CPU)和图形处理器(GPU)能效分别提高了12.45倍和4.17倍。

基于Transformer模型的“暴力”虚开发票风险识别

自2016年“营改增”全面实施以来,与之相关的免税减税等税收优惠政策原旨在惠企助企、激发市场活力,但不法分子在巨额利润驱动下企图通过虚开增值税发票骗取出口退税、抵扣税款,严重扰乱了税收秩序。本文以“暴力”虚开发票的企业的犯罪特征为切入点,从基础征管数据和增值税发票数据中选取了24项虚开指标,构建了基于Transformer模型的虚开增值税发票识别模型,对虚开公司进行检测。实证分析表明Transformer模型对虚开增值税发票的识别召回率为0.934 7,准确率为0.986 9,AUC为0.963 9,显著优于SVM、Xgboost、MLP等传统机器学习模型,可辅助税务部门高效识别“暴力”虚开企业,节省人工筛查成本,对有效打击虚开增值税发票一类违法犯罪行为具有非常重要的实践意义。

多尺度融合卷积的轻量化Transformer无人机地物识别模型

Transformer模型性能优越,但其巨大的参数量不适合资源受限的无人机遥感任务。为此,提出一种用于无人机遥感图像的多尺度融合卷积的轻量化Transformer模型,通过设计三种优化策略来提高精度以及减少参数量。首先,设计了一种轻量级多尺度融合卷积方法,补充Transformer丢失的块内空间信息,从而有效提取多尺度上的粗、细粒度特征表示。其次,设计了多尺度缩减键值序列的方式,优化Transformer中的自注意力计算。最后,设计了轻量级的MLP解码器,进一步减少模型参数量。在Vaihingen和Potsdam数据集上与一些主流模型进行了对比实验,结果表明,所提模型的F 1值和交并比均有所提升。同时,在Potsdam数据集上准确度提升0.29%,参数量比双分支网络STransFuse减少18%。

融合Transformer和交互注意力网络的方面级情感分类模型

现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而,循环神经网络不能并行计算,并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题,传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题,该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量,然后使用Transformer编码器对输入的句子进行并行编码,接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明,该文所提模型在准确率和F1上均表现最优。

基于Transformer的交通标志检测模型研究

【目的】为了解决在复杂环境下,对小目标特征困难以及对小目标检测效果不佳等问题,提出了一种基于Transformer的交通标志检测基干模型。【方法】通过充分利用卷积和Transformer的优势,构建了一种注意力融合的多尺度特征提取基干模型,能够使基干网络以全局上下文信息为支撑,有选择地增强有用信息的特征,并抑制不重要的特征。此外,为了在增强特征融合的同时防止网络退化,还加入了类池连接。最后,在TT100K数据集上进行实验。【结果】实验结果表明,以该模型为骨干的元体系结构取得了最高84%的mAP,与基线模型相比m AP最大提升约7%。【结论】模型在提高特征提取效果的同时,也为交通标志检测提供了一种新的思路。

基于TF-IDF和多头注意力Transformer模型的文本情感分析

文本情感分析旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理,是自然语言处理中一项重要任务。针对现有的计算方法不能充分处理复杂度和混淆度较高的文本数据集的问题,提出了一种基于TF-IDF(Term Frequency-Inverse Document Frequency)和多头注意力Transformer模型的文本情感分析模型。在文本预处理阶段,利用TF-IDF算法对影响文本情感倾向较大的词语进行初步筛选,舍去常见的停用词及其他文本所属邻域对文本情感倾向影响较小的专有名词。然后,利用多头注意力Transformer模型编码器进行特征提取,抓取文本内部重要的语义信息,提高模型对语义的分析和泛化能力。该模型在多领域、多类型评论语料库数据集上取得了98.17%的准确率。

宽卷积局部特征扩展的Transformer网络故障诊断模型

视觉Transformer网络的高精度诊断性能依赖于充分的训练数据,利用卷积网络在提取局部特征上的优势,构造能同时描述故障局部和全局特征的提取层,提高诊断模型的抗噪声干扰能力。首先,引入卷积网络模块将原始振动信号转换为Transformer网络可以直接接收的特征向量,提取故障局部特征,并通过增加卷积网络的感受野。然后,结合Transformer网络多头自注意力机制生成的全局信息,构建能同时描述故障局部和全局特征的特征向量。最后,在Transformer网络的预测层,利用高效通道注意力机制对特征向量的贡献度进行自动筛选。在西储大学(CWRU)轴承数据集上的故障诊断结果表明,在信噪比-4 dB的噪声干扰下,改进后的Transformer网络轴承故障诊断模型的准确率达90.21%,与原始Transformer模型相比,准确率提高了13.2%,在噪声环境下表现出优异的诊断性能。

基于小波变换和CNN-Transformer模型的测井储层流体识别

针对具有复杂储集空间和极强的非均质性的低孔低渗储层,常规测井响应特征不够明显,使用传统解释手段难以有效识别储层流体的问题,提出了一种基于小波变换和CNN-Transformer混合模型的储层流体识别方法。首先,使用小波变换将测井信号从时域扩展到时频域,并生成时频谱图以增强信号特征,然后使用滑动时窗沿着测井曲线深度方向滑动采样,获取代表解释深度处地层信息的频谱特征图,最后,通过训练CNN-transformer模型深度挖掘特征图信息,实现储层流体识别。混合模型在利用储层对应深度处测井数据的同时,又兼顾测井曲线随深度的变化趋势和地层前后信息的关联性,挖掘时频谱图的局部细节和全局特征表示,自动识别流体类型。将模型应用于大港油田22口实测测井资料中,并与CNN和BiLSTM等多个模型的流体识别效果进行对比分析,基于小波变换和CNN-Transformer模型识别效果明显优于其他方法,在测试集上识别准确率达到了92.7%。研究结果表明该方法可以作为低孔渗油藏常规测井资料识别储层流体的有效手段,为流体评价提供了新思路。

基于Transformer语义分割模型的露天矿场识别

露天矿场是生产建设项目水土保持信息化监管的重要对象,对其范围的高效精准识别对于监测非法违规开采行为,加强开采过程中的水土流失预防与治理具有重要意义。基于Transformer深度学习模型提出了露天矿场的遥感影像智能识别方法,并在四川省宜宾市的露天矿场影像数据集上与常用的基于卷积神经网络的深度学习识别方法进行了实验对比。结果表明:该方法对露天矿场范围识别的精确率、召回率、F1-score和IoU指标分别达到91.25%,90.66%,90.95%和83.41%,能够满足水土保持遥感监管的精确度要求;在识别精确度和识别效果上优于对比方法,在运行效率上与对比方法保持在同一数量级,表现出较强的应用价值。该方法在大区域露天矿场范围快速准确识别方面有推广应用潜力。

改良Transformer模型应用于乳腺结节超声报告自主生成的可行性研究

目的将改良Transformer模型应用于乳腺结节超声报告自主生成,并对其可行性进行初步探讨。方法收集832例乳腺结节患者(共1284个结节)的超声图像构建BND数据集,引入一种改良Transformer模型对BND数据集进行智能分析,生成相应文本报告,并与Ensemble Model、SSD、R-FCN模型进行比较;同时引入LGK数据集,将改良Transformer模型与TieNet、Kerp、VTI、RNCM模型进行比较。采用BLEU评分评估各模型的性能。结果在BND数据集中,改良模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.547、0.474、0.352、0.282,均高于Ensemble Model、SSD、R-FCN模型。在LGK数据集中,改良Transformer模型的BLEU-1、BLEU-2、BLEU-3及BLEU-4评分分别为0.579、0.391、0.288、0.152。结论改良Transformer模型能够快速识别乳腺结节并自主生成标准报告,与Ensemble Model、SSD、R-FCN模型相比,获得了良好的BLEU评分,同时该模型在LGK数据集中BLEU评分也较高,表明改良Transformer模型具有较高的文本泛化性能。

基于双模态Transformer模型的话务量预测

为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,最后采用多种模型进行话务量预测以及多种衡量指标对预测结果进行分析。结果表明:与其他算法比较,Transformer模型性能较好,对运营商资源的合理配置具有较高的指导意义,同时更易获得客户较高的满意度和忠诚度。

基于MsTCN-Transformer模型的轴承剩余使用寿命预测研究

剩余使用寿命(remaining useful life, RUL)预测是PHM的核心问题之一,复杂的运行工况往往导致设备部件经历不同的故障退化过程,给RUL准确预测带来了巨大挑战。为此,提出了一种多尺度时间卷积网络(multi-scale temporal convolutional network, MsTCN)与Transformer(MsTCN-Transformer)融合模型用于变工况下滚动轴承RUL预测。该方法设计了一种新的多尺度膨胀因果卷积单元(multi-scale dilated causal convolution unit, MsDCCU),能够自适应地挖掘滚动轴承全寿命信号中固有的时序特征信息;然后构建了基于自注意力机制的Transformer网络模型,在克服预测序列记忆力退化的基础上,准确学习时序特征与轴承RUL之间的映射关系。此外,通过对轴承不同故障退化阶段所提取的时序特征可视化分析,验证了所提方法在变工况下所提取的时序特征泛化性较好。多种工况条件下滚动轴承RUL预测试验表明,所提方法能够较为准确地实现变工况下轴承的RUL预测,相比当前多种方法RUL预测结果准确性更高。

基于双域Transformer耦合特征学习的CT截断数据重建模型

目的为解决CT扫描视野(FOV)不足导致的截断伪影和图像结构失真问题,本文提出了一种基于投影和图像双域Transformer耦合特征学习的CT截断数据重建模型(DDTrans)。方法基于Transformer网络分别构建投影域和图像域恢复模型,利用Transformer注意力模块的远距离依赖建模能力捕捉全局结构特征来恢复投影数据信息,增强重建图像。在投影域和图像域网络之间构建可微Radon反投影算子层,使得DDTrans能够进行端到端训练。此外,引入投影一致性损失来约束图像前投影结果,进一步提升图像重建的准确性。结果Mayo仿真数据实验结果表明,在部分截断和内扫描两种截断情况下,本文方法DDTrans在去除FOV边缘的截断伪影和恢复FOV外部信息等方面效果均优于对比算法。结论DDTrans模型可以有效去除CT截断伪影,确保FOV内数据的精确重建,同时实现FOV外部数据的近似重建。

基于局部Transformer的泰语分词和词性标注联合模型

泰语分词和词性标注任务二者之间存在高关联性,已有研究表明将分词和词性标注任务进行联合学习可以有效提升模型性能,为此,提出了一种针对泰语拼写和构词特点的分词和词性标注联合模型。针对泰语中字符构成音节,音节组成词语的特点,采用局部Transformer网络从音节序列中学习分词特征;考虑到词根和词缀等音节与词性的关联,将用于分词的音节特征融入词语序列特征,缓解未知词的词性标注特征缺失问题。在此基础上,模型采用线性分类层预测分词标签,采用线性条件随机场建模词性序列的依赖关系。在泰语数据集LST20上的试验结果表明,模型分词F1、词性标注微平均F1和宏平均F1分别达到96.33%、97.06%和85.98%,相较基线模型分别提升了0.33%、0.44%和0.12%。

基于变量选择与Transformer模型的中长期电力负荷预测方法

准确且有效的负荷预测对于电力系统的实时运行和调度非常重要。提出了一种融合变量选择与稀疏Transformer模型的预测方法,将静态变量和时序变量作为输入,充分发挥静态变量在全局时间范围内的信息增强作用,基于门控机制设计变量分权组件,根据变量与预测结果的相关性,赋予变量不同的权重。设计了双层编码结构,进行时序特征提取,对注意力进行稀疏处理,通过多变量输入对未来时刻负荷进行预测。基于真实电力负荷数据的实验表明,本文模型能够提高中长期负荷预测精度和效率。

融合Transformer和LSTM的蓝莓根区土壤含水量预测模型

针对土壤含水量预测模型存在难以解决非线性复杂特征、易陷入局部极小值等问题,构建融合Transformer和LSTM的土壤含水量深度学习预测模型(Transformer-LSTM)。采集山东省青岛市黄岛区丁家寨村蓝莓(Vaccinium spp.)生产区冷棚与露天2个站点的蓝莓根区土壤和气象数据作为建模数据,根据皮尔逊相关性和偏自相关性分析选择模型的数据输入特征与输入长度,与单一的Transformer模型和LSTM模型进行对比分析,评估模型对土壤含水量的预测性能。结果表明,Transformer-LSTM模型在预测精度上均优于单一的Transformer模型和LSTM模型,Transformer-LSTM模型的平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)、决定系数(R^(2))分别为0.245 9、0.572 0、0.012 1、0.960 6。Transformer-LSTM模型可以更全面地提取蓝莓种植环境因子输入序列中的特征信息,有效提升土壤含水量因子预测精度和水平。

基于Transformer模型的连续无创血压预测方法

动脉血压(ABP)波形包含丰富的心血管信息,有助于心血管疾病的预防和诊断。目前大部分基于光电容积脉搏波描记法(PPG)的血压预测方法仅预测收缩压(SBP)和舒张压(DBP),本文提出了一种由PPG信号预测ABP波形的血压测量方法。首先使用PPG信号作为输入,通过线性映射到高维空间,然后利用Transformer编码器结构进行特征提取,最后由线性层输出预测的ABP波形,由预测的ABP波形可计算出SBP和DBP等血压参数。实验结果显示,Transformer网络在MIMIC数据集中预测的ABP波形与实际波形的拟合效果良好,计算得到的SBP和DBP预测误差分别为(3.76±5.66)mmHg、(2.20±3.77)mmHg,且该方法符合美国医疗仪器促进协会(AAMI)的标准,同时在英国高血压协会(BHS)标准中达到A级。