基于迁移学习的苹果落叶病识别与应用

为解决现有卷积神经网络苹果叶片病害识别模型泛化能力弱,模型体积较大等问题,该研究提出一种基于改进MobileNetV3苹果落叶病识别模型。以健康叶片和常见苹果落叶病为研究对象,包括斑点落叶病、灰斑病、褐斑病、锈病4种,每种病害2级,共9类特征,通过改进网络的注意力模块、全连接层及算子,结合迁移学习的训练方式,构建苹果落叶病识别模型。在扩充前后的数据集上对比不同的学习方式、学习率和注意力模块等对模型的影响,验证模型的识别性能。试验结果表明:采用迁移学习的方式,在训练50轮达曲线收敛,比全新学习的准确率增加6.74~10.79个百分点;使用引入的ET(efficient channel attention-tanh)注意力模块,网络损失曲线更加平滑,模型的参数量更少,模型体积减小了48%,提高了模型的泛化能力;在扩充数据集上,学习率为0.000 1时,结合迁移学习的训练方式,改进MobileNetV3(ET3-MobileNetV3)苹果落叶病识别模型,平均准确率能达到95.62%,模型体积6.29 MB。将模型部署到喷药设备上,可实现基于苹果叶片病害识别的变量喷施,该研究可为苹果叶片病害的检测与果园的现代化管理提供参考。

基于SMOTE-IKPCA-SeNet深度迁移学习的小批量生产质量预测研究

随着智能制造技术的发展和客户个性化需求的增加,多品种小批量生产方式逐渐成为制造业的主流。面向大批量生产、以统计过程控制为核心的质量管理方式并不适用于小批量生产。针对复杂生产过程存在参数多、非线性和交互作用的问题,提出利用深度迁移学习的方式将历史生产数据作为源域迁移至小样本目标产品数据进行质量预测。首先,通过合成少数类过采样技术(synthetic minority over-sampling technique,SMOTE)和改进的核主成分分析(improved kernel principal component analysis,IKPCA)算法筛选源域和目标域的可迁移特征,这不仅兼顾了特征重要性和可迁移性,还减少了“负迁移”,提高了模型泛化能力;然后,采用结合通道注意力机制的卷积神经网络SeNet构建基于深度迁移学习的质量预测模型。仿真结果表明,随着目标域样本的增加,所提方法的预测准确性明显优于广泛采用的支持向量机建模方法。同时,所提可迁移特征筛选方法显著提高了深度迁移学习的质量预测效果,为复杂的小批量生产过程质量保证提供了新方法。

基于迁移学习与残差网络的快递包裹X光图像识别

针对快递包裹违禁物品识别存在种类繁多、依赖人力和X光图像获取难度大等问题,为提高快递包裹违禁物品识别的效率和准确度,本研究提出一种迁移学习与残差网络相结合的快递包裹X光图像识别方法(TL-ResNet18)。首先构建了相似度高的源领域数据集和目标领域数据集;其次,选用ResNet18作为预训练模型,调整初始化参数结构,并将ResNet18学习到的内容作为初始化参数迁移到目标领域,实现快递包裹X光图像分类;最后,将相同数据集作为三种模型的输入并对结果进行对比。实验结果表明,TL-ResNet18模型的局部微调和全局微调的识别准确率分别为93.5%、95.0%,相比于ResNet18模型提高了7%、8.5%,且精确度、召回率和F1值都优于ResNet18模型,该方法性能更优,且不受小型数据集对深层网络训练的限制,有利于快递包裹X光图像识别的智能化发展。

基于TCN和迁移学习的混凝土坝变形预测方法

混凝土坝变形测点数据丢失或者新增测点测量时间太短都会导致这部分测点的数据量不足,使得变形预测精度受到影响。为了提高这些小数据量测点的变形预测精度,提出了将时域卷积网络(TCN)与迁移学习相结合的变形预测方法。以数据量充足的测点为源域,以缺少数据的测点为目标域,将在源域上训练好的TCN模型的结构和参数迁移到目标域模型中,固定其中的冻结层参数,利用目标域中的数据对目标域模型可调层参数进行调整。同时,采用动态时间规整选择与目标域数据序列相似度最高的监测数据作为最佳源域数据,提升迁移学习效果。工程实例分析表明:迁移学习后的目标域模型的均方根误差和平均绝对误差与利用足量数据训练的TCN模型的预测误差相比,差异仅分别为1.73%和8.09%,小数据量情况下TCN预测模型的精度得到了提高。

矿物组分识别与智能解释在不同岩性之间的信息共享与迁移学习

在地球科学领域,岩石微观观测数据的采集过程繁琐且效率低下,这不仅增加了研究成本,降低了可靠性,同时也限制了数据的开源共享。此外,由于岩性的多样性和观测手段的差异,单一数据集的规模通常较小,这对于依赖大规模数据集的深度学习框架而言是一大挑战。为此,本研究探索迁移学习如何促进不同岩性间的信息共享,并通过此机制提高矿物组分识别与智能解释任务的模型性能。通过采集不同区域、岩性、矿物组分和偏光模式下的铸体薄片样本,本文深入研究了深度学习模型在不同观测对象和手段下的迁移学习机制,并聚焦于探索地质信息的深层表征。研究成果不但揭示了迁移学习在促进地质学领域信息共享与模型性能提升中的关键作用,还为自动化和智能化地质认识融合奠定了基础。实验结果显示,通过迁移学习,本文模型在智能解释任务中的准确率显著提高,从53.3%提高至98.73%,而在矿物组分识别任务中,准确率也实现了近10%的提升。这些成果证明了迁移学习在地质学领域内解决实际问题和提高模型泛化能力、性能和稳定性方面的巨大潜力。

基于增强迁移学习的轴承故障诊断研究

深度迁移学习方法常被用于轴承故障迁移诊断,由于未充分考虑目标域对决策边界的影响,当2个领域分布差异较大时易导致迁移任务失败。针对此不足,提出了一种增强迁移学习方法(ETLM)用于轴承故障诊断,以改进轴承在变工况下的故障诊断性能。该方法通过构建双层网络模型结构,以源域训练模型1为基础,并将权重参数结果复制到模型2中,在模型2中通过引入目标域样本的伪标签自适应调整决策边界。为提高样本的识别效果,采用2个独立分类器的结构训练模型1和模型2,训练过程中以最大化分类差异、最小化源域和目标域分布差异为目标迭代更新权重参数。将交叉熵损失函数、最大均值差异(MMD)、分类判别损失函数作为优化准则,以减小2个领域间的分布差异,增强迁移学习能力。通过轴承故障诊断实验台数据对所提方法进行分析,结果表明,ETLM方法在特征学习、识别率和迁移效果方面明显优于其他几种方法。

基于深度迁移学习的车辆悬架高频异常振动故障诊断

在车辆悬架故障诊断过程中,深度学习故障诊断模型在面对少量样本数据时模型训练效果不佳,导致诊断模型的接收者操作特性曲线(receiver operating characteristic,ROC)的曲线下面积(area under curve,AUC)较小的问题,利用经验模态分解(empirical mode decomposition,EMD)方法,对采集的车辆悬架高频振动信号进行分解处理,根据每个经验模态分量(intrinsic mode functions,IMF)的能量,提取高频异常振动故障特征,构建了基于深度迁移学习的诊断模型;以深度卷积神经网络算法为基础,对小样本特征矢量信息进行故障知识迁移处理,通过参数微调更新权值,优化故障诊断模型。实验结果表明:优化后模型的AUC值为0.89,模型故障诊断结果具有较高准确性。

基于迁移学习的轨道交通特殊OD客流预测研究

客流预测一直是轨道交通运营公司关注的重点,由于受到运输能力的限制等因素影响,部分OD的实际客流数据与真实需求有偏差,出现异常或者样本缺失,从而造成总体样本量偏小,直接采用这些样本进行预测会明显影响预测精度,但通过还原样本值增加样本量难度太大。根据上述特点选择基于实例的迁移学习,先确定源域的对象和范围,从源域中选择合适的样本补充到总体样本中,共同组成最终的训练样本数据集,完成迁移学习。同时选择改进的Boost算法,通过误差调整样本权重,不断迭代,得到最终的预测模型。结果表明:基于实例的迁移学习结合改进Boost算法的预测精度要好于传统集成学习、ARIMA模型、多元回归模型,为轨道交通运营公司对特定OD的客流预测提供新的有益尝试。

基于迁移学习和逻辑回归模型的花卉分类研究

【目的】不同种花卉之间的相似性以及同种花卉内部的多变性加大了花卉图像分类难度,其难点是要人工设计出能充分体现花卉颜色、形状和花瓣形态等特征的特征提取方法。传统的花卉图像分类方法的精度不高且模型的泛化能力较差,这些问题亟待解决。【方法】课题组提出一种基于数据增强的VGG16迁移学习卷积神经网络提取花卉图像特征,再训练多类逻辑回归模型的花卉图像分类识别方法;并且通过在flowers17和flowers102花卉数据集上进行测试,来验证课题组所提出的花卉分类识别方法的有效性。【结果】课题组所提出的花卉分类识别方法在flowers17和flowers102数据集中分别达到了97.89%和92.10%的分类精度,高于现有其他花卉图像分类方法。【结论】通过预训练的深度人工神经网络提取的高区分度的花卉图像特征,优于人工设定的花卉图像特征,能训练出更高效精准的花卉识别分类器。基于本研究内容,下一步可对VGG16网络进行降维改进,让模型参数减少,从而实现快速实时应用。

选择置信伪标签的迁移学习

域适应旨在将标签丰富的源域知识迁移到无标签的目标域.选择性伪标签和标签传播都是域适应的常用方法.然而传统的选择性伪标签以最大类的预测概率标记样本,忽视了其他概率;而且传统的标签传播同等对待不同置信度的标签,这可能导致错误标签.因此,该文提出了一种选择置信伪标签(TL-SCP)的迁移学习.首先,在评估伪标签的置信度时兼顾了最大类的预测概率和其他类预测概率;其次,在标签传播过程中尽量保留高置信度标签,并据此指导低置信度标签的更新,借此减少错误标签传播;最后,在4个基准数据集上进行的大量实验验证了提出的模型(TL-SCP)优于现有的模型.

基于LeNet5like的迁移学习风电机组叶片覆冰故障诊断研究

针对海上风电场和高海拔地区风机机组的叶片覆冰故障模型精度低、建模速度慢等问题,提出一种基于LeNet5like的迁移学习风电机组叶片覆冰故障诊断方法。首先,整合监控和数据采集系统的记录数据与风机覆冰情况进行预处理,建立训练数据集;其次,基于改进后的LeNet5like网络构建覆冰故障诊断模型,提取数据集中多变量间的相关性特征信息;然后,经网络参数微调迁移学习对模型进行训练,实现对其他风机覆冰故障诊断模型的快速建立;最后,经实验验证,该模型覆冰故障诊断准确率为98.90%,较无迁移模块网络训练时间缩短28 s,提升约15.91%,验证了基于LeNet5like的迁移学习风电机组叶片覆冰故障诊断方法的精确性和快速性。

基于Inception-BiLSTM和迁移学习的结构损伤识别

针对传统卷积神经网络(convolutional neural network,CNN)方法在时空特征提取存在不足,提出了一种改进的Inception与双向长短期记忆(bi-directional long short-term memory,BiLSTM)联合模型,以全面学习振动信号中的空间和时序信息。首先,构建具有多尺度感受野的Inception模块,自适应地提取不同尺度下的空间特征;其次,BiLSTM序列化处理时间特征,以深度挖掘时间相关性;最后,通过全局平均池化和Softmax分类器来实现钢框架结构的损伤识别。为评估该模型对噪声的鲁棒性,引入高斯白噪声作为干扰。此外,采用迁移学习策略来评估模型在不同强度激励和小样本下的泛化能力,确保适用于不同的损伤识别任务。结果表明,与传统的CNN方法相比,该模型在无噪声条件下及信噪比超过25 dB时保持了100%的识别精度。该方法解决了土木工程应用中样本量不足和不同强度激励的实际挑战。通过微调预训练模型的参数,实现了在不同强度激励和小样本情况下的知识迁移与泛化,从而增强了模型的实际适用性。

基于机器学习和迁移学习的地震预警震级估计

震级估计是地震预警的重要环节之一。快速且可靠的震级估计可以为地震预警系统提供有效的地震预警信息。传统的地震预警震级估计方法主要利用从P波信号中提取单一的特征建立震级估计经验预测方程,且震级估计误差较大。为了提高地震预警震级估计的可靠性以及探索机器学习方法在中国川滇地区地震预警震级估计的可行性,基于日本K-NET台网记录的强震动数据建立用于震级估计的机器学习预训练模型(CRnet-M),CRnet-M模型结合了卷积神经网络和循环神经网络;结合迁移学习和中国川滇地区的强震动数据,对预训练的CRnet-M模型进行微调和训练,进而建立了用于中国川滇地区的震级估计模型(TLCRnet-M)。研究结果表明:对于日本的测试数据集,在P波触发后3 s,和传统的地震预警震级估计方法相比,预训练的CRnet-M模型有更小的震级估计误差,且绝对误差在0~0.5震级单位范围内的百分比达到了86.89%;对于川滇地区的测试数据集,在P波触发后3 s,和传统的地震预警震级估计方法以及未使用迁移学习的CRnet-M模型相比,使用迁移学习的TLCRnet-M模型提高了震级估计的可靠性,且绝对误差在0~0.5震级单位范围内的百分比为76.25%。方法在一定程度上提高了地震预警震级估计的可靠性,且对于地震预警系统有一定意义。

基于迁移学习的棉/毛纤维自动识别方法

针对纺织品废料中织物纤维手工分类存在效率低、主观性强等问题,提出了一种小样本条件下纺织品废料中棉/毛纤维的自动识别方法。首先使用扫描电子显微镜,对已有的棉/毛纤维进行拍照,形成小样本棉/毛纤维图像集;然后分别加载4种经ImageNet数据集训练过的模型进行迁移学习,保留或部分微调模型的网络参数,并基于小样本图像集进行训练和验证,生成棉/毛纤维的分类模型;最后基于准确率、精确率和召回率评价指标,对各种分类模型进行对比测试,选出最优分类模型,实现棉/毛纤维的自动识别。经过实验发现ResNetXt50模型在模型训练过程中取得了最高的精确率,其值为97.33%。对测试集进行测试,结果显示通过微调后的4种分类模型中,ResNet50和ResNetXt50的测试准确率可达99.537%,验证了方法的有效性。

基于迁移学习和CNN-LSTM的水轮机空化状态识别方法

针对水轮机空化声发射信号中包含较多噪声、依赖人工降噪与特征提取以及深度学习模型准确率极度依赖海量训练数据的问题,提出一种基于迁移学习和卷积神经网络-长短时记忆网络(CNN-LSTM)的水轮机空化状态识别方法。首先,将数据输入CNN中提取隐含特征;然后,在LSTM中提取特征隐含的时序信息并输出空化类型,通过训练网络参数建立基于CNN-LSTM的空化状态识别模型;最后,引入迁移学习对类似工况进行空化状态识别。结果表明:该模型能准确识别出3种不同的水轮机空化类型,其平均识别准确率达到较高水平;与传统深度学习模型相比,该模型在极少样本学习任务中的识别准确率具有明显优势。

基于迁移学习的气体泄漏红外图像去噪方法

非制冷型红外相机由于其成本低、寿命长、性能稳定等优势在气体泄漏检测领域有着广泛应用,而良好的图像去噪算法可以有效提升其检测灵敏度与准确性。结合深度学习和迁移学习技术,提出了一种基于深度迁移学习的气体泄漏红外图像去噪方法。首先使用静止场景数据集对卷积神经网络模型进行训练,然后固定部分模型参数,并通过仿真气体数据集对模型再次训练,最终获得适用于气体泄漏红外图像去噪的模型。实验结果表明,该方法可以对非制冷型红外相机拍摄的气体红外图像进行去噪,去噪后的图像具有明显的气体轮廓信息,同时可以分辨出泄漏源的位置。因此,该方法可以帮助非制冷型红外相机更好地完成气体泄漏检测任务。

基于混合式迁移学习的命名实体识别算法

针对命名实体识别领域中大量标注数据难于获取而带来的问题,提出基于混合式迁移学习的命名实体识别算法——MT-NER。利用样本之间的距离作为权衡样本相似性的标准,进行样本迁移以扩充目标域样本;利用模型迁移建立带有finetune的新命名实体识别网络结构,用扩充后的目标域数据集来训练网络。以医疗领域为例的实验结果分析表明,MT-NER算法在小样本数据中的实体识别效果最佳,精度达到93.31%,召回率达到89.5%,F1值达到0.9317,与BiLSTM-CRF模型相比分别提升了6.33百分点、3.65百分点和0.0891。

多源域迁移学习的肌电-惯性特征融合及手势识别

在跨用户手势识别研究中,针对单源域迁移学习存在的负迁移和模型泛化性能差的问题,本研究创新性地提出了一种基于肌电-惯性特征融合的多源域迁移学习策略,关键创新点在于整合多个源域的数据,并在此基础上采用域特有特征对齐与域分类器对齐的技术手段。这一方法旨在强化模型在不同用户间的手势识别性能,进而显著提升跨用户手势识别系统的准确性。首先,引入长短时记忆(long short-term memory, LSTM)网络模型,提取肌电-惯性信息的平均绝对值、方差、峰值等时序特征;其次进行域特有特征对齐与域分类器对齐,利用多个源域数据完成对目标域的特征提取;最后融合分类损失、域特有特征差异损失和域分类器差异损失3个损失函数,协同优化整体损失。实验结果表明,所提方法与单源域、源域组合等多种传统方法相比,识别平均率有所提高,在NinaPro DB5数据集上,目标用户的手势识别平均准确率达到80%以上。

基于注意力机制和迁移学习的服装分类方法

针对服装图像分类效率低、准确率不高等问题,提出了一种基于注意力机制和迁移学习的服装图像分类方法。主要采用预训练的ResNet50网络模型在服装数据集上进行迁移学习,以降低对数据集的依赖,并减少网络训练时间;通过几何变换和颜色抖动2种数据增强手段处理数据集,提高模型的泛化能力;以ResNet50为基础网络,加入卷积注意力机制模块(convolutional block attention module, CBAM),依次从通道和空间2个维度提高对服装不同区域的关注度,增强了特征表达能力。在CD和IDFashion两类背景干扰信息不同的数据集上进行验证,实验结果表明:所提出的模型能够提取更多服装特征信息,在IDFashion数据集的平均分类准确率为95.60%,分别高于ResNet50、ResNet50+STN和ResNet50+ECA模型6.65%、6.69%、6.62%,一定程度上提高了服装图像分类的准确率和效率。

融合迁移学习和集成学习的服装风格图像分类方法

针对服装风格人工分类受主观性、地域等因素影响而造成的分类错误问题,研究了一种基于人工智能的服装风格图像分类方法。首先,在FashionStyle14数据集基础上筛除重复或无效图像,构建服装风格图像数据集;然后,采用迁移学习方法,对EfficientNet V2、RegNet Y 16GF和ViT Large 16等模型进行微调训练,生成新模型,实现基于单个深度学习的服装风格图像分类;最后,为进一步提高图像分类的准确性、可靠性和鲁棒性,分别采用基于投票、加权平均和堆叠的集成学习方法对上述单个模型进行组合预测。迁移学习实验结果表明,基于ViT Large 16的深度学习模型在测试集上表现最佳,平均准确率为77.024%;集成学习方法实验结果显示,基于投票的集成学习方法在相同测试集上平均准确率可达78.833%。研究结果为解决服装风格分类问题提供了新的思路。