基于改进领域分离网络的迁移学习模型

为进一步提高迁移学习的特征识别和提取效率、减少负迁移并增强模型的学习性能,提出了一种基于改进领域分离网络(DSN)的迁移学习模型AMCN-DSN(Attention Mechanism Capsule Network-DSN)。首先,使用融合多头注意力机制的胶囊网络(MHAC)完成源域和目标域特征信息的提取与重构,基于注意力机制有效筛选特征信息,并利用胶囊网络提高深层信息的提取质量;其次,引入动态对抗因子优化重构损失函数,使重构器可动态衡量源域与目标域信息的相对重要性,从而增强迁移学习的鲁棒性和提升收敛速度;最后,在分类器中融入多头自注意力机制,以强化对公有特征的语义理解并提高分类性能。在情感分析实验中,相较于其他迁移学习模型,所提模型能够将学习到的知识迁移到数据量少但相似性高的任务中,分类性能的下降幅度最小,迁移表现较好;在意图识别实验中,相较于分类性能次优的胶囊网络改进领域对抗神经网络(DANN+CapsNet)模型,所提模型的精确度、召回率和F1值分别提升了4.5%、4.3%和4.4%,表明所提模型在处理小数据问题和个性化问题上具有一定优势。与DSN相比,AMCNDSN在上述两类实验目标域上的F1值分别提高了6.0%和12.4%,进一步验证了改进模型的有效性。