结合沙漏注意力与渐进式混合Transformer的图像分类方法

Transformer在图像分类任务中具有广泛应用,但在小数据集分类任务中,Transformer受到数据量较少、模型参数量过大等因素的影响,导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先,通过下-上采样的沙漏自注意力建模全局特征关系,利用上采样补充下采样操作丢失的信息,同时采用可学习温度参数和负对角掩码锐化注意力的分数分布,避免因层数过多产生过度平滑的现象;其次,设计渐进式下采样模块获得细粒度多尺度特征图,有效捕获低维特征信息;最后,使用混合架构,在顶层阶段使用设计的沙漏注意力,底层阶段使用池化层替代注意力模块,并引入带有深度卷积的层归一化,增加网络局部性。所提方法在T-ImageNet、CIFAR10、CIFAR100、SVHN数据集上进行实验,分类精度可以达到97.42%,计算量和参数量分别为3.41G和25M。实验结果表明,与对比算法相比,该方法的分类精度有明显提升,计算量和参数量有明显降低,提高了Transformer模型在小数据集上的性能表现。

一种小规模数据集下的贝叶斯网络学习方法及其应用

提出了一种小规模数据集下学习贝叶斯网络的有效算法——FCLBN。FCLBN利用bootstrap方法在给定的小样本数据集上进行重抽样,然后用在抽样后数据集上学到的贝叶斯网络来估计原数据集上的贝叶斯网络的高置信度的特征,并用这些特征来指导在原数据集上的贝叶斯网络搜索。用标准的数据集验证了FCLBN的有效性,并将FCLBN应用于酵母菌细胞中蛋白质的定位预测。实验结果表明,FCLBN能够在小规模数据集上学到较好的网络模型。

基于迁移学习的类别级物体识别与检测研究与进展

类别级物体识别与检测属于计算机视觉领域的一个基础性问题,主要研究在图像或视频流中识别和定位出其中感兴趣的物体.在基于小规模数据集的类别级物体识别与检测应用中,模型过拟合、类不平衡和跨领域时特征分布变化等关键问题与挑战交织在一起.本文介绍了迁移学习理论的研究现状,对迁移学习理论解决基于小规模数据集的物体识别与检测中遇到的主要问题的研究思路和前沿技术进行了着重论述和分析.最后对该领域的研究重点和技术发展趋势进行了探讨.

面向小样本遥感解译的空间置弃FCN模型

针对当前缺少大型遥感数据集,复杂深度学习语义分割模型优化难等问题,文章通过改进经典全卷积网络(Fully Convolutional Network,FCN)模型,提出了一种面向小样本遥感数据集,联合批归一化和空间置弃方法的智能解译语义分割模型,为解决小样本数据集过拟合问题提供新的思路。首次将空间置弃层引入FCN模型,并设计和实验了8组具有不同模块和网络结构的模拟场景。研究结果表明,不对原始小样本数据集进行数据增强处理,通过在不同位置增加若干数量的空间置弃层可有效抑制过拟合;对比8组实验场景结果,文章提出的改进模型在抑制过拟合、提升模型精度和模型收敛速度上的综合表现最优;集成于模型框架中的空间置弃层可以有效实现自学习降维,为复杂高分遥感图像解译提供有意义参考。

少量样本下基于孪生CNN的SAR目标识别

针对深度学习中的有监督学习需要大量的标注数据,提出了一种少量训练样本下的SAR目标识别方法,解决了SAR图像人工标注成本较高、标注样本不足的问题。首先通过构建正负样本对的策略对数据集进行样本扩充,大幅增加数据量;其次,设计了一种基于度量学习和深度学习的孪生卷积神经网络(孪生CNN),用于衡量样本之间的相似概率;然后采用多任务联合学习的方法训练模型,有效缓解了相干斑噪声对SAR图像的影响,降低了噪声过多易引起的过拟合风险;最后,设计了一种基于孪生CNN的识别样本具体类别的加权投票模型。实验采用了MSTAR和OpenSARShip数据集,在小规模训练集上通过上述方法取得了较好的识别效果。

基于知识增强的中文命名实体识别

基于字词联合的中文命名实体识别模型能够兼顾字符级别与词语级别的信息,但受未登录词影响较大且在小规模数据集上存在训练不充分等问题。在现有LR-CNN模型的基础上,提出一种结合知识增强的中文命名实体识别模型,采用相对位置编码的多头注意力机制提高模型上下文信息捕捉能力,通过实体词典融入先验知识降低未登录词的影响并增强模型学习能力。实验结果表明,该模型在保持较快解码速度和较低计算资源占用量的情况下,在MSRA、People Daily、Resume、Weibo数据集上相比SoftLexicon、FLAT等模型F1值均有明显提升,同时具有较强的鲁棒性和泛化能力。

多层卷积特征的真实场景下行人检测研究

针对真实场景下的行人检测方法存在漏检、误检率高,以及小尺寸目标检测精度低等问题,提出了一种基于改进SSD网络的行人检测模型(PDIS)。PDIS通过引出更底层的输出特征图改进了原始SSD网络模型,并采用卷积神经网络不同层输出的抽象特征对行人目标分别做检测,融合多层检测结果,提升了小目标行人的检测性能。此外,针对数据集样本多样性能有效地提升检测算法的泛化能力,本文采集了不同光照、姿态、遮挡等复杂场景下的行人图像,对背景比较复杂的INRIA行人数据集进行了扩充,在扩增的行人数据集上训练的PDIS模型,提高了在真实场景下的行人检测精度。实验表明:PDIS在INRIA测试集上测试结果达到93.8%的准确率,漏检率低至7.4%。

MTMS300:面向显著物体检测的多目标多尺度基准数据集

目的在显著物体检测算法发展过程中,基准数据集发挥了重要作用。然而,现有基准数据集普遍存在数据集偏差,难以充分体现不同算法的性能,不能完全反映某些典型应用的技术特点。针对这一问题,本文对基准数据集的偏差和统计特性展开定量分析,提出针对特定任务的新基准数据集。方法首先,讨论设计和评价数据集时常用的度量指标;然后,定量分析基准数据集的统计学差异,设计新的基准数据集MTMS300(multiple targets and multiple scales);接着,使用基准数据集对典型视觉显著性算法展开性能评估;最后,从公开基准数据集中找出对多数非深度学习算法而言都较为困难(指标得分低)的图像,构成另一个基准数据集DSC(difficult scenes in common)。结果采用平均注释图、超像素数目等6种度量指标对11个基准数据集进行定量分析,MTMS300数据集具有中心偏差小、目标面积比分布均衡、图像分辨率多样和目标数量较多等特点,DSC数据集具有前景/背景差异小、超像素数量多和图像熵值高的特点。使用11个基准数据集对18种视觉显著性算法进行定量评估,揭示了算法得分和数据集复杂度之间的相关性,并在MTMS300数据集上发现了现有算法的不足。结论提出的两个基准数据集具有不同的特点,有助于更为全面地评估视觉显著性算法,推动视觉显著性算法向特定任务方向发展。