基于视角信息嵌入的行人重识别

提出一种基于视角信息嵌入的行人重识别模型。结合行人图像视角朝向特点,对PSE (pose-sensitive embedding)网络结构进行了优化。首先将PSE特征向量融合部分由特征的融合改成更符合不同视角特征空间性质的三个视角单元特征向量的拼接;其次视角单元从骨架网络更浅层的blocks-3进行分离,增加三个视角单元特征空间的差异性;最后利用改进的深度可分离卷积,设计了一个深度可分离模块,对视角单元进一步进行提取特征,防止模型参数过大的同时提高网络非线性能力,从而提高网络的泛化能力。利用Market1501、Duke-MTMC-reID和MARS数据集对所提的算法进行有效性验证实验,结果表明所提的改进方法取得了更好的识别效果。

RGB-D语义分割:深度信息的选择使用

目的 在室内场景语义分割任务中,深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息,然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰,原因是仅依靠视觉特征网络模型就能区分的不同物体,在引入深度信息后可能产生错误判断。此外,卷积核固有的几何结构限制了卷积神经网络的建模能力,可变形卷积(deformable convolution, DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足,限制了进一步发展。基于上述问题,本文提出一种深度信息引导的特征提取(depth guided feature extraction, DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection, DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution, DDC)。DFS可以筛选出关键的深度信息,自适应地调整深度信息引入视觉特征的比例,在网络模型需要时将深度信息嵌入视觉特征。DDC在额外深度信息的引入下,增强了可变形卷积的特征提取能力,可以根据物体形状提取更相关的特征。结果 为了验证方法的有效性,在NYUv2(New York University Depth Dataset V2)数据集上进行一系列消融实验并与当前最好的方法进行比较,使用平均交并比(mean intersection over union, mIoU)和平均像素准确率(pixel accuracy, PA)作为度量标准。结果显示,在NYUv2数据集上,本文方法的mIoU和PA分别为51.9%和77.6%,实现了较好的分割效果。结论 本文提出的深度信息引导的特征提取模块,可以自适应地调整深度信息嵌入视觉特征的程度,更加合理地利用深度信息,且在深度信息的作用下提高可变形卷积的特征提取能力。此外,本文提出的深度信息引导的特征提取模块可以比较方便地嵌入当下流行的特征提取网络中,提高网络的建模能力。

结合高光谱像素级信息和CNN的玉米种子品种识别模型

玉米作为中国重要粮食作物,品种众多,易出现错分现象,影响农业安全和粮食生产。针对传统基于卷积神经网络CNN(Convolutional Neural Network)的高光谱图像作物品种识别模型所需建模样本数量巨大的问题,提出基于高光谱像素级信息和CNN的玉米种子品种识别模型。首先,获取不同品种玉米种子在400—1000 nm范围内的高光谱图像,提取样本全部像素的203维光谱信息,利用主成分分析PCA(Principal Component Analysis)算法将光谱维度降至8维。在实验中,样本的像素级光谱信息(即:样本的全部像素的光谱信息)除应用于CNN模型外,也应用于支持向量机(SVM)和K近邻分类(KNN)模型中,结果表明:在相同模型中,基于像素级光谱信息比基于米粒级光谱信息(即:每粒样本所有像素光谱信息的平均值)识别效果好;在相同情况下,CNN模型比SVM和KNN模型的识别效果好;基于像素级光谱信息和CNN的品种识别模型识别效果最稳定,依据像素级分类结果采用多数投票策略对玉米种子样本进行识别,样本识别精度高达100%(注:100%为建模集样本与测试集样本数量为0.27和0.32时的识别精度,随着测试集样本数量的增加,该识别精度将有所降低)。最后,使用t分布随机邻域嵌入(t-SNE)算法实现CNN输出特征值的可视化,验证了基于高光谱像素级信息和CNN的品种识别模型的有效性。在建模样本极少的情况下,实现了玉米种子品种的无损、高效识别,为精准农业提供了理论基础。