基于深度流形蒸馏网络的高光谱遥感图像场景分类方法

当前场景分类任务大多面向高分辨率遥感图像,由于缺乏光谱信息限制了它的场景鉴别能力,而高光谱遥感图像具有“空谱合一”的特性,在场景分类问题上具有独特优势。针对高光谱遥感图像中地物分布复杂,以及高光谱图像中维度高、存在冗余等问题,本文提出一种高光谱场景分类流形蒸馏网络(hyperspectral scene classification manifold distillation network,HSCMDNet),有效提高了分类性能。对于遥感图像地物分布复杂问题,HSCMDNet模型使用基于移位窗口的层次化视觉Transformer(hierarchical vision transformer using shifted windows,SwinT)作为教师网络来充分挖掘高光谱图像的长距离依赖信息,捕获不同波段之间的关系。在此基础上,在教师网络与ResNet-18学生网络之间设计流形蒸馏损失,通过在流形空间中匹配学生和教师的中间层输出特征实现教师模型的知识更有效地向轻量化学生模型转移,缓解了高光谱图像中维数高导致的高计算复杂性问题。在欧比特高光谱图像场景分类数据集(Orbita hyperspectral image scene classification dataset,OHID-SC)及天宫二号遥感图像自然场景分类数据集(natural scene classification with Tiangong-2 remotely sensed imagery,NaSC-TG2)上,所提出的HSCMDNet网络的最佳分类精度分别达到了93.60%和94.55%。

长视频序列拼接

针对长视频序列的全景图拼接,提出了一种新的处理方法。该方法将长视频序列分段,对每一段分别采用场景流形算法进行拼接;将拼接后的相邻图像采用动态规划的思想搜索最佳缝合线;依次缝合所有拼接后的图像,得到整个视频序列的全景图。实验结果表明,采用该方法拼接而成的全景图可以最大限度地保证源图像的细节,没有明显的扭曲和变形,视觉效果比较好。在实际应用中,该方法可以较好地实现含动态场景的长视频序列的全景图拼接。

一种基于视频结构的场景分割方法

场景是视频结构中的语义单元。因此基于场景的视频分割,将会对视频的内容分析、检索和浏览提供有益的帮助。提出了一种新的场景分割算法,它利用流形学习理论获得视频的结构特征,然后用马尔科夫链蒙特卡罗方法(Markov chain Monte Carlo,MCMC)动态地进行模拟采样,寻找场景边界的最大后验概率分布,完成场景的自动分割。通过发掘视频结构的内在特征并考虑它的局部信息,使算法能够适合不同类型的视频数据。实验结果也证明了该方法的有效性。

一种含运动物体的长视频拼接技术

针对长视频序列全景图的拼接问题,提出了一种新的解决方法。该方法首先将长视频序列分段,每一段分别采用场景流形算法进行拼接,然后根据摄像机运动方向将拼接后的相邻图象采用图切割算法搜索最佳缝合线,并依次缝合所有拼接后的图像,最终得到整个视频序列的全景图。场景流形算法是通过在视频序列中构建图卡,以相似测度确定图卡的次序,并寻找贯穿整个视频的流形,完成拼接,该算法适用于存在运动物体的视频序列拼接。试验结果表明,分段拼接的方法得到的全景图可以较好的保证源图像的细节,没有明显的扭曲和变形,并且有一定的实时性,有较好的应用前景。

一种改进的大尺度高光谱流形降维算法

经典流形算法等距映射(ISOMAP)和局部线性嵌入(LLE)可以对高光谱数据进行降维,但不能解决大尺度高光谱图像的流形降维难题。详细论述了ISOMAP和LLE在大尺度高光谱流形降维中遇到的问题,提出了一种基于增量等距映射(IISOMAP)和LLE结合的高光谱流形降维算法IISOMAP-LLE,并针对流形降维算法较线性降维算法最小噪声分离(MNF)可以更好地发掘出高光谱数据中的非线性结构的优点,通过AVIRIS和OMIS-II数据实验验证了算法的可行性和优越性,并证明了IISOMAP-LLE算法可以避免增强型等距映射(ENH-ISOMAP)中由于Landmark点选取不当而造成的本征维数较大时类间可分性反而低于MNF的缺点。