面向高光谱影像分类的显著性特征提取方法

针对高光谱影像分类问题,提出了一种显著性特征提取方法。首先,利用超像素分割算法将高光谱影像3个相邻波段分割为若干个小区域。然后,基于分割得到的小区域计算反映不同区域的显著性特征。最后,沿着光谱方向采用大小为3、步长为1的滑窗法获得所有波段的显著性特征。进一步将提取的显著性特征与光谱特征进行结合,并将结合后的特征输入到支持向量机中进行分类。利用Pavia大学、Indian Pines和Salinas 3组高光谱影像数据进行分类试验。试验结果表明,与传统的空间特征提取方法和基于卷积神经网络的高光谱影像分类方法相比,提取的显著性特征能够获得更高的高光谱影像分类精度,且结合光谱特征能够进一步提高分类精度。

基于显著性特征提取的图像描述算法

图像描述(Image captioning)是一个融合了计算机视觉和自然语言处理这两个领域的研究方向,本文为图像描述设计了一种新颖的显著性特征提取机制(Salient feature extraction mechanism,SFEM),能够在语言模型预测每一个单词之前快速地向语言模型提供最有价值的视觉特征来指导单词预测,有效解决了现有方法对视觉特征选择不准确以及时间性能不理想的问题.SFEM包含全局显著性特征提取器和即时显著性特征提取器这两个部分:全局显著性特征提取器能够从多个局部视觉向量中提取出显著性视觉特征,并整合这些特征到全局显著性视觉向量中;即时显著性特征提取器能够根据语言模型的需要,从全局显著性视觉向量中提取出预测每一个单词所需的显著性视觉特征.本文在MS COCO(Microsoft common objects in context)数据集上对SFEM进行了评估,实验结果表明SFEM能够显著提升基准模型(baseline)生成图像描述的准确性,并且SFEM在生成图像描述的准确性方面明显优于广泛使用的空间注意力模型,在时间性能上也大幅领先空间注意力模型.

基于N-RGAN模型的红外与可见光图像融合

目前,红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题,针对上述存在的问题,本文结合非下采样剪切波变换(Non-Subsampled Shearlet Transform,NSST)、残差网络(Residual Network,ResNet)与生成对抗网络(Generative Adversarial Network,GAN)提出一种N-RGAN模型。通过NSST变换将红外与可见光图像分解为高频子带和低频子带;对高频子带进行拼接并输入由残差模块改进过的生成器,并将源红外图像作为判决标准,以此提升网络融合性能与融合图像细节刻画以及目标凸显能力;对红外图像与可见光图像进行显著性特征提取,通过自适应加权对低频子带进行融合,提升图像对比度与清晰度;对高频子带的融合结果与低频子带的融合结果进行NSST逆变换,从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比,本文所提方法在峰值信噪比(Peak Signal to Noise Ratio,PSNR)、平均梯度(Average Gradient,AVG)、图像熵(Image Entropy,IE)、空间频率(Spatial Frequency,SF)、边缘强度(Edge Strength,ES)、图像清晰度(Image Clarity,IC)等多个客观指标上均有提高,可提升复杂场景下的红外与可见光图像融合效果,改善图像细节纹理信息损失严重的问题,同时提升图像对比度与清晰度。

基于动态粒子流场的视频异常行为自动识别

为了有效实现视频异常行为的自动识别,基于动态粒子流场,将视频运动对象的运动行为,映射为有效反映其运动变化状态的动态粒子流,同时提取度量不同场景内容下的运动方式各异的异常行为的显著性运动特征,进行异常行为的分类与识别。对来自不同场景并具有不同运动行为方式的公开视频测试序列的实验表明,本文方法无需跟踪运动对象,也无需预先采集异常行为样本进行学习与训练,可在多种条件下实现视频运动对象异常行为的有效自动识别。