基于E^2LSH-MKL的视觉语义概念检测

多核学习方法(Multiple kernel learning,MKL)在视觉语义概念检测中有广泛应用,但传统多核学习大都采用线性平稳的核组合方式而无法准确刻画复杂的数据分布.本文将精确欧氏空间位置敏感哈希(Exact Euclidean locality sensitivehashing,E2LSH)算法用于聚类,结合非线性多核组合方法的优势,提出一种非线性非平稳的多核组合方法-E2LSH-MKL.该方法利用Hadamard内积实现对不同核函数的非线性加权,充分利用了不同核函数之间交互得到的信息;同时利用基于E2LSH哈希原理的聚类算法,先将原始图像数据集哈希聚类为若干图像子集,再根据不同核函数对各图像子集的相对贡献大小赋予各自不同的核权重,从而实现多核的非平稳加权以提高学习器性能;最后,把E2LSH-MKL应用于视觉语义概念检测.在Caltech-256和TRECVID2005数据集上的实验结果表明,新方法性能优于现有的几种多核学习方法.

基于视觉语义概念的暴恐视频检测

暴恐视频在互联网的传播严重威胁着社会稳定与安全,对暴恐视频进行检测充满技术挑战。文章创建了用于评价暴恐视频检测算法性能的暴恐视频数据集,对数据集进行了语义概念和视频两个层面的标注。研究了基于灰度直方图、颜色直方图、颜色矩、局部二值模式及梯度方向直方图等特征描述子和支持向量机及极限学习机的视觉语义概念检测,针对不同的视觉语义概念通过仿真实验确定了最佳特征与分类器组合方式及相应参数设置。提出了基于灰度质心的视频关键帧提取方法,利用帧间相似性和视频序列相似性判别完成镜头突变和渐变判别,完成视频关键帧的提取。基于视觉语义概念和视觉语义概念词袋构建暴恐视频词频特征,使用支持向量机和视觉语义词频特征完成了暴恐视频内容的检测,并通过实验验证了该方法的可行性。

基于多模态融合的视频语义概念检测

多个内核的学习方法已被广泛用于在视觉概念学习中。BoVW方法的目的是利用可视化数据表使解决问题的时间效率降低,它是真正的人类感知。在文章中,我们提出了一种新的多模态融合的视频搜索方式,搜索方式是从一组不同的知识来源,探讨一个大组预定义的语义概念的多模态融合的权重计算的一种新方法。实验结果验证了我们的方法,优于现有的多模态融合方法。