计算机视觉中高阶能量项的优化

如何极小化含高阶项的能量代价函数,近2年引起了计算机视觉界的高度重视,相关工作在计算机视觉三大国际会议(ICCV,ECCV,CVPR)及主流刊物上有不少报道.文中对此进行了一些简单介绍,以期对读者有一些帮助.

动态外观模型和高阶能量的双边视频目标分割方法

针对复杂场景下视频目标分割质量不佳和时间效率低下的问题,提出了一种动态外观模型和高阶能量的双边视频目标分割方法,将视频目标分割转换为基于双边网格单元的马尔可夫随机场(MRF)模型求解问题。首先将带关键帧标记的视频序列映射至高维的双边网格,极大地减少待处理的数据。然后以非空网格单元作为图的结点并构建图割优化模型,其关键在于定义了具有置信度判别的动态外观模型,并在能量函数中引入鲁棒的高阶能量项。最后利用最大流/最小割算法进行全局优化求解,为视频像素点分配二值标签,最终获得高质量的视频目标分割结果。采用DAVIS 2016和SegTrack v2数据的实验结果表明,该方法在提供少量用户交互的情况下,不仅能在处理具有复杂场景的视频时获得理想的视频目标分割结果,而且还能显著提高视频目标分割的时间效率。

基于高阶CRF模型的图像语义分割

图像语义分割方法大多基于点对条件随机场模型,不能定位到单个目标,并且难以利用全局形状特征,造成误识。针对这些问题,提出一种新的高阶条件随机场模型,将基于全局形状特征的目标检测结果和点对条件随机场模型统一在一个概率模型框架中,同时完成图像分割、目标检测与识别的任务。利用目标检测器和前背景分割算法获取图像中目标区域,在目标区域上定义新的高阶能量项。新的高阶条件随机场模型就是高阶能量项和点对条件随机场模型的加权混合模型,其最优解即为图像语义分割结果。在MSRC-21类数据库上进行的实验验证了该模型能够显著提升图像语义分割性能,并定位到单个目标。