基于光场成像的多线索融合深度估计方法

在计算机视觉领域,传统的深度估计方法通常基于单个或多个摄像机拍摄的二维图像实现,忽略了光线的方向信息,获取的深度图精确性较差.以Raytrix、Lytro光场相机为代表的新型计算成像设备,能够在一次曝光中同时获取光辐射的空间分布及方向信息,为基于图像的深度估计提供了更多几何依据和线索.近年来,结合微透镜光场相机成像模型的多深度线索融合思想,成为探求深度估计问题的新导向.与基于单一深度线索的深度估计方法相比,当前的多线索融合方法取得了更准确的深度估计效果,然而,尚不能保持对噪声和遮挡的鲁棒性.为此,本文基于光场成像几何提出了一种考虑遮挡并对噪声鲁棒的多线索融合深度估计方法.首先,在借鉴人类视觉多线索优势差异的研究成果基础上,选择对噪声不敏感的聚焦线索和准确度较高的对应线索作为深度估计的依据;接着,针对微透镜光场相机成像模型,剖析聚焦、对应两种深度线索的几何特性,阐明了焦点堆栈轮廓曲线的局部对称性以及EPI图像上直线斜率与深度的比例关系,进一步分析并证明了存在遮挡的情况下,分别由焦点堆栈和中心子孔径图像生成的两类轮廓曲线之间仍存在一致性;随后,基于这些几何特性,构建了考虑遮挡和噪声影响的度量标准;然后,建模深度估计为多标签优化问题,将度量标准构造成最小化能量函数,以图割法求解得最优深度估计.在实验环节,本文首先对模型参数做Ablation分析:单独考虑对称性、一致性、对应线索的其中之一,或组合考虑两种或全部分别进行实验,结果表明综合考虑多种性质时本文方法效果最好.另外,分别在合成光场数据集和真实场景光场数据集上测试本文及相关文献的深度估计方法,实验结果表明本文深度估计方法准确度较高,对遮挡边缘的细节处理有效,且能够保持对噪声的鲁棒性.

基于多线索融合的抗遮挡目标跟踪算法

根据多线索融合的思想,提出了一种鲁棒的抗遮挡目标跟踪算法.采用基于核密度椭圆的二值形状模板和颜色直方图模板作为跟踪线索,引入目标可视度来评价目标遮挡时颜色线索和形状线索的可信度,自适应地融合两者的信息得到最终观测模型,在粒子滤波器的框架下对目标进行跟踪.实验结果表明,在遮挡情况下,本文算法比传统的基于单一线索的算法有更好的鲁棒性.

基于多线索融合的目标跟踪算法及其在DM3730上的实现

研究了一种基于多线索融合的目标跟踪算法并在TIDM3730上实现。该算法结合在线AdaBoost和颜色目标跟踪算法,选用Haar小波和核颜色直方图两种特征类型,利用粒子的状态散度矩阵的行列式对这两种不同类型的特征进行融合,实现了对所选定目标的鲁棒跟踪。分析及实验结果表明,与传统的基于单一特征的目标跟踪方法相比,本算法融合了两种不同类型特征的互补性,在具有挑战性的复杂环境下,例如目标遮挡,旋转以及光照变化等,都有更好的跟踪效果。

面向人体运动视觉跟踪的多线索融合算法

为了跟踪人体的运动轨迹,结合人体运动图像的颜色特征、预测目标位置特征和运动连续性特征,提出一种面向视觉跟踪的多线索融合算法.该算法采用连续自适应均值漂移技术,其中,颜色特征采用色调和饱和度特征、红色信道特征、绿色信道特征以及蓝色信道特征,对于遮挡和位姿的改变实现了较好的鲁棒性;预测目标位置特征利用帧差技术实现;运动连续性特征根据帧间连续性完成.实验结果表明,文中算法比单一线索的算法更加鲁棒,取得了比协作均值漂移跟踪算法更好的跟踪效果,并可以处理目标被部分遮挡、目标环境的颜色饱和度较低等情况.

基于多线索融合的目标跟踪算法研究

目标跟踪是计算机视觉领域一项核心技术,通用的目标跟踪算法以单线索或简单融合多个线索为主,当背影突然改变时,单一线索或多个线索的简单融合便难以跟踪成功。针对这个问题,在粒子滤波的框架下提出了自适应融合颜色线索和角点线索的跟踪方法,通过判断各个线索的可信程度,自适应给不同线索分配不同的权重,很好地解决了在复杂背景、互相遮挡情况下的跟踪问题。实验证明,采用的自适应多线索融合方法在实际应用中有更强的鲁棒性。

基于光场分析的多线索融合深度估计方法

受人类视觉深度感知机理的启发,结合最近光场分析理论的进展,文中提出了一种融合多种深度线索的全局一致深度估计方法.该方法首先利用摄像机阵列获取光场数据,然后通过合成孔径成像方法获得指定深度的重投影光场,并从中提取表征深度变化不同维度的模糊与视差线索.接着文中采用光场分析方法对比了模糊与视差线索的适用情况,设计了多深度线索的融合算法,以实现不同深度线索的优势互补.进而为了获得精确一致的深度结果,文中在马尔可夫随机场模型的基础上,提出了一种自适应平滑约束的全局能量函数.最终,文中利用图割算法最小化全局能量函数,获得了平滑的高精度深度估计结果.文中分别在虚拟数据和真实数据上测试了所提出的方法,与单一深度线索和局部深度估计方法相比,文中方法能结合不同深度线索的优势并获得更加鲁棒的深度结果.

多线索融合的无视野重叠跨摄像机行人跟踪算法

针对单个摄像机视野有限而无法满足日益扩大的监控范围的现象,对无视野重叠的跨摄像机行人跟踪算法进行了研究,并提出了一种融合时空线索和外观线索的无视野重叠跨摄像机行人跟踪算法。在对已有摄像机网络拓扑结构估计算法分析的基础上提出了一种基于加权时间窗口的无视野重叠摄像机网络拓扑结构估计算法;然后利用朴素贝叶斯完成两种线索融合,实现不同摄像机间行人匹配和跟踪信息的传递,最终实现无视野重叠区域的跨摄像机行人跟踪。该算法在公开的MCT数据集上进行对比实验并取得了优于其他算法的结果。

自适应分块多线索融合粒子滤波跟踪方法

多线索融合是解决复杂情况下跟踪问题的有效手段,为此提出一种基于自适应分块目标模型的多线索融合粒子滤波跟踪方法.根据目标颜色分布自适应分块建立目标描述模型,可提高对目标初始描述的适应性;采用多线索融合粒子滤波跟踪,在跟踪过程中能根据子块可靠程度动态调整权重,提高对剧烈光照变化、目标姿态变化、遮挡等复杂情况的适应性.实验结果表明,所提出的跟踪方法在多种复杂情况下能准确有效地跟踪目标.

基于多线索融合的非刚体目标精确跟踪

为实现非刚体目标精确跟踪,克服跟踪过程中目标形状变化和遮挡带来的困难,提出了一种基于多线索融合的跟踪算法。首先,对目标样本集做PCA(principal component analysis)降维,得到目标形状信息在低维空间的表达;然后,把目标形状特征、颜色统计特征与图像边缘特征以水平集能量函数的形式嵌入到粒子滤波观测模型中;最后,对3种特征采用不同生存周期的更新策略以提高跟踪算法的鲁棒性。实验结果表明:该算法可以在非刚体目标形状变化以及被遮挡的情况下,对目标精确跟踪。

基于多线索概率分布图像融合的目标跟踪

为了克服多线索目标跟踪中固定线索权值的不足,提出采用颜色、运动历史、视觉显著性等多种概率分布图像来描述目标的观测信息,通过目标在前一帧的位置确定中心区域和周边区域,并计算不同概率分布图像基于这两个区域的直方图,即中心直方图和周边直方图.每个概率分布图像的置信度由其中心直方图和周边直方图的差异度来描述.根据不同线索的置信度,在线调节当前帧各种概率分布图像在目标位置判断中所占的权重,实现对目标的多线索融合跟踪.实验结果表明,比常用的固定线索权值的融合算法效果更好.

基于序贯蒙特卡罗的多线索目标跟踪算法

颜色直方图对噪声和部分遮挡不敏感,当背景颜色与目标颜色相近时,会影响跟踪效果。本文提出一种有效的基于多线索融合的序贯蒙特卡罗图像序列跟踪方法,采用颜色直方图和边缘直方图与序贯蒙特卡罗算法结合起来进行视频跟踪。颜色直方图和边缘直方图一起构建目标观测似然函数。在序贯蒙特卡罗方法的框架下,采用观测模型函数获取图像序列中目标位置的后验概率分布。实验结果表明,结合图像颜色与边缘特征,在序贯蒙特卡罗的框架下可以取得更为有效和稳健的跟踪效果。

遮挡场景的光场图像深度估计方法

光场相机通过单次拍摄可获取立体空间中的4维光场数据,利用光场的多视角特性可从中提取全光场图像的深度信息.然而,现有深度估计方法很少考虑场景中存在遮挡的情况,当场景中有遮挡时,提取深度信息的精度会明显降低.对此,提出一种新的基于多线索融合的光场图像深度提取方法以获取高精度的深度信息.首先分别利用自适应散焦算法和自适应匹配算法提取场景的深度信息;然后用峰值比作为置信以加权融合两种算法获取的深度;最后,用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波,得到高精度深度图.合成数据集和真实数据集的实验结果表明,与其他先进算法相比,所提出的算法获取的深度图精度更高、噪声更少、图像边缘保持效果更好.