融合人体全身表观特征的行人头部跟踪模型

现有的行人多目标跟踪模型在密集场景下存在行人无法检出以及帧间关联混淆的问题。为了提高密集场景下行人跟踪的精确率,提出一种融合全身表观特征的行人头部跟踪模型HT-FF(Head Tracking with Full-body Features)。首先,使用行人头部检测器替代全身检测器,提高密集场景下行人的检出率;其次,利用人体姿态估计的信息为引导,获得去噪声的全身表观特征作为跟踪线索,大幅减少多帧之间关联时发生的混淆。HT-FF模型在密集场景下行人跟踪的基准数据集Head Tracking 21(HT21)上的MOTA(Multiple Object Tracking Accuracy)和IDF1(ID F1 Score)等多个指标上取得了最优的结果。HT-FF模型能有效缓解密集场景下行人跟踪丢失和混淆的问题,所提出的融合多线索的跟踪模型是行人跟踪任务的新范式。

板栗种实生长发育中营养物质积累及动态模型建立

为了揭示板栗种实生长发育过程中营养物质及形态指标的动态变化规律,以10年生南方优良板栗品种蜜蜂球为研究对象,通过测定板栗种实生长发育期间果实中淀粉、还原糖、可溶性总糖、蛋白质、脂肪以及果实纵径、横径、单果重、体积等指标,建立板栗果实的生长发育模型。结果表明,果实中营养物质的积累与果实生长天数间的关系符合多项式方程,果形指数变化与果实生长天数间的关系符合Logistic方程。在板栗种实生长发育过程中,果实中的糖类与淀粉发生了相互转化;在整个生长发育期,果实营养物质含量及果形指数均呈规律性变化,并且两者间具有显著的相关性。本研究结果为板栗栽培确定合理的田间管理措施、指导合理施肥、获得优质果品提供了数据支撑。

图像色貌模型的研究及应用

iCAM是新推出的一种色貌模型,其目的是将传统色貌模型、视觉的空间特性、色差公式、图像质量评价及图像处理功能融合在一个简单的色貌模型中,以适用工业应用的需要。介绍了传统色貌模型的局限,iCAM的基本框架以及它在实际应用中的表现。

基于引导滤波的iCAM06色调映射算法

高动态范围图像原始数据在获取和合成过程中会出现异常值,进而影响色调映射后的低动态范围图像显示效果。为了解决此问题,提出了一种基于图像引导滤波的图像色貌模型(iCAM06)色调映射算法。该算法使用具有较强平滑作用的引导滤波代替双边滤波,将输入数据分成细节层和基本层,分别对细节层和基本层进行处理。为了使映射后的图像更加符合人眼感知效果,对色适应矩阵CAT02进行了调整。实验结果表明,与相关算法相比较,该算法减少了由于数据异常造成的显著噪声点,避免了伪影和偏色现象,使细节得到了较好的保持。信息熵、方差和清晰度等客观指标也证明了该算法的有效性。

基于人工神经网络动态标定算法的低成本视线追踪系统

针对视线追踪系统成本高、标定算法复杂的问题,研究了一种低成本视线追踪系统.系统采用低成本网络摄像头,采集到的图像首先采用Haar-like特征与肤色结合算法来进行人脸检测,并利用主动表现模型算法和光流法定位并跟踪人脸特征点;然后利用梯度向量法进行瞳孔中心检测;为了提高系统精度和鲁棒性,提出了一种人工神经网络的动态标定算法.实验表明,视线追踪系统不仅具有很好的鲁棒性,而且具有较高的精度,在头部静止的情况下平均误差为1.34°,在头部运动的情况下平均误差为3.26°.

基于空间分布特征的人体动作动态建模识别

人体动作的表面特征和动态特征无统一性描述,导致无法精确地区分人体动作.文中提出基于空间分布特征的人体动作动态建模识别方法(DMRSD).利用相对极坐标划分特征的空间区域,统计局部区域非零信息点数目,形成空间分布特征描述表面特征.然后利用自回归滑动平均动态模型建模空间特征序列,形成模型参数特征描述动态时间结构特征.最后通过各参数特征的相似矩阵线性关系假设,结构融合表面特征和动态运动特征,形成统一性描述特征.用最近邻识别人体动作.在Weizmann和KTH库中比对当前方法的识别结果,文中方法获得较好的识别性能.

基于AAM和光流法的动态序列表情识别

为获得人脸表情变化过程的动态信息,提高表情特征点在动态序列中跟踪的准确性,提出将主动表观模型与高斯金字塔Lucas-Kanada光流法相结合的表情识别方法。构造中性表情的基本主动表观模型,得到中性表情帧中的表情特征点,在动态序列中用高斯金字塔Lucas-Kanada光流法跟踪这些表情特征点,获得表情动态变化信息作为人脸表情特征,用支持向量机方法进行表情分类。在Cohn-Kanade+人脸表情数据库进行实验,实验结果表明,该方法能有效提高人脸表情识别的准确率。

基于动态时间规整和主动外观模型的动态表情识别

针对静态表情特征缺乏时间信息,不能充分体现表情的细微变化,该文提出一种针对非特定人的动态表情识别方法:基于动态时间规整(Dynamic Time Warping,DTW)和主动外观模型(Active Appearance Model,AAM)的动态表情识别。首先采用基于局部梯度DT-CWT(Dual-Tree Complex Wavelet Transform)主方向模式(Dominant Direction Pattern,DDP)特征的DTW对表情序列进行规整。然后采用AAM定位出表情图像的66个特征点并进行跟踪,利用中性脸的特征点构建人脸几何模型,通过人脸几何模型的匹配克服不同人呈现表情的差异,并通过计算表情序列中相邻两帧图像对应特征点的位移获得表情的变化特征。最后采用最近邻分类器进行分类识别。在CK+库和实验室自建库HFUT-FE(He Fei University of Technology-Face Emotion)上的实验结果表明,所提算法具有较高的准确性。

基于图像色貌模型的高动态影像显示技术研究

目的研究高动态影像(HDR)在低动态范围显示设备上的高保真显示问题。方法采用图像色貌模型(iCAM)设计高动态影像的再现技术框架,并使用C++语言搭建软件实现系统,通过计算机测试平台对输入图片进行了实证,算法重点是处理影像的明视度。结果显示图像的动态范围被拓展10%以上,色差小于1.6ΔE*ab,图像细节得到了加强,基本达到了高动态影像高保真显示的要求。结论可利用iCAM框架来实现高动态影像在常规显示设备上高保真显示的问题,具有重要的理论意义与技术价值。

航空港外观VI重建系统设计

针对基于三维虚拟技术的航空港外观系统设计方法以虚拟现实技术获取的航空港外观数据实施外观系统设计,所构建航空港的外观模型粗糙,提出新航空港外观VI重建系统设计方法。基于VI的激光准直测量结构及原理,获取航空港外观粗糙的动态形变结果,激光准直光束标定通过在固定靶板上实施标准刻度划分获取精确的航空港外观动态形变结果;在此基础上根据三维激光数据构建航空港外观的整体点云模型,根据点云模型生成三角网模型,融合点云模型和三角网模型,将航空港复杂位置处构建为三角模型,结构规则处构建为点云模型,实现对航空港外观实体模型的重建。实验结果表明,所提设计方法对航空港外观重建效果佳,实际应用效果佳。

基于强跟踪滤波器预测的主动表观模型人脸特征点跟踪

利用主动表观模型(AAM)可以对视频序列中人脸进行特征点定位,当目标对象与初始位置偏离过大时,就会使拟合过程陷入局部最小,使迭代无法收敛到正确位置,造成定位失败。针对此问题,提出了一种基于强跟踪滤波器(STF)预测的AAM(STF-AAM)人脸特征点跟踪方法。首先,将视频中头部运动看成动态系统,然后利用强跟踪滤波器对其进行预测跟踪,从而找到每一帧的拟合初始位置并进行拟合运算。由于视频序列中每一帧中的拟合初始位置都能被快速找到,从而取得了比较精确、快速的跟踪结果。实验结果表明,所提方法与传统方法相比在保证拟合精度的同时,提高了算法的跟踪定位速度。

一种改进图像色貌模型的高动态范围视频色调映射新方法

针对当前色调映射(Tone Mapping)不能精确地显示出高动态范围(High Dynamic Range,HDR)视频内容,且易出现帧间闪烁现象的问题,本文提出了一种针对HDR视频到低动态范围(Low Dynamic Range,LDR)视频的色调映射新方法。首先,考虑HDR视频的内容复杂性和颜色多样性,改进了一种基于图像色貌模型(Image Color Appearance Model,i CAM)和分层模型的视频色调映射方法;然后,为了使色调映射后的视频能够保留HDR视频中更多的结构和细节,在分层后的基础层操作部分引入了亮度直方图自适应调整和对比度调整的概念;最后,考虑图像色调映射算法会造成视频连续帧之间发生整体亮度突变的问题,提出了亮度均值调整的方法用以改善视频帧间闪烁的现象。主客观实验测试结果表明,所提出的方法产生的LDR视频有更好的视觉质量,不但保持了良好的结构纹理信息,而且具有较好的色彩保真度,与HDR视频的感知一致性更好,较传统的图像色调映射方法能有效压制闪烁现象。

动态外观模型和高阶能量的双边视频目标分割方法

针对复杂场景下视频目标分割质量不佳和时间效率低下的问题,提出了一种动态外观模型和高阶能量的双边视频目标分割方法,将视频目标分割转换为基于双边网格单元的马尔可夫随机场(MRF)模型求解问题。首先将带关键帧标记的视频序列映射至高维的双边网格,极大地减少待处理的数据。然后以非空网格单元作为图的结点并构建图割优化模型,其关键在于定义了具有置信度判别的动态外观模型,并在能量函数中引入鲁棒的高阶能量项。最后利用最大流/最小割算法进行全局优化求解,为视频像素点分配二值标签,最终获得高质量的视频目标分割结果。采用DAVIS 2016和SegTrack v2数据的实验结果表明,该方法在提供少量用户交互的情况下,不仅能在处理具有复杂场景的视频时获得理想的视频目标分割结果,而且还能显著提高视频目标分割的时间效率。

基于状态异步DBN的语音驱动面部动画合成

提出一种基于状态异步动态贝叶斯网络模型(SA-DBN)的语音驱动面部动画合成方法。提取音视频语音数据库中音频的感知线性预测特征和面部图像的主动外观模型(AAM)特征来训练模型参数,对于给定的输入语音,基于极大似然估计原理学习得到对应的最优AAM特征序列,并由此合成面部图像序列和面部动画。对合成面部动画的主观评测结果表明,与听视觉状态同步的DBN模型相比,通过限制听觉语音状态和视觉语音状态间的最大异步程度,SA-DBN可以得到清晰自然并且嘴部运动与输入语音高度一致的面部动画。

基于时序融合策略的深度卷积网络动态表情识别

静态表情识别是对单一图像进行特征提取及学习训练,相比于动态表情识别缺少表情变化的时间动态信息。为利用上表情在时间上的变化特征,提出基于时序融合策略的深度网络动态表情识别方法。首先分析动态表情变化"平静-高峰"的过程,利用主动外观模型(AAM),定义峰值距离(PD)和相邻距离(ND),利用两个参数对表情序列进行筛选,除去中性及表达不明显的表情;采用连续4帧序列作为输入,并使用3个VGGFace深度卷积网络分别对输入进行训练,通过构建分类损失函数和排序损失函数将3个网络关联起来,从而达到融合表情序列时间信息的目的;最后通过CK+数据库实验验证表明,所提方法结合了深层次卷积网络特征提取的能力以及表情变化信息融合的优势,对比近年表情识别算法,在识别率上具有较强的优势。

基于改进异步DBN模型的听视觉融合情感识别

提出了一个改进的三特征流听视觉融合异步动态贝叶斯网络情感模型(VVA_Asy DBN),采用面部几何特征(GF)和面部主动外观模型特征(AAM)作为两个视觉输入流,语音Mel倒谱特征(MFCC)作为听觉输入流,且视觉流的状态和听觉流的状态可以存在有约束的异步。在e NTERFACE’05听视觉情感数据库上进行了情感识别实验,并与传统的多流同步隐马尔可夫模型(MSHMM),以及具有两个听觉特征流(语音MFCC和局域韵律特征LP)和一个视觉特征流的听视觉异步DBN模型(T_Asy DBN)进行了比较。实验结果表明,VVA_Asy DBN获得了最高识别率75.61%,比视觉单流HMM提高了12.50%,比采用AAM、GF和MFCC特征的MSHMM提高了2.32%,比T_Asy DBN的最高识别率也提高了1.65%。

基于场景语义先验和全局外观一致性的运动目标检测

在摄像机固定的视频监控中,动态背景下的运动目标检测是一个非常有挑战的基础问题。本文提出一种鲁棒的运动目标检测方法。首先,为有效利用场景区域的先验信息,把事先定义的语义区域信息融合到ViBe算法中,消除一些特定语义区域中的动态背景干扰。其次,根据改进的ViBe算法的结果估计背景和前景的全局外观GMM模型,利用该模型对每个像素进行进一步的分类,从而通过全局外观模型去除一些错误的检测结果。最后,使用超像素对结果进行后期处理,得到更加精确的检测结果。实验结果表明,本文方法在检测有强烈动态背景干扰的监控视频时,远远超过了其他的运动目标检测方法。

一种基于CIE CAM16色貌模型的高动态范围图像颜色恢复方法

HDR图像经过压缩与分层处理后会改变它的亮度和纹理信息,使得HDR图像与最初图像的亮度分布比例出现偏差。为了保证图像处理前后的显示效果相近,需要对图像的颜色进行恢复处理。研究了在传统的基于图像色貌模型颜色恢复方法的基础上进行改进,通过引入最新的CIE CAM16色貌模型对图像进行色适应转换,有效地改善了HDR图像映射处理过程中的色貌偏移问题。

一种基于图像色貌模型和分层模型的色调映射算法

针对目前高动态范围(HDR,high dynamic range)图像色调映射算法存在效率低、效果欠佳的问题,提出了一种基于色貌模型和分层模型的色调映射算法。首先,通过将高斯核离散化的方法加快双边滤波;其次,在RGB空间阶调压缩解决偏色问题;最后,对Stevens效应下的细节层增强效果进行调整并对色彩饱和度增强,使映射后的图像细节丰富,更加逼真。对比经典算法,不同场景的大量实验结果显示,主观质量和客观指标均有所提高,与原始算法相比,本算法计算效率提高了6倍以上,图像的熵平均提高0.046,清晰度平均提高0.159,边缘保持度平均提高1.811。在主观效果上,减少了偏色和光晕等现象,同时细节表现更清晰,色彩更丰富自然,分析表明,本文提出的色调映射算法在高效、高视觉质量显示方面具有明显的优势,可用于高级图像编辑、显示设备开发领域。

HDR图像阶调复制的非线性蒙版改进算法

提出了一种新的高动态范围(high dynamic range,HDR)图像阶调复制算法。鉴于图像色貌模型在预测图像色貌方面的优势,基于最新的图像色貌模型iCAM06设计流程,对iCAM06的阶调压缩函数进行重要改进,使用基于改进非线性蒙版的阶调压缩函数取代其中的双曲线压缩函数,对基础层图像进行阶调压缩处理。另外,在HDR图像的显示过程中增加了亨特效应和史蒂文斯效应预测模型。最后,利用主观评价实验和DRI模型分别评价了新算法的显示偏好性和场景复制准确性。实验结果表明,无论在偏好性还是场景复制准确性上,新算法都取得了较好的效果。