Fusion of visible and thermal images for facial expression recognition

Most present research into facial expression recognition focuses on the visible spectrum, which is sen- sitive to illumination change. In this paper, we focus on in- tegrating thermal infrared data with visible spectrum images for spontaneous facial expression recognition. First, the ac- tive appearance model AAM parameters and three defined head motion features are extracted from visible spectrum im- ages, and several thermal statistical features are extracted from infrared （IR） images. Second, feature selection is per- formed using the F-test statistic. Third, Bayesian networks BNs and support vector machines SVMs are proposed for both decision-level and feature-level fusion. Experiments on the natural visible and infrared facial expression （NVIE） spontaneous database show the effectiveness of the proposed methods, and demonstrate thermal 1R images＇ supplementary role for visible facial expression recognition.

基于多特征的红外与可见光图像融合

针对传统图像融合方法易导致融合图像整体对比度低及细节反差小的问题,提出一种多特征加权多分辨率图像融合方法。首先,对多尺度分解后的低频系数进行边缘特征、平均梯度特征的提取,同时对高频系数进行相关信号强度比特征的提取。然后,通过边缘特征级融合指导像素级图像融合得到高频系数;针对合成模块中简单加权法易引起边缘或纹理局部模糊的问题,提出分两种情况分别合成同一位置的多尺度分解系数。最后,通过平均梯度特征自适应加权得到融合图像的低频系数,并对低频和高频系数进行多尺度逆变换得到融合图像。实验表明,本文方法的融合性能优于经典的融合方法,其融合质量评价指标中的标准差、空间频率、信息熵和平均梯度分别提高了15.12%、4.30%、6.15%和3.44%。

基于YUV空间的双通道视频图像色彩传递及实时系统

研究基于YUV空间的双通道黑白视频图像彩色融合与传递方法,建立以TM1300为核心的实时系统.用2片TM1300分别对双通道图像进行预处理,计算图像均值和方差.用第3片TM1300在YUV空间将双通道图像融合为彩色图像(源图像),再将其分量根据白天光照下彩色参考图像与源图像的标准方差比进行缩放,把参考图像的色彩和亮度分布传递给源图像.实验结果表明,算法在易于实时处理的同时获得了与白天图像类似的自然色彩效果.

彩色夜视成像处理算法的新进展

彩色夜视成像技术是当前国内外重点发展的关键技术之一,介绍了彩色夜视成像处理算法的分类、特点及其研究进展,分析了国外一些彩色夜视系统,并重点介绍了笔者在自然感彩色夜视算法及自然感彩色夜视成像系统方面的研究进展。

基于拮抗视觉特性的多波段彩色夜视融合方法研究

以差分高斯函数(DOG)模拟人眼视网膜中的同心圆拮抗特性,分析了基于DOG的ON-中心OFF-周边分离网络(CSSN)平衡方程,发现其有增强反差、突出边缘和压缩动态范围的特点.将CSSN平衡方程应用于夜视图像的增强与融合,取到了保留图像间共有信息、增强互补信息的作用.提出了以CSSN平衡方程为基础的多种彩色夜视融合结构,包括双波段微光、微光/长波红外、中/长波红外、微光/中/长波红外,其中的彩色映射规则用色彩的冷暖突出红外图像的冷热目标、细节丰富的微光图像作为绿色背景.仿真结果表明,这些融合结构均获得了色彩自然的彩色融合效果.

基于红外图像和普通图像对比的高速公路可视度分析

高速公路可视距离的实时检测对于低能见度预警保证行车安全具有重要意义,本文旨在建立一种专门应用于高速公路的可视距离检测模型.由此提出可视度概念,并创新性地通过普通图像和红外图像的像素点的比值来反映实际可视距离,进一步建立可视度推算模型.同时为减小温度对红外图像影响,提出并推导了温度修正系数;为减小仪器成像质量差异引入了相机修正系数,有效提高了模型的计算精度.根据离摄像机位置不同距离范围内像素点的累计百分比,建立可视度查阅表.现场试验结果表明:本文提出的可视度分析模型预测结果相对误差小于11%,该可视度模型能够在低能见度环境下准确判断可视距离,可以有效提高高速公路驾驶安全.

多层级及对比度提升的红外和可见光图像融合

提出了一种针对红外和可见光图像的有效融合算法。首先,在Petrovi觬多层级图像融合体系的基础上,在特征级信息中加入高频边缘分量,提高了融合质量;其次,分析了图像特点及目标的物理特性,提出了针对融合结果的对比度提升方法,进一步了提高融合质量。通过主观观察以及客观指标对比证明,该方法获得了优于其他比较方法的融合结果,并且对比度提升方法明显提高了各类方法的红外和可见光图像融合质量,效果好,具有广泛的适用性。

利用NSCT域邻域特性区域化方法融合红外与微光图像

针对同一场景的红外与微光(可见光)图像融合问题,提出了一种利用邻域特性区域化处理的非下采样Contourlet变换(NSCT)融合方法.首先,对红外和微光源图像进行多尺度、多方向分解;然后对低频系数采用邻域能量上改进的区域化加权融合规则,高频系数采用邻域能量区域化匹配的系数选择方案与邻域方差上的区域方差取大融合规则;最后利用NSCT反变换进行重构得到融合图像.实验结果表明,本文方法信息熵略低于亮度过度增大的参考文献中的方法,由于传统方法引入虚假细节信息导致空间频率略高于所提方法,但其互信息与边缘保持度(Q)指标值较好,其融合图像整体效果优于对比方法.本文方法在保留源图像主要信息及捕捉细节信息方面效果显著,且融合的图像具有较好的视觉效果.

利用多尺度区域权重的红外可见光图像融合

针对红外、可见光图像融合,提出了一种利用多尺度区域权重的方法,获得既具有良好视觉效果又能保留和继承特征细节的融合结果。首先,通过改变平滑滤波的参数构建多尺度分解,获得一系列具有不同细节的双波段图层;其次,基于每一图层生成区域权重图,实现双波段图层融合;最后,利用适当的系数对融合后的图层进行合成,获得最终的融合结果。通过对比实验结果的主客观评价分析,证明此方法能够产生最佳视觉效果的融合图像,能保留和突出原始双波段图像中的细节与特征,并能获得最佳的客观评价指标。

基于多源数据融合的多层次轨道交通网络客流量监测方法

在智能交通领域,客流量监测是一个研究热点,所获数据对于交通资源的适时调度与合理配置等有着重要的指导意义。现有的轨道交通客流量监测方法存在预测性较强,监测结果不够准确的问题,设计基于多源数据融合的多层次轨道交通网络客流量监测方法,实现较大客流量下的轨道交通网络客流量监测。在多层次轨道交通网络中大量布设高清网络摄像机与红外线摄像机以采集客流量监测图像。对于所采集的两种外图像,设计基于图信号稀疏表示的图像去噪算法,对其实施去噪处理。设计基于DPM模型的行人检测算法,实施可见光图像与红外图像的行人运动目标检测。对于两种图像的检测结果,设计基于密集交叉网络的多源数据融合算法,实施多源数据融合与计数,实现多层次轨道交通网络客流量监测的目的。测试结果表明,该方法的高铁网、城际轨迹网、市郊铁路网、城市轨道网客流量监测误差分别为44人、40人、19人、4人,客流量监测误差均较低。