基于YOLOv5s微光环境下的多模态识别网络

近些年来,在目标检测以及图像分割等领域涌现了许多先进的算法。在能见度较差的微光场景下如夜晚、大雾天气等场景中,视频图像具有像素声高、对比度低、无彩色信息等特点,算法的检测性能受到明显限制。与目前主流的RGB相机相比,毫米波雷达对上述复杂环境具有一定的免疫能力,可以在不利条件下辅助RGB相机进行目标检测工作。以单阶段目标检测器中实时性较高的YOLOv5s为基础,结合毫米波雷达的特性,提出了用于微光环境下目标检测的多模态识别网络。与现有的传感器融合方法相比,多模态识别网络有几个关键优势。系统以基于学习的方式融合了2种模态,只需要少量新场景的标记图像和雷达数据,因为其可以充分利用已经开源的大型图像数据集进行大批量的训练。这一突出特性使新系统能够适应高度复杂的现实环境。由于使用了高度计算效率的融合方法,系统是非常轻量级的,因此适用于各个复杂场景下的实时应用。为了评估系统的性能,制作了一个小批量的雷达和摄像机融合数据集,包含普通光照和不同强度微光光照条件下的多模态数据。实验结果表明,微光场景下多模态识别网络的平均精度达到76.6%,相比Faster R-CNN算法和YOLOv7算法,全类平均精度(mean Average Precision,mAP)提高了16.8%和9.3%,且误检、漏检率低,达到了在微光环境下完成目标检测任务的要求。

基于改进图像增强的低照度场景视觉惯性定位方法

为提升视觉惯性导航系统在低照度场景下的定位精度,提出一种结合图像增强技术的视觉惯性定位方法。根据不同曝光图像的直方图确定相机响应模型,通过曲线拟合确定模型参数。利用非线性优化得到低照度图像的照明图以及曝光率矩阵,根据相机响应模型对低照度图像进行预处理。使用光流法进行特征追踪,将视觉误差、IMU误差以及先验误差作为约束,构建紧耦合优化模型,从而实现更精确的位姿估计。最后使用车载设备采集的真实数据对所提方法进行了评估,实验结果表明:所提方法能有效提升视觉惯性导航系统在低照度场景下的定位精度,相比于无图像增强的方法,定位精度提高了25.59%;相比于改进前的图像增强方法,定位精度提高了6.38%。

面向舞台场景的改进Retinex低照度图像增强

针对舞台场景拍摄亮度动态范围受限问题,提出一种基于改进Retinex算法的舞台低照度增强方法。先对舞台场景的低照度图像采用改进的Retinex算法进行增强处理,得到整体增强后图像。将原图与增强后图像进行融合,处理掉过度增强和不需要增强的背景区域,得到最终图像。其中,改进的Retinex算法采用高斯-拉普拉斯高通滤波先求出反射分量后求出光照分量,解决反射分量细节丢失的问题。然后对反射分量进行对比度和细节增强处理,再与光照分量相乘得出增强后图像。本方法在软件平台验证的基础上进行FPGA硬件平台验证。实验结果表明,与其他经典方法相比,本方法在不同的舞台场景,尤其是明暗差距较大的舞台场景上,视觉效果明显,峰值信噪比(PSNR)平均提高了57.06%,结构相似性(SSIM)平均提高了27.34%。处理后的图像还原了舞台的真实亮度动态范围,并且色彩饱和度较好自然不失真,保证了较好的图像质量。

图像增强对低光照场景语义分割影响研究

在低光照环境下获取的图像通常会出现图像亮度低、颜色失真、细节信息丢失以及对比度低等问题。为了满足主观视觉体验的需求,往往会对图像进行增强处理。然而,图像增强对机器视觉应用性能的影响缺乏系统研究。本文以语义分割这一机器视觉应用为例,首先对主流的语义分割方法和低光照图像增强方法进行归纳总结,然后对经图像增强方法处理的低光照图像进行语义分割,从而探究图像增强方法对低光照场景语义分割性能的影响。实验结果表明,增强处理可以改善图像的人眼视觉效果,但是可能会引入噪声等影响,并且图像增强方法和语义分割方法关注的重点和特征不完全一致。图像增强对于低光照场景语义分割性能的促进作用并不明显,甚至会带来负面影响。

基于场景识别的夜视图像彩色融合方法

将红外与微光图像进行彩色融合可以使目标检测和识别更精确。针对现有的使用固定参考图像的彩色传递融合方法,提出了一种新的结合场景分类、融合质量评价以及彩色传递的融合方法。首先提取输入图像的GIST特征并利用SVM分类器进行场景的分类,随后利用彩色融合质量评价方法在相应类别的图像库中匹配最佳的参考图像,最终使用彩色传递的方法将红外与微光图像融合为彩色图像。仿真结果表明,相较于其他彩色融合方法,该方法在无须观测环境先验信息的情况下,能够在线性以及非线性彩色空间使融合图像接近自然真实的色彩感觉,更易于分辨识别目标,从而达到提高机器视觉效率的目的。

一种基于双通道CMOS相机的低照度动态场景HDR融合方法

高动态范围成像技术能够全面有效反映场景信息,有利于在高动态范围场景下获得高质量的成像。但当前常用的基于单台相机的多次曝光融合方法在动态场景下易出现“鬼影”问题,基于多个传感器同时曝光的系统复杂且价格昂贵,基于单幅低动态范围图像的拓展方法易丢失欠曝光或过曝光区域的细节信息,且多用于较好的照明条件。针对低照度动态场景成像,研究了一种基于双通道低照度CMOS相机的高动态范围图像融合方法,对双通道CMOS相机采集低照度动态场景两幅不同曝光图像,依据累计直方图拓展原则分别进行动态范围拓展,并采用像素级融合方法对动态范围拓展的序列图像进行融合。实验表明,动态范围拓展融合方法可满足低照度动态场景下获取高动态范围图像的应用要求,获得更佳的成像质量。

低照度场景下的时空频域视频去噪算法

随着移动端图像以及视频拍摄技术的广泛应用,低照度场景成为重要的成像场景之一。然而以夜晚、室内等为代表的低照度场景下,图像传感器采集到的视频图像普遍存在信噪比低和视觉效果差等问题。针对低照度场景下视频图像的质量问题,本文提出一种提升去噪效果的时空频域结合(TSF)视频去噪算法。所提出的TSF算法首先建立包含数字增益的低照度图像噪声模型,然后针对原始视频中的相邻前后两帧,基于光流法完成图像配准得到位移图,在时空域对高频图像进行去噪和重构,进而结合后续噪声图像实现无限脉冲响应处理,同时在空域进行降噪,输出后一帧去噪图像。在0.32lux到1.5lux的低照度环境下,基于当前手机中主流4800万像素图像传感器采集到的数据集,所提出的TSF算法与谷歌Pixel2所采用的实时视频去噪算法相比,具有更好的图像质量和纹理保持效果,同时与VBM4D去噪算法相比,有效降低运行时间和复杂度。

应用环境光传感器的颜色恒常性算法

现有的颜色恒常性算法在常规场景中通常能获得准确、稳定的光源颜色估计结果,但在内容单一、具有大面积单一颜色表面的低颜色复杂度场景中仍有较大概率出现超容限的估测误差。利用设置于摄影镜头旁的环境光传感器,提出一种应用环境光传感器的颜色恒常性算法。首先建立传感器置信度评估模型,然后针对不同置信度设计基于颜色空间转换与基于传感器辅助中性色像素提取的两种光源颜色估计方法。此外,还建立包含传感器测量结果的数据集。测试结果表明,相比现有具有最高精度的同类算法,所提算法的角度误差均值、中位数、最差25%均值分别下降32%、21%、41%。所提算法应用于常规场景和低颜色复杂度场景时均具有优势。

微光景像匹配实时图模拟生成技术研究

景像匹配实时图模拟生成是导弹制导系统仿真和景像匹配算法验证的关键技术。研究了光照条件、气象条件、像增强型电荷耦合器(ICCD)相机特性以及地面光谱反射特性等因素对微光成像的影响,建立了微光视景像生成的数学模型,包括:地面反射特性模型、像增强型电荷耦合器相机特性模型、大气传输模型和噪声模型,研究了白天与夜间地面反射特性造成的日光图像与微光图像的衬比度差异,提出了微光景像匹配实时图仿真方案,并在此基础上研制了一个完整的蕴含LOWTRAN7计算内核和像增强型电荷耦合器后段仿真的微光景像匹配实时图生成系统。仿真实验结果说明了该方案的有效性。