改进YOLOv5的轻量化RGB-IR融合小目标检测

针对RGB-IR图像中的目标检测问题,文章提出一种基于YOLOv5的轻量化RGB-IR融合小目标检测算法。该算法首先使用单应性变换对齐RGB与IR图像,并拼接为四通道张量输入检测网络,以实现联合特征提取。其次,使用SE注意力机制分配特征通道权重,以实现特征级融合,减少特征矛盾并提高检测的鲁棒性,并进一步改进网络连接,使用浅层特征以增强小目标检测准确性。最后,使用Ghost卷积替代传统卷积,以降低计算量与参数量。实验结果表明,该融合检测算法在小目标数据集上验证改进结果明显,并实现嵌入式部署验证,在2TOPS算力NPU上实现30fps帧率的实时检测。

基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法

语义分割被广泛应用于机器人、医学成像和自动驾驶等领域,但当前语义分割主要针对可见光图像。可见光图像在光照不足或天气差的情况下成像效果较差,而红外图像受光照影响较小。因此,将可见光图像和红外图像联合使用可以有效提升模型的鲁棒性。本文针对可见光/红外(RGB-IR)双波段图像语义分割任务中目标轮廓预测不准确的问题,提出一种基于多尺度轮廓增强的双波段语义分割算法。首先,本文提出一种新的位置和通道注意力模块EEFM,基于该模块可以高效地对多个尺度的融合特征分别进行轮廓预测。其次,本文将多尺度的预测结果用于对轮廓特征进行由高分辨率至低分辨率的逐步增强。最后,本文还提出了一种新的位置和通道注意力模块SAC对融合图像特征进行增强,以最终获得更准确的分割结果。实验在一个公开RGB-IR数据集以及一个自建数据集上进行,本文所提出的模型使用较小的参数量在公开数据库上取得了57.2的分割精度,综合性能达到了最高水平。同时,消融实验也验证了所提出的各模块的有效性。

OmniVision和富瀚联合发布汽车驾舱监控系统,为主流车型提供RGB-IR解决方案

通过低光和低成本的图像信号处理器完善业界最小和最优价值的200万像素的RGB-IR汽车图像传感器,打造性价比最优成像解决方案行业领先的数字图像解决方案开发商豪威科技公司(OmniVision Technologies,Inc.)和视频监控产品的芯片和解决方案供应商富瀚微电子今天联合宣布推出用于捕捉和处理高品质彩色(RGB)和红外(IR)图像汽车内部成像解决方案。

全天候车载驾驶员监控系统相机设计

为了监控驾驶员的异常驾驶行为,提升驾驶的安全性,设计了一款全天候车载驾驶员监控系统相机。对该相机涉及的RGB-IR CMOS图像传感器、双通道带通滤光片镜头、硬件电路及主动式红外照明等方面进行了研究。首先分析了RGB-IR CMOS图像传感器红外增强特性;其次根据应用场景及适配的图像传感器确定了镜头的设计参数,完成了镜头光学结构设计与优化,并选取了合适的双通道带通滤光片;接着完成了相机硬件电路的整体设计;最后评测了该相机的彩色、红外成像性能及图像在算法中的有效性。实验结果表明,该相机可以实现日间高清彩色成像和夜间高清红外成像,符合车规级性能标准,图像能实现10~15 m长距离传输,另外相机还具有成本低、稳定性高等优势。

增强细节的RGB‐IR多通道特征融合语义分割网络

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确,小地物分割效果较差,并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合,生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时,利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重,得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应,从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响,突出重要关键细节特征,并在特征融合注意力模块中嵌入通道注意力模块,进一步加强高低层特征有效融合,产生更具分辨性的特征表示,提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明,MFFNet的平均交并比为70.54%,较MFNet和RTFNet分别提升3.95和4.85个百分点,并且对于边缘和小地物的分割效果提升显著。

一种红外图像伪彩色显示算法及其硬件设计

介绍了红外图像伪彩色显示的原理、编码算法和硬件组成。设计了三种由暗(黑)到明(白)的RGB映射函数与红外图像的温度由低到高相对应,实现了彩色层次分明,图像细节突出,更适合人眼观察的伪彩色图像显示。最后通过FPGA+TMS320C6416DSP+SAA7199B数字视频编码芯片,实现了实时可变的伪彩色变换算法和视频编码输出,验证了系统软硬件的有效性。