基于4D光场技术的矿车防碰撞预警系统设计

在矿车行驶过程中,驾驶员很难完全集中注意力,当突发意外时,可能无法及时作出反应,从而导致碰撞事故的发生。为此,基于4D光场测距和人工智能技术,设计了一种防碰撞预警系统。结果表明,该系统能够实现高效、准确的障碍物识别和距离估算,并能够确保矿车行驶的安全性,可在相对较短的时间内完成防碰撞的任务且不受恶劣天气的影响。该系统为工业矿车提供了一种新型的防碰撞解决方案,为智慧矿山的发展作出了贡献。

4D光场在露天煤矿卡车无人驾驶系统中的应用研究

露天煤矿的封闭性、作业的高强度特性、煤矿卡车的低速特性为无人驾驶技术提供了很好的应用场合,采用无人驾驶技术可以提高露天煤矿的运输效率和运输安全性,减少运输成本。感知数据作为无人驾驶系统决策的依据,由数量众多的传感器提供,其中激光雷达是重要的传感器之一,但激光雷达存在成本高、获取数据点数少、无颜色信息、目标识别困难等特点,在一定程度上制约了无人驾驶系统在煤矿卡车上的应用。针对激光雷达存在的问题,本文研究了4D光场技术在煤矿卡车无人驾驶系统中的应用,通过单一的工业相机实时获取三维点云和二维颜色信息,极大地丰富了无人驾驶系统获取的有效数据,有效降低后续系统处理的复杂性,在提高系统的可靠性、实时性、安全性以及降低成本方面具有重要意义。

4D光场技术在矿山卡车无人驾驶感知系统的应用

基于矿区环境存在粉尘大、震动强、对于激光吸收率高的特点,分析了激光雷达在矿山应用中存在的诸多不足,包括粉尘适应能力差、误报率高、工作距离近、识别能力差、震动适应性差、易损坏等。在此基础上,详细介绍了4D光场智能系统的特点,包括高维度、高精度、免维护、低成本、白天/夜间全天候运行、识别能力强、雨雪雾粉尘适应性高、震动低温等恶劣环境适应能力强等,可让无人驾驶系统的感知能力超过人眼的水平,从而可以很好地解决目前矿山无人驾驶系统中存在的问题,使无人驾驶矿卡可以真正达到甚至超越有人驾驶。

多尺度特征融合的低照度光场图像增强算法

光场图像(LFI)记录了目标场景丰富的三维结构和纹理等信息,在多种计算机视觉任务中拥有巨大优势。但是,低光照条件下采集的光场图像存在亮度低、噪声大等问题,降低了图像质量。提出了一种多尺度特征融合的低照度光场图像增强算法,引入数码单反相机(DSLR)图像来监督网络的训练以提升低照度光场图像的质量。为了充分挖掘和利用光场信息,通过角度和空间Transformer在不同尺度上对光场图像进行特征提取,捕获每个子孔径图像的互补信息以及局部和远程依赖关系。提出一个循环融合模块,利用长短时记忆网络保留不同尺度特征的长时记忆,同时通过局部和全局融合层自适应地聚合整个特征空间中的有用信息。设计了一个4D残差模块从聚合的特征重建目标光场子视图。此外,还构建了一个低照度LFI和正常光照DSLR图像配对的数据集来训练所提出的网络。实验结果表明,所提网络能够有效地提升低照度光场图像的质量,相比其他算法拥有明显的优势。

基于边缘增强引导滤波的光场全聚焦图像融合

受光场相机微透镜几何标定精度的影响,4D光场在角度方向上的解码误差会造成积分后的重聚焦图像边缘信息损失,从而降低全聚焦图像融合的精度。该文提出一种基于边缘增强引导滤波的光场全聚焦图像融合算法,通过对光场数字重聚焦得到的多幅重聚焦图像进行多尺度分解、特征层决策图引导滤波优化来获得最终全聚焦图像。与传统融合算法相比,该方法对4D光场标定误差带来的边缘信息损失进行了补偿,在重聚焦图像多尺度分解过程中增加了边缘层的提取来实现图像高频信息增强,并建立多尺度图像评价模型实现边缘层引导滤波参数优化,可获得更高质量的光场全聚焦图像。实验结果表明,在不明显降低融合图像与原始图像相似性的前提下,该方法可有效提高全聚焦图像的边缘强度和感知清晰度。

基于光场成像的数据提取与预处理方法

光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示,光场数据的获取为计算成像提供了很多新的发展方向。光场相机能够获取空间四维光场信息,相比传统成像方式多出2个自由度,因而在图像重建过程中,能够获得更加丰富的图像信息。市面上的Lytro Illum相机相对于Lytro1.0相机的成像效果更加丰富,因此利用Lytro Illum光场相机获取四维光场信息,提取出其中的有效光场数据,反演出8bit/pixel的原始四维光场图像数据,并对基于微透镜模型的光场数据进行一系列的算法预处理,从而得到易于理解的标准四维光场矩阵和子光圈图像矩阵,为光场成像技术的数据开发和应用奠定了基础。

矿用无人卡车国内外研究现状及关键技术

分析了国内外露天矿山用卡车无人驾驶技术发展现状,详细介绍了露天矿山卡车无人驾驶关键技术;通过分析对比前装线控和后装线控两种技术路线的优缺点以及超声波雷达、毫米波雷达、激光雷达、4D光场智能感知系统、红外传感器、视觉传感器等环境感知技术的优缺点;提出多传感器高度融合将是露天矿山卡车实现全天候环境感知的发展方向。通过分析对比惯性导航系统、GNSS差分定位技术、车联网定位技术、电子地图定位技术、视觉传感器等定位导航技术的差异,指出多定位技术融合是露天矿山无人驾驶卡车定位方式的必然选择。结合露天煤矿的生产实际,提出将现有的无人驾驶各种技术算法与露天矿山标准作业流程有机融合是实现卡车无人驾驶的必由之路。最后指出无人驾驶卡车应用5G技术是露天矿山安全生产的关键和核心,是无人驾驶的必备技术。

融合全局和局部特征的光场图像空间超分辨率算法

光场相机传感器有限的空间分辨率阻碍了光场图像处理相关研究的进展.提出一种融合全局和局部特征的光场图像空间超分辨率算法,提高了对光场子视点全局关系建模的能力.由于光场相机捕捉的图像亮度较低,严重影响了超分辨率图像的质量,提出一个改进的4D零参考深度曲线估计网络(4D Zero-DCE-Net),充分利用光场全部子视点信息来提高光场图像的亮度.为了解决光场图像空间分辨率低的问题,提出一个基于生成对抗网络的光场图像空间超分辨率网络模型.生成器包含三个部分:第一部分是Transformer和4D卷积以并行方式结合的网络结构,能以较浅的网络层捕捉图像的全局和局部细节信息;第二部分是一个交互融合注意力模块IFAM(Interactive Fusion Attention Module),能有效地融合上述两个分支得到的全局自注意力和局部细节信息;第三部分是一个重建模块PS-PA(Pixel Shuffle-Pixel Attention),能提高整个光场的空间分辨率.最后,利用相对判别器来指导生成器的训练.实验结果表明,提出的算法和其他算法相比,峰值信号比(PSNR)至少提升了1 dB.

光场成像技术及其在计算机视觉中的应用

目的光场成像技术刚刚在计算机视觉研究中展开初步应用,其相关研究比较零散,缺乏系统性。本文旨在系统介绍光场成像技术发展以及其应用在计算机视觉研究中有代表性的工作。方法从解决计算机视觉问题的角度出发,4个层面讨论光场成像技术最近十年的研究工作,包括:1)主流的光场成像设备及其作为计算机视觉传感器的优点与不足;2)光场相机作为视觉传感器的标定、解码以及预处理方法;3)基于4维光场的图像渲染与重建技术,以及其如何促进计算机视觉研究;4)以4维光场数据为基础的特征表达方法。结果逐层梳理出光场成像在求解视觉问题中的优势和局限,分析其中根本性的原理与掣肘,力图总结出亟待解决的关键问题以及未来的发展趋势。结论作为一种颇具前景的新型计算机视觉传感器技术,光场成像技术的研究必将更为广泛和深入。研究应用于计算机视觉的光场成像技术将有力的引导和促进计算机视觉和光场成像技术协同发展。