A Fast Depth-Map Generation Algorithm based on Motion Search from 2D Video Contents

Generation of a depth-map from 2D video is the kernel of DIBR (Depth Image Based Rendering) in 2D-3D video conversion systems. However it occupies over most of the system resource where the motion search module takes up 90% time-consuming in typical motion estimation-based depth-map generation algorithms. In order to reduce the computational complexity, in this paper a new fast depth-map generation algorithm based on motion search is developed, in which a fast diamond search algorithm is adopted to decide whether a 16x16 or 4x4 block size is used based on Sobel operator in the motion search module to obtain a sub-depth-map. Then the sub-depth-map will be fused with the sub-depth-maps gotten from depth from color component Cr and depth from linear perspective modules to compensate and refine detail of the depth-map, finally obtain a better depth-map. The simulation results demonstrate that the new approach can greatly reduce over 50% computational complexity compared to other existing methods.

基于depth-map和分布式视频编码的多视点视频传输方法

针对多视点视频传输系统数据量庞大的问题,提出一种基于深度图(depth-map)和分布式视频编码(DVC)的不等错误保护(UEP)传输方法。该方法首先基于多个视点提取深度图;然后,在传输过程中传输一个视点及其深度图;最后,经过网络传输,在解码端由一个视点图及其深度图生成其他视点。由于视点图和深度图在解码端的重要程度不同,对需要传输的视点图和深度图采用不同的分布式视频编码方法,进行不平等的错误保护。仿真实验结果表明,所提传输方法比传统的分布式多视点视频编码传输系统具有更好的抗误码性能,提高了传输可靠性,图像的峰值信噪比(PSNR)约提高1.5 dB。

基于锚点的快速三维手部关键点检测算法

在人机协作任务中,手部关键点检测为机械臂提供目标点坐标,A2J(Anchor-to-Joint)是具有代表性的一种利用锚点进行关键点检测的方法。A2J以深度图为输入,可实现较好的检测效果,但对全局特征获取能力不足。文中设计了全局-局部特征融合模块(Global-Local Feature Fusion,GLFF)对骨干网络浅层和深层的特征进行融合。为了提升检测速度,文中将A2J的骨干网络替换为ShuffleNetv2并对其进行改造,用5×5深度可分离卷积替换3×3深度可分离卷积,增大感受野,有效提升了骨干网络对全局特征的提取能力。文中在锚点权重估计分支引入高效通道注意力模块(Efficient Channel Attention,ECA),提升了网络对重要锚点的关注度。在主流数据集ICVL和NYU上进行的训练和测试结果表明,相比于A2J,文中所提方法的平均误差分别降低了0.09 mm和0.15 mm。在GTX1080Ti显卡上实现了151 frame·s^(-1)的检测速率,满足人机协作任务对于实时性的要求。

基于映射空间编码的高速运动轨道图像去模糊研究

针对轨道缺陷检测系统因镜头抖动或相机快速移动而导致所采集图像较为模糊的问题,提出一种基于最大后验概率估计思想的映射空间编码的高速运动轨道图像去模糊算法。首先,该算法使用深度编解码器和残差网络分别对数据集中清晰图像到模糊图像的映射关系和模糊核进行编码,为了保证编码时频率信息的完整性,算法在传统的残差模块上引入快速傅里叶变换通道构成双通道残差网络,以补偿多次特征提取带来的频率损失;其次,算法采用深度图像先验(Deep Image Prior,DIP)将潜在的清晰图像和模糊核进行参数化,再利用先验得到的模糊核和清晰图像来调用编码空间中的映射关系;最后,通过交替优化潜在的清晰图像和模糊核,从而去逼近一个真实未知的映射,进而实现真实场景下高速运动轨道图像的去模糊。实验结果表明,双通道残差模块提取的特征图频率信息分量强度普遍高于传统的残差模块,相较于使用传统残差模块实现该算法,采用双通道残差模块可使峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)提升0.84 dB,结构相似性(Structural Similarity,SSIM)提高0.025 1。与现有的深度学习去模糊算法相比,提出的去模糊算法对高速轨道检测系统所采集图像的去模糊效果更佳,在性能方面相较于最好的去模糊算法,PSNR提高了1.84 dB,SSIM提升了0.017 3,显著提升了采集图像的质量。研究结果可为下一步识别轨道部件是否存在缺陷提供清晰图像。

基于激光雷达与相机融合的树干检测方法

针对传统传感器在树干检测中的局限性和单一性,提出一种基于激光雷达与相机融合的树干检测方法.首先,利用深度图对激光雷达点云进行处理,实现地面点云去除以及树干点云聚类,并在聚类中设置横、纵向自适应阈值,去除聚类中墙体、杂草、树叶等多余信息;然后,利用YOLOv3算法对相机图像进行分析,基于树干特征实现目标识别并返回检测框与类别信息;最后,基于交并比方法(IoU)对2种传感器的检测结果进行融合,识别树干并返回其三维信息与位置信息.以无人割草机为载体开展场地测试,实验结果表明:融合算法的树干检测准确率在93.1%左右,树干定位横、纵向平均误差分别为0.075 m和0.078 m,能够满足无人割草机的树干检测要求,为智能农机的环境感知提供了一种新的方法.

融合摄食过程声像特征的鱼类摄食强度量化方法研究

基于鱼类摄食行为反馈的精准投喂是确保饲料高效利用与降低水体污染的有效手段,针对当前单一传感器难以精确测量鱼群摄食强度的难题,提出一种基于摄食过程声像特征融合的鱼类摄食强度量化方法。首先利用深度图包含的三维空间信息分析水体表层摄食鱼类数量,设计基于帧间差分运算的深度图能量变化测量系统表征鱼群摄食活跃程度;进而利用近红外光源因水面反射而导致的高亮度饱和点在近红外图中的位置变化测量水体流场的波动程度;同时利用音轨记录仪存储摄食音频。最后通过加权融合方式,综合摄食动态、水体流场变化、摄食音频三类具有不同物理属性的特征信息,精确量化了鱼群摄食强度,总体识别精确度达到97%。本文采用新的成像技术,取得分析速度与分析精度的最佳平衡,为精准投喂提供了一种鲁棒性强、分析速度快的实用方法。

融合单目深度和 RTK 定位的电力线弧垂测量方法

现有电力线路弧垂测量方法操作繁琐且智能化程度低,提出一种融合单目深度和RTK定位的电力线弧垂测量方法。首先,无人机拍摄电力线路关键点图像,将其输入构建的单目深度估计模型EleDep-Net生成对应深度图,该模型嵌入带状金字塔模块和边界融合注意力模块,使模型能精准地捕捉导线上下文语义信息;其次,引入深度矫正算法进一步修正深度图中的深度值,根据修正后的深度值得到关键点深度信息;最后,结合无人机RTK定位和关键点深度信息,在参考坐标系中生成关键点空间坐标进而拟合出导线抛物线公式,通过该公式计算出导线弧垂。在配网线路真实环境中进行测试,结果表明本方法在保证测量相对误差小于5%的前提下,作业效率明显提高,有较高的工程应用价值。

基于时空注意力的空间关联三维形貌重建

聚焦形貌恢复通过对场景深度和散焦模糊之间的潜在关系进行建模实现三维形貌重建。但现有的三维形貌重建网络无法有效利用图像序列的时序关联进行表征学习,因此,提出一种基于多景深图像序列空间关联特征的深度网络框架——三维空间相关水平分析模型(3D SCHAM)进行三维形貌重建。该模型不仅可以精确捕获单帧图像中聚焦区域到离焦区域的边缘特征,而且可有效利用不同图像帧之间的空间依赖性特征。首先,通过构建深度、宽度和感受野复合扩展的网络构造三维形貌重建的时域连续模型,进而确定单点深度结果;其次,引入基于空间关联的注意力模块,充分学习帧与帧间的“邻接性”与“距离性”空间依赖关系;另外,利用残差反转瓶颈进行重采样,以保持跨尺度的语义丰富性。在DDFF 12-Scene真实场景数据集上的实验结果显示,相较于DfFintheWild模型,3D SCHAM在深度值准确度度量的3个阈值1.25,1.25^(2),1.25^(3)上的精确度分别提升了15.34%、3.62%、0.86%,验证了该模型在真实场景的鲁棒性。

基于随机森林模型的旺业甸实验林场土壤全氮数字制图

为探究林场土壤全氮含量的空间分布特征及对环境因素的响应,以旺业甸实验林场为研究区,采用随机森林模型和Cubist模型建立了不同土层深度(0~10、10~30、30~50cm)土壤全氮含量与环境协变量(海拔、归一化植被指数、年平均降水量、年平均气温、y坐标和坡向)之间的定量关系模型,对该区土壤全氮含量进行预测并制图,并分析了影响土壤全氮空间变异的控制性因素。研究结果显示:0~10、10~30、30~50cm土层实测全氮含量的均值分别为3.20、2.02、1.47g/kg,土壤全氮的平均含量随土层深度的增加而降低;3个土层深度土壤全氮预测随机森林模型的决定系数R2分别为0.59、0.42和0.39,均优于决定系数R2分别为0.56、0.38和0.34的Cubist模型,2种模型预测精度都随土层深度的增加而降低,各环境因素对土壤全氮空间分布的影响作用随土层深度的增加而减小;从随机森林模型土壤全氮预测图来看,不同土层深度土壤全氮含量均呈现西部、北部和中部低,西南、东南和东部高的空间格局,不确定性图显示随机森林模型预测土壤全氮含量分布具有较低的标准差;海拔对土壤全氮含量的影响最大,其他依次为:归一化植被指数>年平均降水量>年平均气温>y坐标>坡向。结果表明,随机森林模型可以作为有效预测该林场不同土层深度土壤全氮含量的方法。

多种两步模式的三维制图方式在丘陵区林地土壤有机碳预测中的对比

[目的]为了探讨多种两步模式三维制图方法的准确度影响因素及其规律。[方法]以华南典型丘陵区1个面积约5 km^(2)的林场内土壤有机碳为研究对象,分别使用样条函数、指数函数和幂函数作为深度函数,普通克里格和随机森林作为水平制图方法,以及两步模式的2种不同制图形式(称为形式A和B),进行土壤有机碳含量的三维预测制图,并探究不同的深度函数、水平制图方法或制图形式对两步模式三维制图结果的影响规律。[结果](1)深度函数在很大程度上决定制图结果在垂直和水平方向上的变异,表现在制图结果的变异在3个深度函数之间差异较大,其中指数函数上的变异最大,幂函数上最弱,而水平制图方法(普通克里格与随机森林)对制图结果的垂直变异影响不大,但对表层的空间变异影响较大;(2)样条函数由于模拟的深度曲线与实测点吻合得最好,因而准确度最好,表现在基于样条函数的三维制图一致性相关系数(CCC)为0.72~0.75,均高于同种制图形式下的其他函数(CCC为0.64~0.74),而水平制图方法中普通克里格的制图效果好于随机森林,表现在前者的CCC为0.67~0.75,后者的CCC为0.64~0.72;(3)两步模式的2种制图形式对准确度的影响较小,仅在底层的准确度上表现出形式A(即水平预测制图深度函数模拟值)好于形式B(即水平预测制图深度函数参数);(4)所有制图方式中,普通克里格与样条函数相结合的制图形式A的准确度最高,决定系数(R 2)达0.76,一致性相关系数(CCC)为0.75,均方根误差(RMSE)为3.50 g/kg。[结论]在两步模式的三维土壤制图中,首先应考虑样条函数作为深度函数,其次依据研究区的景观条件和样本量,考虑水平制图方法,最后,尽量采用两步模式的第一种制图形式。

基于深度估计置信度的聚焦形貌恢复

聚焦形貌恢复是非接触式三维重建领域中的重要技术手段。由于环境的影响和相机本身的限制,图像采集过程中会不可避免地产生噪声信息,影响重建精度。针对该问题,提出一种高精度、抗噪声的聚焦形貌恢复算法。使用聚焦评价函数对离焦序列图像进行评价,得到聚焦评价序列图像,并使用高斯拟合峰值法定位像素聚焦位置获得初始深度图。在此基础上,通过像素的聚焦评价曲线与灰度曲线之间的相似度衡量深度估计置信度,生成初始深度图的置信图,并将置信图作为引导图对初始深度图进行引导滤波,得到优化后的深度图。使用多组仿真离焦序列图像与真实显微离焦序列图像对所提方法进行性能验证,实验结果表明:所提方法在仿真与真实离焦序列中均能表现出优良的三维重建效果,在真实数据实验中,所提方法的所有指标均优于基于深度图优化的方法,与传统方法相比均方根误差分别降低64.8%和47.3%以上,相关系数分别提高2.18%和6.35%以上,具有更高的精度和更强的抗噪性,能有效提高聚焦形貌恢复精度。

基于GPU的星载传感器光照反射三维可视化

为了能准确控制卫星在轨运行的姿态,避免太阳光及其反射光影响光学传感器工作,需要快速计算并绘制出不同时刻太阳光反射至传感器入瞳的光通量变化情况,设计并实现了一种基于图形处理器(GPU)的星载传感器光照反射分析算法,并对分析结果进行了实时三维可视化。首先以太阳为点光源,通过计算太阳位置矢量并利用深度图和渲染到纹理(RTT)技术,实时生成以太阳为视点的卫星表面受光区分析图;然后根据传感器反射镜面在卫星中的相对位置,计算出受光区范围内反射光线能够进入镜面的卫星部位,从而实现星载传感器反射区分析的三维可视化。实验结果表明,该算法具有较高的绘制效率和良好的视觉效果,对航天器光照环境的三维仿真具有一定的参考价值。

改进暗通道的水下图像复原算法

水下光学环境的特殊性导致了正常拍摄的水下图像存在雾化现象、偏色和低对比度,现有复原方法存在深度图上局部错估和透射图不精确的问题。为了更好的提升水下图像的质量,提出了一种能够平衡衰减、精确估计全局环境光的改进暗通道的水下图像复原算法。通过梯度图和通道差构建深度图,获取全局环境光;通过平衡衰减的暗通道,得到更精确的透射图;通过白平衡算法校正色偏,进一步改善图像质量。为了验证算法的有效性,在UIEBD数据集和RUIE数据集上进行了实验评估,UIQM指标分别为1.560和1.668,UCIQE指标分别为0.470和0.364。实验结果表明,本文提出的改进能有效提升水下图像的复原效果。

基于显著特征分类的立体图像重定向方法

现有立体图像重定向方法对不同特征图像均采用相同的策略进行重定向操作,导致一些立体重定向图像出现信息丢失、形变扭曲或深度改变的情况。影响立体图像重定向结果质量的因素主要包括显著区域形状和可视深度的改变等。为了解决这些问题,提出一种基于图像显著特征分类的立体图像重定向方法,将图像分为无显著及有显著2类图像,结合立体智能剪裁方法及立体非均匀映射方法对不同特征图像采用不同的重定向策略以减少信息丢失及几何失真。通过利用显著区域与非显著区域的深度信息差异可以更好地保持显著图像的深度感。实验结果表明,提出方法在主观对比及客观指标评价中均取得了优于其他算法的效果。

广州陆海统一测绘基准研究与深度基准面计算

为建立广州市陆海统一测绘基准做基础,本文主要结合国内外现有建立陆海统一测绘基准方法和关键,介绍广州市建立陆海统一测绘基准的技术思路,并选取珠江入海口处为试验区域,展开建立陆海统一测绘基准的关键步骤——深度基准面的计算。实验结果表明:珠江入海口处位置越近的验潮站的深度基准面越接近,同时,深度基准面在距离内陆的位置由远及近发生变化,验潮站位置越靠近内陆,深度基准面越高。以此得出结论:珠江入海口处的深度基准面计算结果可靠,可以此为基础进行广州市陆海统一测绘基准的建立研究。

海洋测绘水深测量成果质量控制

针对海洋测绘水深测量项目因外业情况复杂、成果类型多样等使得质量控制难度较大的情况,本文通过对重大海洋测绘水深测量项目采用首件成果检查、过程质量控制、最终成果验收全流程质量控制进行分析,提出了针对性的质量控制方法,对常见质量问题进行了剖析,为海洋测绘水深测量项目质量控制提供参考。

无人机影像与激光点云数据的匹配方法研究

多源数据的融合具有很强的实用性,可以弥补单一数据源的不足。激光点云数据具有真实的三维坐标信息,但其缺乏真彩色RGB信息,而无人机影像具有丰富的RGB纹理信息,将两者融合具有很强的实用价值。不过两者属于非同源数据,融合具有一定难度,针对此问题,将三维激光点云数据通过针孔成像原理转换为二维深度图,然后采用基于SURF特征的匹配方法,将点云深度图和无人机影像进行匹配,实现两种异源数据的匹配。实验结果表明,该方法较为可靠,可以为两种数据的融合提供参考。

基于单目深度估计变电站场景的语义分割模型

针对现有语义分割方法缺乏三维深度几何信息的有效学习,导致复杂变电站场景下对物体语义分割精度低的问题,文章提出了基于单目深度估计变电站场景的语义分割模型。该模型由DeepLab v3+辅图像语义分割模型与AdaBinsModule单目深度估计模型两部分组成。首先,AdaBinsModule根据可见光图像生成对应深度图,从而提取到图像中目标物体在三维空间中的深度信息。其次,采用矩阵相乘的方式将深度图中深度信息作为权重与可见光图像融合,并根据既定深度阈值弱化图像中远距离无效背景像素,以减少其在后续图像分割阶段对目标物体分割精度的影响。最后,将融合后的图像输入DeepLab v3+辅图像语义分割模型中进行语义分割。试验表明,相比基准模型,文章所提方法能更好地提取分割目标的深度轮廓特征,语义分割精度提升明显。

基于深度相机和二维码的室内移动机器人定位技术

提出一种以ORB_SLAM2为基本框架、使用二维码辅助深度相机的室内移动机器人定位方法。针对现有的视觉SLAM在定位过程中出现的Z轴漂移现象,提出平面运动模型约束,以降低机器人定位结果中的Z轴累计误差;针对视觉SLAM在弱纹理环境中算法退化、容易跟踪失败等问题,在室内环境中张贴二维码并将其数学模型作为定位约束,以提高系统的准确性与鲁棒性。真实环境下的实验结果表明:相比原始算法,所提算法在Z轴精度上提高了42.95%;以ORB_SLAM3的定位结果为真值,所提算法的定位精度提高了4.11%,该算法在室内环境下具有定位优势。

点云影像图在历史保护建筑外立面测绘中的应用

针对传统方法在测绘不规则复杂历史保护建筑外立面方面存在数据采集不全面、精度低、自动化程度和效率不高等问题,本文利用三维激光扫描技术进行历史保护建筑外立面点云数据的精细采集,并提出一种基于点云灰度影像和深度影像的历史保护建筑外立面快速绘图方法。以上海市某一优秀历史建筑的外立面测绘为例,详细阐述三维激光扫描点云数据处理过程中的关键技术,并验证本文方法的可行性,为历史建筑的数字化存档和规划保护提供基础数据与技术参考。