双通道深度图像先验降噪模型

相对于采用固定网络参数值的有监督深度降噪模型而言,无监督的深度图像先验(Deep Image Prior,DIP)降噪模型更具灵活性和实用性.然而,DIP模型的降噪效果远低于有监督降噪模型(尤其是在处理人工合成噪声图像时).为进一步提升DIP降噪模型的降噪效果,本文提出了双通道深度图像先验降噪模型.该降噪模型由噪声图像预处理、在线迭代训练和图像融合3个模块组成.首先,利用BM3D和FFDNet两种经典降噪方法对给定的噪声图像进行预处理,得到2张初步降噪图像,然后,将原DIP单通道逼近目标图像架构拓展为双通道工作模式.其中,第一通道以FFDNet初步降噪图像和噪声图像为双目标图像,第二通道则以BM3D预处理图像和噪声图像为双目标图像.在此基础上,按照标准的DIP在线训练方式让DIP网络输出图像在两个通道上分别逼近各自的目标图像,同时依据基于边缘能量定义的伪有参考图像质量评价值适时终止迭代过程,从而获得2张中间生成图像.最后,使用结构化图块分解融合算法将两张中间生成图像融合并作为最终的降噪后图像.实验数据表明,在合成噪声图像上,本文提出的双通道深度图像先验降噪模型在各个噪声水平上显著优于原DIP及其他无监督降噪模型(提升了约2.2 dB),甚至逼近和超过了新近提出的主流有监督降噪模型,这充分表明了本文提出的改进策略的有效性;在真实噪声图像上,本文提出的降噪模型优于排名第二的对比降噪方法约2 dB,展现出其在实际应用场景下独有的优势.

基于姿态估计与深度图像的啦啦操运动员动作捕捉方法设计

为了对啦啦操运动员的动作进行有效的捕捉与识别,提出一种基于姿态估计与深度图像(PE-DI)的啦啦操运动员动作捕捉方法 .该方法采用深度摄像头收集啦啦操运动员的运动数据,并通过利用深度图像来增强三维空间的动作重建效果,接着利用姿态估计算法分析运动员的动作精度和稳定性.结果显示,动作识别率对比中,PE-DI算法、NN-BV算法、SPR-DL算法与Multi-Scale Feature算法在五次实验中的平均识别率分别为99.24%、97.18%、94.16%与90.21%.最后PE-DI算法运行下啦啦操运动员起势、跳跃、鞠躬与转身四个动作的均被捕捉划分于正确区域内,显著优于其他算法.实验结果表明,PE-DI算法能够对啦啦操运动员的动作进行较高精度的捕捉,为啦啦操运动员的训练与表演提供有效的技术支持.

改进联合双边上采样滤波的Kinect深度图像增强算法研究

Kinect深度摄像机可以实时获取到稠密深度图像,但该RGB-D相机获取的初始三维点云数据量庞大,其深度图像饱受无效像素、噪声和边缘不匹配等因素影响,直接对其进行操作会降低后续摄像机追踪以及配准的精度。因此,提出了一种有效提高Kinect深度图像质量的基于快速联合双边上采样滤波的深度图像增强算法。利用其对应的彩色图像,采用区域生长方法检测并去除深度值错误的像素;为了准确估计无效像素的值,采用联合双边滤波器对孔洞进行填充;利用传统高斯核函数的分离特性,并通过将其更换为快速高斯变换函数实现计算的复杂度的降低,并且有效地降低了深度图像的噪声。实验结果表明,提出的方法通过成功地填充孔洞,消除了不匹配的边缘,降低了噪声,显著提高了深度图像的质量,并且降低了运行时间。

基于深度图像和BP神经网络的红枣体积预测方法研究

为了实现红枣体积的快速无损测量,提高红枣体积分级精度,提出了一种基于深度图像和BP(Back propagation,反向传播)神经网络的红枣体积测量方法。通过采集红枣深度图像,利用分割算法进行平面分割和红枣聚类,对聚类后的红枣点云分别进行柱面拟合,建立红枣3D模型。采用包围盒算法、凸包法等多种方法提取红枣3D模型上的长径、短径、轮廓周长、投影面积、球度共5种特征,建立7组不同特征组合的BP神经网络模型,分别预测红枣体积。结果表明,包含红枣5种特征的模型预测结果最好,其体积预测值与实测值的决定系数(R^(2))为0.86187,均方根误差(RMSE)为1.66 mL,与实测值的平均相对误差为6.65%。表明采用深度图像和BP神经网络估测红枣体积具有较高预测精度。

基于边缘优先填充的自适应深度图像修复方法

针对传统深度图像空洞修复方法引起的物体边缘扭曲、模糊以及修复较大空洞速度缓慢的问题,提出了一种基于边缘优先填充的自适应深度图像修复方法。该方法利用多通道检测提取RGBD图像边缘,经过去除空洞虚假边缘和无用细节信息处理,生成物体的显著性边缘;将此边缘引入到图像修复过程中,优先填充空洞区域的边缘位置,有效解决边缘模糊虚化问题,使修复后的深度图像边缘结构清晰;在曲率驱动扩散(Curvature Driven Diffusion, CDD)模型的扩散项中引入梯度引导函数,使模型在空洞的平坦区域和边缘区域自适应地选择不同的扩散方向和扩散强度,实现对较大空洞区域的准确填充。实验结果表明,所提方法在RGBZ数据集上与其他方法进行比较,峰值信噪比(Peak Signal to Noise Ratio, PSNR)和平均结构相似性(Mean Structural Similarity, MSSIM)分别提高了8~13 dB、0.009 9~0.021 4,在提高迭代效率的同时有效修复了较大空洞,保持了较为清晰完整的物体边缘轮廓信息。

基于深度图像先验的椒盐噪声图像去噪

为了有效地去除图像中的椒盐噪声,本文利用低秩和深度图像先验,提出了一种基于加权核范数的优化模型。为了有效地求解优化模型,本文利用双线性分解,采用交替方向法将原问题分解成几个优化的子问题,对每个子问题给出相应的优化算法。数值实验表明,相比其它先进的方法,假设的新模型取得更好的去噪效果。

基于Kinect深度图像的人体重心估算方法研究

为了改善现有测量人体重心的设备价格昂贵和不便携带等问题,提出了一种用Kinect深度相机快速估算人体重心的方法。该方法利用分段法与松井秀治模型,结合Kinect获取的骨骼信息,将人体划分为15节段,根据节段质量、近远端坐标和重心半径系数计算出各个节段的重心,然后结合力矩合成法估算出人体总重心。最后,通过机器学习算法模型对重心数据进行了修正。Kinect与三维测力台的对比实验结果表明,该方法在测量大幅度动作的人体重心中有着更好的准确性,Kinect较传统设备价格低廉,易于推广使用,可作为一种站立平衡评估工具。

基于Cow-DETR与深度图像的非接触式奶牛体质量评估

针对当前牧场奶牛体质量(体重)称量效率低,人工参与容易引发奶牛应激等问题,提出了一种基于改进DETR(Detection transformer)网络的端到端式奶牛体质量评估方法(Cow-DETR),实现利用奶牛背部深度图像进行非接触式奶牛体质量评估。首先设计并搭建实验数据采集装置,利用Intel RealSense D435深度相机和体重秤采集奶牛背部深度图像和体质量数据;然后,通过边缘平滑滤波器和孔洞填充滤波器对深度图像进行补全处理,减少深度数据缺失对体质量评估的影响;最后,以DETR网络为基础建立奶牛体质量评估模型,通过在预测模块中添加含有交替全连接层的体质量预测单元,提升奶牛体质量相关的特征信息提取能力,实现端到端式奶牛背部定位的同时进行奶牛体质量非接触式评估。结果表明,本文方法可以实现较高精度的奶牛体质量评估,通过5倍交叉验证,在含有139头奶牛数据的数据集中,平均绝对误差不超过17.21 kg,平均相对误差不超过3.71%,单幅图像平均识别时间为0.026 s。通过与现有体质量评估方法相对比,本文方法比其他6种方法在更多的奶牛头数的数据集中取得了更低的平均绝对误差和平均相对误差,同时本文方法对奶牛站立姿势要求较低,更符合牧场实际生产需要,为奶牛体质量评估提供了新的解决思路。

低剂量CT图像降噪的深度图像先验的目标偏移加速算法

低剂量CT(LDCT)图像可大幅降低X射线辐射剂量,但存在大量噪声影响医生诊断。深度图像先验(DIP)是用随机张量作为神经网络的输入图像,以单张LDCT图像为目标进行迭代的无监督深度学习算法。但DIP方法需经过上千次的网络迭代才能得到最佳降噪结果,导致该方法运行速度过慢。因此,该文提出一种用于LDCT降噪的目标偏移DIP加速算法,旨在保持降噪图像质量的基础上提高运行速度。根据一个器官(如肺部)LDCT切片序列图像的相似性,该算法将以各切片分别作为目标图像对应的相互独立的网络迭代通过继承参数关联起来,在上一切片对应的网络参数的基础上更新当前切片对应的网络参数,并将当前切片对应的网络参数作为下一切片对应的网络迭代的基础;由于DIP网络的输入是固定的随机张量,与目标图像差距较大,该文利用传统降噪模型预处理后的LDCT图像作为网络输入,进一步提高网络迭代速度。实验表明,不使用传统模型预处理时,与原DIP网络运行速度相比,该文所提出的加速算法可以将迭代速度提高10.45%;当使用经过相对全变分(RTV)模型预处理的LDCT作为网络输入时,图像峰值信噪比不仅可以达到29.13,而且总迭代速度可以提高94.31%。综上所述,该文算法可在保持DIP降噪效果的基础上,大幅度提高运行速度,特别是RTV模型预处理后的CT图像作为网络输入时,对提高运行速度的效果更加明显。

复杂光场环境下多重聚焦深度图像三维重建

在复杂光场环境下图像采集和重建受到多重聚焦深度像素分布的随机性影响导致重建效果不好。提出基于亚像素特征偏移修正的复杂光场环境下多重聚焦深度图像三维重建方法。采用深度引导滤波方法实现对图像的边缘保持修正和滤波处理,根据多重聚焦深度图像在空间域偏移特征分布,采用融合空间信息的端元特征提取方法提取图像的谱特征点,结合亚像素特征偏移修正方法实现对复杂光场环境采样图像的像素偏移特征点修正,考虑像素空间差异和强度差异,根据光强纠正结果实现对图像的三维重建和特征配准。仿真测试结果表明,采用该方法进行复杂光场环境下多重聚焦深度图像三维重建有效解决了重建模糊的问题,得到较为精细的重建结果,光场偏移修正能力较好。

多尺度特征融合的透明物体深度图像快速修复方法

透明物体是日常生活中常见的事物,具有独特的视觉特性,这些特性使得标准的视觉3D传感器较难对其进行准确的深度估计.在大多数情况下,视觉3D传感器捕获的深度信息表现为透明物体后面的背景的深度值或大面积的深度缺失.为了对深度图像中透明物体的深度缺失进行快速修复,提出一种基于语义分割和多尺度融合的透明物体深度图像快速修复的方法,使用轻量级实时语义分割预测出透明物体的遮罩,剔除深度场景图像中该部分的错误深度信息,对彩色图像和剔除错误信息后的深度图像进行多尺度的特征提取和特征融合,完成对透明物体的深度图像快速修复.本文在Clear Grasp数据集上算法进行了效果验证.该数据集包含了5万多组RGB-D图像.实验结果表明,文中方法对透明物体深度的修复在度量指标MAE,δ_(1.05 )和 δ_(1.25 )上,分别取得了0.027,72.98和98.04的结果,均优于现有方法,并且在效率上有较好的提升.

基于深度图像的动态指尖检测

机器人的广泛应用使如何更方便地使用机器人成为研究热点,机器人演示编程是一种快捷的机器人编程方式。如何通过人的演示引导与控制机器人,视觉交互是一种主流的方法。文章提出一种基于深度图像的动态指尖检测,首先,通过深度相机采集手部演示的过程;然后,分析场景中不同物体的深度值,将手部活动区域从复杂的背景中提取出来;接下来,对手部活动区域使用帧差法,提取手部图像,在获取手部轮廓的基础上提取轮廓凸包,对轮廓凸包点使用曲率检测与重心距离相结合的判定方法,检测出单指尖点的位置。将单指尖点在相机坐标系下的三维坐标作为引导机器人运动的路径点。实验结果表明,该方法具有较高的准确性,并且跟踪速度快,符合实时性的要求。

基于RGB-D深度图像的船体板架非结构面模型重建方法

[目的]为准确、快速地重建船体板架非结构面三维形状,便于船体结构变形的高精度高效率测量,设计一种基于RGB-D深度图像的模型重建方法。[方法]首先通过随机抽样一致性算法与最小二乘法相结合的方式剔除点云集中的异常数据,再利用RGB彩色图像棋盘格标靶位置信息对结构多视角点云进行配准;其次将结构物面进行区域网格划分并对点云进行聚类,运用最小二乘法原理对每个网格点云子集进行空间曲面拟合,实现点云融合,在此基础上采用高阶面元实现船体结构外板表面的三维重建;最后,通过试件重构模型与激光扫描点云进行对比,验证模型重建方法的精确性。[结果]结果显示,试件三维重构模型较激光扫描点云随机点的均方根误差为1.02 mm,建模精度满足船舶建造工程需求,同时结构RGB-D深度图像数据获取时间相比于激光扫描可忽略不计。[结论]研究表明,提出的模型重建方法能够准确高效地完成船体板架非结构面三维重构,为船体结构变形测量提供了有力的数据支撑。

基于深监督跨尺度注意力网络的深度图像超分辨率重建

消费级深度相机拍摄的深度图像具有分辨率较低的问题,深度图像超分辨率重建是解决该问题的有效方法 .为了提高重建性能,提出一种基于深监督跨尺度注意力网络的深度图像超分辨率重建算法.网络逐级放大,在损失函数中对每一级的输出都进行约束,实现深监督的目的 .采用高阶跨尺度注意力模块,将多尺度特征尺度内及跨尺度相关性与注意力机制结合起来,实现多尺度特征的自适应调整.采用内层为宽激活残差、外层为基本残差的双层残差块作为网络基本构成元素,以提高网络对复杂非线性关系的学习能力.实验结果表明,本文算法在主观视觉效果和客观质量评价指标方面都优于当前主流的深度图像超分辨率重建算法.

采摘机器人识别技术研究——基于深度图像和计算机网络协同处理

为了提高采摘机器人果实识别定位的效率和准确性,将深度图像技术引入到了采摘机器人视觉系统的设计上,并结合计算机网络协同处理,设计了上位PC机处理和控制系统,通过计算机和机器人控制器的通信,形成了一个开放式和分布式的采摘机器人识别和控制系统。以苹果的采摘为研究对象,对深度图像和非深度图像对果实识别的准确率进行了对比,结果表明:采用深度图编码技术,对果实的识别准确率更高,对于提升果实的采摘效率和准确性具有重要的作用。

基于IMFO-Otsu的果实深度图像多阈值分割

为了解决传统果实图像进行阈值分割易受颜色、光照等因素影响的问题,提出一种基于改进飞蛾火焰算法(Improved Moth flame Optimization,IMFO)的多阈值分割算法(IMFO-Otsu)。算法在构建深度直方图后,根据多阈值Otsu准则获取最佳分割阈值。为了提高获取最佳阈值的计算效率,对多阈值Otsu准则进行剪枝处理,并使用提出的改进飞蛾火焰算法对算法进行加速。为验证IMFO-Otsu算法的效果,使用该算法对采集得到的果实图像进行多阈值分割,结果表明提出的算法具有良好的性能。由于提出的算法没有用到彩色图像的颜色信息且简单有效,能在夜间环境等复杂情况对果实识别与定位提供支持。

基于深度图像先验网络的^(18)F-FDG PET短时间Patlak参数成像

目的:提出基于深度图像先验网络的方法应用于PET短时间动态扫描Patlak参数成像。方法:利用仿真数据和动态采集60 min数据,分别用20~60 min、30~60 min、40~60 min、44~60 min时间段数据进行Patlak参数成像,使用深度图像先验网络方法对不同时间段数据生成的参数图像进行去噪,根据去噪图像分析短时间动态扫描协议的定量变化。结果:本文提出的方法在仿真实验中既有明显的去噪效果又能够保持图像细节,针对临床数据44~60 min时间段生成的Patlak参数图像与20~60 min结果的偏差(Bias)相差值在去噪前后从15.54%减少到6.3%,变异系数(COV)在44~60 min时去噪前后的值在两个背景区域下降率为162.96%和223.08%。同时短时间动态扫描协议下去噪图像定量偏差小于4%。结论:本文提出的方法可以提升Patlak参数图像质量,且可实现短时间动态扫描参数成像。

基于深度图像的带式输送机煤量检测方法

针对现有的带式输送机煤量检测方法会受到井下昏暗环境的影响,识别精度不高的问题,提出一种适用于井下环境的带式输送机煤量检测方法。基于深度图像的获取不受井下昏暗环境影响的特点,以深度相机获取的不同煤量深度图像为研究对象,对其进行滤波处理以滤除干扰信息并增强特征信息,提出一种DID-CNN识别网络对滤波后的煤量深度图像进行特征提取,并最终将煤量分为3个不同类别作为检测结果,该结果可用于胶带机带速的分级调控。结果表明:所提出的煤量检测模型的准确率达到99.3%,模型的F1分数为0.991,平均检测每张图片的时间为0.0243 s。基于深度图像的带式输送机煤量检测方法可以有效消除井下昏暗环境对煤量检测造成的干扰,具有较高的检测精度和较快的处理速度。该方法可为提高带式输送机运输效率、实现节能降耗以及延长设备使用寿命等方面提供支持。

基于Kinect相机的深度图像空洞修复算法

针对Kinect相机采集的原始深度图存在大面积空洞,采用快速进行法(FMM)修复算法存在图像边缘失真等问题,提出一种改进FMM的深度图像空洞修复算法。首先,对原始深度图像进行阈值处理,生成掩码图像以确定待修复区域;然后,采用改进FMM算法,引入置信度因子并使用固定尺度的目标块替换原先修复邻域,根据非零像素点占比选择不同的修复算法;当置信度较低时,根据图像特征连续性确定候选块搜索邻域,通过相似性度量函数获取最佳匹配块;最后,将最佳匹配块的中心像素值替换至待修复点,迭代至空洞完全修复。实验结果表明:与传统FMM算法相比,改进FMM算法的峰值信噪比提升了11.79%,避免了图像边缘失真等问题,可以有效地对Kinect相机采集深度图像过程中产生的空洞完成修复。

基于深度图像的加工特征识别算法在模具数控智能编程中的应用

针对传统的基于规则推理的特征识别算法灵活性低及基于卷积神经网络的三维模型特征识别算法计算量大的问题,提出一种基于深度图像的加工特征识别算法。该算法通过提取三维几何模型的深度图像,使用基于深度学习的目标检测算法获取二维深度图像中的加工特征信息,利用NX/Open API和NVIDIA推出的通用并行计算架构在UG NX12.0平台上开发了基于该方法的原型系统,在由数千个注射模电极零件构成的模型库中,随机选取部分零件进行验证。结果表明,针对电极零件的典型加工特征,识别正确率达到90%以上,该算法提高了加工特征识别的灵活性与效率。