Modeling of a Linear Scanning 3D Vision Coordinate Measurement System

This paper theoretically analyzes and researches the coordinate frames of a 3D vision scanning system, establishes the mathematic model of a system scanning process, derives the relationship between the general non-orthonormal sensor coordinate system and the machine coordinate system and the coordinate transformation matrix of the extrinsic calibration for the system.

基于3D视觉的全自动鞋底涂胶系统设计与实现

为了解决鞋底上胶成本高,效率低,设备昂贵等问题,以鞋底涂胶工艺为研究对象,设计了基于3D视觉的全自动鞋底涂胶系统,提出集成3D深度学习视觉算法。通过设计合理的视觉系统,获取鞋底的点云,分析鞋底点云的重要属性,提取鞋底的关键信息。通过相机拍照,从点云中提取特征值,形成特征向量,并通过控制器,将特征向量即机器人的涂胶状态传送到机器手臂,为机器人自动化涂胶提供数据支撑。结果表明:基于3D视觉的全自动鞋底涂胶系统能提升鞋底涂胶自动化水平,使得鞋底涂胶系统不再受限于涂胶工艺的约束,提高了适用范围,有利于实现产业升级,提升鞋业竞争力。

3D机器视觉在充电宝包装系统中的应用研究

为了提高包装机械智能化程度和生产效率,设计并实现了一种基于3D机器视觉的充电宝智能装配和包装控制系统。该系统主要包括自动装配、自动贴标、2D机器视觉质检、3D机器视觉包装和立体仓储等功能模块。对系统的硬件和软件进行了论述,重点对3D相机的编程进行了研究和阐述。通过实验证明,所设计系统的功能实现率均在99%以上。基于3D机器视觉的充电宝智能装配和包装控制系统可以提高包装机械的智能化和柔性化水平,在提高生产效率的同时,大大降低企业人力成本。

基于3D相机的拆垛机器人手眼标定方法研究

为了提高拆垛机器人手眼标定的准确度,设计了一种结合有序点云和对偶四元数的改进粒子群优化算法的手眼标定方法。首先,采用三层梯状采样法获取不同姿态的手眼标定数据;然后,对圆形标定板进行圆心提取,采用加权奇异值分解的方案求解定位点的旋转平移矩阵,减少了噪声干扰;最后,将求得的刚性变换矩阵转换为对偶四元数,采用改进的自适应粒子群优化算法求解出手眼矩阵的旋转和平移部分。实验结果表明,手眼标定方法可稳定地处理标定数据,且平均误差小于2.5 mm,优于Tsai法和传统对偶四元数法。

基于3D先验特征的人脸超分辨率重建算法

为有效解决复杂环境下人脸超分辨率特征恢复的问题,提出一种全新的人脸超分辨率网络.该网络通过融合3D渲染先验知识和双重注意力机制,增强了对人脸空间位置和整体结构的理解,同时提高了细节信息的恢复能力.在数据集CelebAMask-HQ上的实验结果表明:对放大4倍下采样的人脸,该算法在峰值信噪比和结构相似性上达到28.76 dB和0.827 5;对放大8倍下采样的人脸,峰值信噪比和结构相似性评价指标达到26.29 dB和0.754 9.与同类的SAM3D算法相比,该算法在处理放大4倍下采样时的峰值信噪比和结构相似性上分别提升了4.09,1.93个百分点,在处理放大8倍下采样时上述两个指标分别提升了2.02,4.54个百分点.从而证明该算法的优越性,也表明在实际应用中人脸的超分辨率恢复能获得更真实和清晰的视觉效果.

基于3D视觉技术的钢格板机器人自动焊接系统设计与实现

钢格板是一种网格结构的金属制品,具有通风、散热、防滑等特点,其被广泛应用于工业、冶金、制药和港口等领域。目前钢格板焊接工序仍然以人工完成为主,焊接质量一致性差、工人劳动强度较大等问题突出,为此研究设计了一套基于3D视觉技术的钢格板机器人自动焊接系统,通过利用3D视觉系统、工业机器人和焊接系统,实现了对钢格板的高效率高质量自动化焊接。

基于专利视觉的3D打印技术在模具制造领域的应用研究

以incoPat构建3D打印技术及其在模具制造领域应用的检索分析数据库,采用定量、定性分析法,从申请趋势、区域布局、主要申请人、技术发展趋势、核心专利等多角度对专利数据进行分析。全球3D打印技术处于快速增长期,其在模具制造领域的应用越来越广,中国在专利数量上位居全球前列,紧跟全球技术发展热点,基于专利视觉开展3D打印技术在模具制造领域应用的分析,为中国模具制造3D打印技术发展提供技术参考。

基于双目3D视觉技术的接触网几何参数动态检测系统

针对目前接触网几何参数检测设备工作效率低、精度不高的问题,采用双目3D视觉成像、结构光图像采集和图像处理等技术,研制了接触网几何参数动态检测系统。该系统主要由接触网图像采集装置、车体偏移图像采集装置、增量式编码器、图像数据转换装置、主机及检测软件组成,可随不同车载平台以0~120 km/h速度运行,能够在强光、低照度等天气条件下实现接触网导高、拉出值的动态非接触式检测,自动识别触网导高、拉出值异常,生成指导接触网精调和日常巡检所需的异常报表和标注文档。系统设备轻便、易于安装,并提供了有效的标定方法。在实验室搭建测试平台,进行导高、拉出值测试和车体振动位移修正测试,并在北京地铁某运营线路上进行初步动态测试。测试结果表明,该系统能够稳定地动态采集高清图像,接触网导高、拉出值测量精度误差低于5 mm,能够满足铁路、地铁和轻轨等接触网新建施工精调作业和运营线路接触网日常巡检作业需要。

基于AI和3D视觉的智能产品缺陷检测系统设计

传统的产品缺陷检测系统存在过筛率偏高、误判率较高、灵活性差、人力成本高等问题。为了解决这些问题,引入了一种基于人工智能(AI)和三维(3D)视觉技术的智能产品缺陷检测系统,该系统利用3D摄像头全方位采集产品表面图像信息,然后使用深度学习算法进行图像分析和处理,实现对产品表面缺陷的自动检测和识别。该系统能够自动进行产品缺陷检测和识别,减少了人为因素的影响,从而可以有效提高产品缺陷检测的准确性和效率。

基于激光视觉的3D舞美虚拟人物影像自动化识别系统

针对3D舞美虚拟人物影像易受到成像条件干扰,导致人物姿态识别误差大的问题,设计基于激光视觉的3D舞美虚拟人物影像自动化识别系统。使用线结构光视觉三维测量装置,采集表演人物的激光视觉图像后,以平行投影的方式,重构3D舞美虚拟人物影像;通过基于谱系聚类的关键姿态轮廓特征提取方法,提取影像中关键姿态轮廓特征,输入基于HCRF的3D舞美虚拟人物影像人体姿态识别模型,计算人体姿态动作类型的条件概率,实现3D舞美虚拟人物影像自动化识别。实验结果表明,该系统对3D舞美虚拟人物影像中,行走、跑步、跳跃、跌倒、身体倾斜五种姿态类型自动化识别后,识别结果的交并比最小值为0.986,识别结果与真实姿态动作类型匹配。

基于3D毫米波雷达与相机的改进联合标定方法

针对传统的相机和毫米波雷达联合标定方法只能在某一固定平面标定存在数据采集繁琐的问题,基于传统方法提出一种适用于三维空间内的快速标定改进方法。首先进行雷达与图像预处理;其次通过时间同步策略在短时间内完成大量数据的采集与匹配;然后在空间标定上使用随机采样一致性算法(RANSAC)减少离群点的干扰,完成初步的粗标定;最后使用列文伯格-马夸尔特(LM)算法对粗标定结果进一步迭代完成精标定。实验表明:改进的标定方法使整体均方根误差收敛约10 pixels,与使用传统联合标定算法相比,标定精度显著提升;整体标定过程时间约12 min完成。

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。

基于3D视觉的机器人分拣实验系统研究与设计

针对智能制造工程专业多学科交叉融合特点,开展了基于3D视觉的工业机器人分拣实验系统研究与设计.采用Kinect相机、工业机器人、PC机、末端执行器搭建了系统硬件实验平台;采用支持向量机算法识别目标物体,提出了将中值滤波预处理和最近邻插值修复相融合的空洞毛刺修复方法;针对待识别物体是否重叠相互遮挡设计了基于霍夫变换计算物体中心点位置及基于点云配准的位姿估计定位策略;在上位机交互界面引导下完成机器人分拣系列实验.实验结果表明:该系统能够准确识别快速稳定分拣出特定形状和颜色的目标物体,实验内容涉及机器人、机器学习、图像处理、软硬件设计等多门课程知识与技术,综合性强、开放性好,为智能制造工程专业实验室建设提供了一种综合性创新型实践平台.

基于3D视觉的机械零件位姿分析

针对工业制造领域中存在的弱纹理或无纹理的机械零件位姿估计问题,以DenseFusion网络为基础,提出了一种基于3D视觉的机械零件位姿估计方法。首先,依照工业制造场景构建了用于网络训练和测试的机械零件仿真数据集;其次,使用目标零件分割出的深度图像构建点云,对其进行曲率下采样处理,提高关键点的质量;最后,将颜色特征、点云特征和法线特征融合,使用融合特征回归目标零件的6D位姿。在构建的机械零件仿真数据集和LineMod公共数据集进行了实验和比较,其结果表明了所提出的方法相较于同类其他方法具有更高的准确率,更好的收敛性能,对于弱纹理或无纹理的机械零件有较好的位姿估计效果。

面向喷涂件下挂的机器人3D视觉引导策略研究

因悬挂链运送喷涂工件难以严格定位,导致其下挂效率低下,提出一种基于3D视觉引导机器人进行喷涂件下挂的控制策略。通过实例分割网络Mask-RCNN进行训练推理,得到喷涂件实例MASK,获取经像素对齐并实例分割后的彩色图和深度图,利用相机内参重建喷涂件三维点云;离线生成喷涂件模板点云,在线生成喷涂件目标点云,经点云初始配准矫正喷涂件的位姿后,进而通过ICP精配准算法实现喷涂件位姿估计;在机器人视觉系统手眼标定之后,进一步通过5次多项式插值设计机器人关节平滑运动轨迹,控制引导机器人进行喷涂件下挂。实验结果表明,喷涂件位姿估计角度平均误差不超过10°,在Z移动方向上误差值平均为6.83 mm,最小为0.02 mm,且在仿真环境和现场环境可引导机器人实现喷涂件自主下挂。

4D视觉训练系统联合3D数字化斜弱视视功能矫治系统治疗弱视的效果

目的:探讨4D视觉训练系统联合3D数字化斜弱视视功能矫治系统治疗弱视的效果。方法:前瞻性研究。选取2018-01/2022-01就诊于本院的弱视患儿102例,通过计算机产生的随机数将患儿分成对照组51例采用3D数字化斜弱视视功能矫治系统,观察组51例在对照组基础上联合使用4D视觉训练系统。比较两组患儿治疗总有效率、治疗前后双眼视功能、等效球镜(SE)、眼轴长度(AL)与平均角膜曲率(Km)、最佳矫正视力(BCVA)及视觉诱发电位。结果:观察组治疗总有效率(94.1%)明显高于对照组(74.5%)(P<0.05);观察组患儿同时视功能、融合视功能和立体视功能及视功能重建率明显高于对照组(P<0.05);两组患儿弱视眼△SE、△AL和△Km比较均无差异(P>0.05);两组1°空间与15′空间频率潜伏期均较治疗前明显降低,观察组较对照组下降更为明显(P<0.05);两组患儿治疗后BCVA均较治疗前改善,观察组改善更明显(P<0.05)。结论:4D视觉训练系统联合3D数字化斜弱视视功能矫治系统可提高弱视患儿视力,促进双眼同时视、融合视与立体视的重建,不额外增加近视漂移风险,改善视通路功能。

基于3D视觉的机械臂抓取控制方法

针对传统2D视觉下机械臂无法抓取具有3D位姿物体的问题,提出了基于3D视觉的机械臂抓取控制方法。该方法首先通过差分和滤波的方式去除噪点,并提出了一种加权下采样的方法简化点云。通过欧式距离和法线夹角变化率的结合,提出了一种点云二次分割方法。物体的定位方式采用基于主成分分析法(PCA)的粗配准算法和基于迭代最近点算法(ICP)的精配准算法,然后将所得到的目标物体位姿发送给机械臂进行抓取。在达明协作机器人上的实验表明,该方法能够有效抓取具有3D位姿的物体,与已有的方法相比,在精度和处理时间上有了较大的提升。

基于机器人3D视觉引导的汽车空腔自动发泡研究

为解决人工加注汽车空腔双组分聚氨酯泡沫时生产效率低和质量稳定性差的问题,对视觉检测技术、发泡工艺和机器人自动化应用进行研究,提出一种3D视觉引导机器人进行汽车空腔自动发泡的方案。通过地面安装的3台相机组成3D视觉系统,拍照检出汽车车身在工作站内的静止位置,计算出车身实际位置与标定的基准位置之间的偏差,引导机器人进入车身空腔填充泡沫的工作区域,保证机器人末端安装的3D激光视觉传感器拍摄加注孔的位置相对不变。机器人手持3D激光视觉传感器,检测车身加注孔在立体空间中的坐标位置,计算出加注孔的实际位置与标定的基准位置之间的偏差,引导加注枪头精确插入加注孔,防止发生干涉甚至碰撞。机器人与液压定比计量系统通信,传递双组分聚氨酯的加注量信息;液压定比计量系统以一定的流量和压力输送双组分聚氨酯材料进入加注枪的混合室,充分混合并注入空腔发生化学反应,实现在汽车空腔内自动发泡。将该方案应用于某主机厂的涂装车间,生产节拍显著提高,制造质量一致性良好。

Gabor-C3D手势识别算法

针对现有的手势识别方法注重高层信息,对浅层信息利用不够,导致手势识别准确性和实时性较差的问题,提出一种Gabor-C3D手势识别算法。采用多方向多尺度的Gabor滤波器组提取手势图像中空域和频域的纹理特征;针对手势动作的特点,设计轻量级C3D网络进行特征学习与分类,在保证精度的同时降低网络的复杂度。在公开数据集与自建数据集上进行实验,实验结果表明,所提算法在自建会议手势数据集与20bn-jester中的手势平均识别率分别达到98.73%与89.26%,分类效果优于传统C3D网络。

基于深度学习的螺纹钢焊牌机器人3D视觉计数和定位方法

为解决因螺纹钢截面形状不标准、发蓝、发黑,长短不一而导致无法用传统视觉方法计数和定位的问题,对基于深度学习的螺纹钢焊牌机器人视觉计数和定位方法进行了研究,并开发了螺纹钢自动化焊牌系统。提出基于Faster R-CNN的图像识别算法并对棒材进行目标检测。对数据集进行随机旋转、翻转、噪点、模糊、颜色变换等图像处理实现数据增强使数据集扩充32倍,再进行训练;建立机器人和三维相机的坐标模型,计算出图像像素坐标系转换到机器人工具坐标系的转换矩阵。通过多组图片拼接解决不平整导致的遮挡问题,使用加入采集图像时的位姿作为判定参数的改进SURF算法实现图像准确拼接;输入拼接的图片进行推理,统计棒材的支数并获取中心区域的一支棒材像素坐标,通过三维相机的映射关系获得其三维坐标,发送到机器人控制器作为焊牌位置。结果表明:所提方法可以完成整捆螺纹钢棒材的准确识别计数和机器人定位焊牌,焊牌位置准确,焊接质量稳固。