Modeling of a Linear Scanning 3D Vision Coordinate Measurement System

This paper theoretically analyzes and researches the coordinate frames of a 3D vision scanning system, establishes the mathematic model of a system scanning process, derives the relationship between the general non-orthonormal sensor coordinate system and the machine coordinate system and the coordinate transformation matrix of the extrinsic calibration for the system.

3D机器视觉在充电宝包装系统中的应用研究

为了提高包装机械智能化程度和生产效率,设计并实现了一种基于3D机器视觉的充电宝智能装配和包装控制系统。该系统主要包括自动装配、自动贴标、2D机器视觉质检、3D机器视觉包装和立体仓储等功能模块。对系统的硬件和软件进行了论述,重点对3D相机的编程进行了研究和阐述。通过实验证明,所设计系统的功能实现率均在99%以上。基于3D机器视觉的充电宝智能装配和包装控制系统可以提高包装机械的智能化和柔性化水平,在提高生产效率的同时,大大降低企业人力成本。

基于专利视觉的3D打印技术在模具制造领域的应用研究

以incoPat构建3D打印技术及其在模具制造领域应用的检索分析数据库,采用定量、定性分析法,从申请趋势、区域布局、主要申请人、技术发展趋势、核心专利等多角度对专利数据进行分析。全球3D打印技术处于快速增长期,其在模具制造领域的应用越来越广,中国在专利数量上位居全球前列,紧跟全球技术发展热点,基于专利视觉开展3D打印技术在模具制造领域应用的分析,为中国模具制造3D打印技术发展提供技术参考。

基于3D视觉技术的钢格板机器人自动焊接系统设计与实现

钢格板是一种网格结构的金属制品,具有通风、散热、防滑等特点,其被广泛应用于工业、冶金、制药和港口等领域。目前钢格板焊接工序仍然以人工完成为主,焊接质量一致性差、工人劳动强度较大等问题突出,为此研究设计了一套基于3D视觉技术的钢格板机器人自动焊接系统,通过利用3D视觉系统、工业机器人和焊接系统,实现了对钢格板的高效率高质量自动化焊接。

基于3D相机的拆垛机器人手眼标定方法研究

为了提高拆垛机器人手眼标定的准确度,设计了一种结合有序点云和对偶四元数的改进粒子群优化算法的手眼标定方法。首先,采用三层梯状采样法获取不同姿态的手眼标定数据;然后,对圆形标定板进行圆心提取,采用加权奇异值分解的方案求解定位点的旋转平移矩阵,减少了噪声干扰;最后,将求得的刚性变换矩阵转换为对偶四元数,采用改进的自适应粒子群优化算法求解出手眼矩阵的旋转和平移部分。实验结果表明,手眼标定方法可稳定地处理标定数据,且平均误差小于2.5 mm,优于Tsai法和传统对偶四元数法。

基于激光雷达的3D目标检测研究综述

近年来,随着自动驾驶技术的快速发展,智能汽车对于环境感知技术的需求也越来越高,由于激光雷达数据具有较高的精度,能够更好的获取环境中的三维信息,已经成为了3D目标检测领域研究的热点。为了给智能汽车提供更加准确的环境信息,对激光雷达3D目标检测领域主要研究内容进行综述。首先,分析了自动驾驶车辆各种环境感知传感器的优缺点;其次,根据3D目标检测算法中数据处理方式的不同,综述了基于点云的检测算法和图像与点云融合的检测算法;然后,梳理了主流自动驾驶数据集及其3D目标检测评估方法;最后对当前点云3D目标检测算法进行总结和展望,结果表明当前研究中2D视图法和多模态融合法对自动驾驶技术发展的重要性。

基于3D视觉的机器人分拣实验系统研究与设计

针对智能制造工程专业多学科交叉融合特点,开展了基于3D视觉的工业机器人分拣实验系统研究与设计.采用Kinect相机、工业机器人、PC机、末端执行器搭建了系统硬件实验平台;采用支持向量机算法识别目标物体,提出了将中值滤波预处理和最近邻插值修复相融合的空洞毛刺修复方法;针对待识别物体是否重叠相互遮挡设计了基于霍夫变换计算物体中心点位置及基于点云配准的位姿估计定位策略;在上位机交互界面引导下完成机器人分拣系列实验.实验结果表明:该系统能够准确识别快速稳定分拣出特定形状和颜色的目标物体,实验内容涉及机器人、机器学习、图像处理、软硬件设计等多门课程知识与技术,综合性强、开放性好,为智能制造工程专业实验室建设提供了一种综合性创新型实践平台.

基于3D视觉的机械零件位姿分析

针对工业制造领域中存在的弱纹理或无纹理的机械零件位姿估计问题,以DenseFusion网络为基础,提出了一种基于3D视觉的机械零件位姿估计方法。首先,依照工业制造场景构建了用于网络训练和测试的机械零件仿真数据集;其次,使用目标零件分割出的深度图像构建点云,对其进行曲率下采样处理,提高关键点的质量;最后,将颜色特征、点云特征和法线特征融合,使用融合特征回归目标零件的6D位姿。在构建的机械零件仿真数据集和LineMod公共数据集进行了实验和比较,其结果表明了所提出的方法相较于同类其他方法具有更高的准确率,更好的收敛性能,对于弱纹理或无纹理的机械零件有较好的位姿估计效果。

4D视觉训练系统联合3D数字化斜弱视视功能矫治系统治疗弱视的效果

目的:探讨4D视觉训练系统联合3D数字化斜弱视视功能矫治系统治疗弱视的效果。方法:前瞻性研究。选取2018-01/2022-01就诊于本院的弱视患儿102例,通过计算机产生的随机数将患儿分成对照组51例采用3D数字化斜弱视视功能矫治系统,观察组51例在对照组基础上联合使用4D视觉训练系统。比较两组患儿治疗总有效率、治疗前后双眼视功能、等效球镜(SE)、眼轴长度(AL)与平均角膜曲率(Km)、最佳矫正视力(BCVA)及视觉诱发电位。结果:观察组治疗总有效率(94.1%)明显高于对照组(74.5%)(P<0.05);观察组患儿同时视功能、融合视功能和立体视功能及视功能重建率明显高于对照组(P<0.05);两组患儿弱视眼△SE、△AL和△Km比较均无差异(P>0.05);两组1°空间与15′空间频率潜伏期均较治疗前明显降低,观察组较对照组下降更为明显(P<0.05);两组患儿治疗后BCVA均较治疗前改善,观察组改善更明显(P<0.05)。结论:4D视觉训练系统联合3D数字化斜弱视视功能矫治系统可提高弱视患儿视力,促进双眼同时视、融合视与立体视的重建,不额外增加近视漂移风险,改善视通路功能。

面向喷涂件下挂的机器人3D视觉引导策略研究

因悬挂链运送喷涂工件难以严格定位,导致其下挂效率低下,提出一种基于3D视觉引导机器人进行喷涂件下挂的控制策略。通过实例分割网络Mask-RCNN进行训练推理,得到喷涂件实例MASK,获取经像素对齐并实例分割后的彩色图和深度图,利用相机内参重建喷涂件三维点云;离线生成喷涂件模板点云,在线生成喷涂件目标点云,经点云初始配准矫正喷涂件的位姿后,进而通过ICP精配准算法实现喷涂件位姿估计;在机器人视觉系统手眼标定之后,进一步通过5次多项式插值设计机器人关节平滑运动轨迹,控制引导机器人进行喷涂件下挂。实验结果表明,喷涂件位姿估计角度平均误差不超过10°,在Z移动方向上误差值平均为6.83 mm,最小为0.02 mm,且在仿真环境和现场环境可引导机器人实现喷涂件自主下挂。

Gabor-C3D手势识别算法

针对现有的手势识别方法注重高层信息,对浅层信息利用不够,导致手势识别准确性和实时性较差的问题,提出一种Gabor-C3D手势识别算法。采用多方向多尺度的Gabor滤波器组提取手势图像中空域和频域的纹理特征;针对手势动作的特点,设计轻量级C3D网络进行特征学习与分类,在保证精度的同时降低网络的复杂度。在公开数据集与自建数据集上进行实验,实验结果表明,所提算法在自建会议手势数据集与20bn-jester中的手势平均识别率分别达到98.73%与89.26%,分类效果优于传统C3D网络。

基于机器人3D视觉引导的汽车空腔自动发泡研究

为解决人工加注汽车空腔双组分聚氨酯泡沫时生产效率低和质量稳定性差的问题,对视觉检测技术、发泡工艺和机器人自动化应用进行研究,提出一种3D视觉引导机器人进行汽车空腔自动发泡的方案。通过地面安装的3台相机组成3D视觉系统,拍照检出汽车车身在工作站内的静止位置,计算出车身实际位置与标定的基准位置之间的偏差,引导机器人进入车身空腔填充泡沫的工作区域,保证机器人末端安装的3D激光视觉传感器拍摄加注孔的位置相对不变。机器人手持3D激光视觉传感器,检测车身加注孔在立体空间中的坐标位置,计算出加注孔的实际位置与标定的基准位置之间的偏差,引导加注枪头精确插入加注孔,防止发生干涉甚至碰撞。机器人与液压定比计量系统通信,传递双组分聚氨酯的加注量信息;液压定比计量系统以一定的流量和压力输送双组分聚氨酯材料进入加注枪的混合室,充分混合并注入空腔发生化学反应,实现在汽车空腔内自动发泡。将该方案应用于某主机厂的涂装车间,生产节拍显著提高,制造质量一致性良好。

基于3D视觉的机械臂抓取控制方法

针对传统2D视觉下机械臂无法抓取具有3D位姿物体的问题,提出了基于3D视觉的机械臂抓取控制方法。该方法首先通过差分和滤波的方式去除噪点,并提出了一种加权下采样的方法简化点云。通过欧式距离和法线夹角变化率的结合,提出了一种点云二次分割方法。物体的定位方式采用基于主成分分析法(PCA)的粗配准算法和基于迭代最近点算法(ICP)的精配准算法,然后将所得到的目标物体位姿发送给机械臂进行抓取。在达明协作机器人上的实验表明,该方法能够有效抓取具有3D位姿的物体,与已有的方法相比,在精度和处理时间上有了较大的提升。

混凝土3D打印的机器视觉检测研究现状与展望

受打印材料、打印装备、打印工艺及环境条件的影响,混凝土3D打印成形质量控制较难,且传统的人工检测手段效率低下,因此,亟需寻求新的检测途径。机器视觉技术作为一种非接触式检测方式,已逐步开始应用在混凝土3D打印缺陷检测中。为此,本文从混凝土3D打印几何形貌与精度、层间变形与稳定性及表面缺陷三个方面,综述了机器视觉技术在混凝土3D打印缺陷检测中的研究现状,以期为混凝土3D打印质量控制及发展提供借鉴。

Recognition of Multifunctional Coded Target in Single-camera Mobile 3D-vision Coordination Measurement

Single-camera mobile-vision coordinate measurement is one of the primary methods of 3D-coordinate vision measurement, and coded target plays an important role in this system. A multifunctional coded target and its recognition algorithm is developed, which can realize automatic match of feature points, calculation of camera initial exterior orientation and space scale factor constraint in measurement system. The uniqueness and scalability of coding are guaranteed by the rational arrangement of code bits. The recognition of coded targets is realized by cross-ratio invariance restriction, space coordinates transform of feature points based on spacial pose estimation algorithm, recognition of code bits and computation of coding values. The experiment results demonstrate the uniqueness of the coding form and the reliability of recognition.

联合多注意力和C-ASPP的单目3D目标检测

针对单目3D检测中网络结构复杂、深度估计后得到的目标深度信息不精确的问题,本文提出一种端到端的联合多注意力深度估计的单目3D目标检测网络结构(CDCN-3D)。首先,为获取目标显著特征,引入自适应空间注意力机制,对像素特征进行聚集,以增强局部特征来提升网络表征能力;其次,为改善深度估计时局部信息丢失问题,利用改进C-ASPP使每个深度信息都能够捕获更加精确的方向感知和位置敏感信息;最后,利用精确的P-BEV将得到的目标三维信息映射到二维平面,再用单级目标检测器完成检测输出任务。实验结果证明,CDCN-3D网络在KITTI数据集上,在FPS与现有单目3D检测网络持平情况下,其准确率优于其他网络,在Car、Pedestrian、Cyclist类中,其检测精确度分别提升2.31%、1.48%、1.14%,能够完成3D目标检测任务。

基于3D机器视觉的离心泵叶轮智能无序上料技术应用研究

离心泵的生产目前仍以人工手动操作为主,为了提高离心泵生产的自动化程度,降低工人劳动强度,设计并搭建了基于3D机器视觉的离心泵叶轮智能无序上料系统。离心泵叶轮智能无序上料系统采用双目视觉结合结构光技术采集场景中的三维信息,重点研究了工程塑料、铝合金和不锈钢3种不同材料的叶轮在3D机器视觉下的成像表现,通过实验研究得出了光源设计的优化参数,实现了叶轮位姿的识别和抓取。此外,通过实验模拟了叶轮上料过程,在不同摆放条件下的抓取成功率均超过了90%,验证了离心泵叶轮智能无序上料系统的可行性,并分析了随机摆放条件下铝合金叶轮及不锈钢叶轮存在个别无法识别的原因。

基于结构光3D视觉的空间姿态识别系统设计

为提高产品零件空间姿态识别的精度和收敛速度,提出基于结构光3D视觉对空间姿态识别的方法。首先,采用投影仪和相机获取产品零件图像信息,利用相移法获取深度信息,通过深度图点云重建获取3D点云数据;然后对3D点云数据进行特征处理和分类时,建立点云网络(Point Network,PointNet)模型;最后,采用改进的迭代最近点(Iterative Closest Point,ICP)算法对3D点云数据配准,从而实现产品零件姿态的识别。实验结果表明,该方法在对产品零件点云特征分类性能上,准确率能达到96%左右,召回率能稳定在92%左右;在配准精度和收敛速度上,较其他两种方法更优越,进一步验证了该方法的有效性和可行性。

基于深度学习的螺纹钢焊牌机器人3D视觉计数和定位方法

为解决因螺纹钢截面形状不标准、发蓝、发黑,长短不一而导致无法用传统视觉方法计数和定位的问题,对基于深度学习的螺纹钢焊牌机器人视觉计数和定位方法进行了研究,并开发了螺纹钢自动化焊牌系统。提出基于Faster R-CNN的图像识别算法并对棒材进行目标检测。对数据集进行随机旋转、翻转、噪点、模糊、颜色变换等图像处理实现数据增强使数据集扩充32倍,再进行训练;建立机器人和三维相机的坐标模型,计算出图像像素坐标系转换到机器人工具坐标系的转换矩阵。通过多组图片拼接解决不平整导致的遮挡问题,使用加入采集图像时的位姿作为判定参数的改进SURF算法实现图像准确拼接;输入拼接的图片进行推理,统计棒材的支数并获取中心区域的一支棒材像素坐标,通过三维相机的映射关系获得其三维坐标,发送到机器人控制器作为焊牌位置。结果表明:所提方法可以完成整捆螺纹钢棒材的准确识别计数和机器人定位焊牌,焊牌位置准确,焊接质量稳固。

新媒体舞蹈艺术:构建在3D视界上的审美感知——以《既视感》为例

当代科技的飞速发展,为舞蹈艺术创作提供了更为广阔的创新空间。编舞家不再拘泥于传统的手法进行舞蹈创作,而是与声音、影像等新媒体艺术家们共同合作,从而实现舞蹈艺术创作多样化、丰富化的发展格局。虽说新媒体舞蹈已经成为当今世界创作、表演的主流艺术形式,并有着丰富、多样的形态特征,但它却极大地改变了观众的审美视域。本研究以新媒体舞蹈作品《既视感》为个案,从科技与舞蹈跨域发展、创作,以及审美的视角出发,对“虚拟影像”与“身体”的跨界作进一步概括与诠释,探索新媒体技术与身体跨域所呈现出的审美特征的同时,也力图揭示出其所产生的新问题。