基于深度学习的增强装配智能人机交互方法

针对增强装配系统智能化水平低、系统与用户交互性差的问题,提出一种基于深度学习的零件拾取感知方法。采用目标检测算法提取手部和零件的类别与位置信息,并通过区域相交判定方法获取图像感兴趣区域。搭建分类网络以识别单帧深度图像中零件的拾取状态,以此为基础,提出连续帧状态识别方法消除单帧识别结果误差。实验结果表明,在航空发动机零件装配过程中,所提方法单帧感知速度在0.031 s内,连续帧下准确率可达100%,满足现场识别准确率和速度要求。

面向增强装配中手部特征检测的改进算法

针对增强装配引导过程中手部识别检测的问题,提出一种改进自适应均值漂移的特征检测算法。该算法对装配环境中的人手进行跟踪检测,迭代计算中心距获取搜索框,动态优化检测区域,得到包含手指信息的手部完整信息。为得到手指特征点,利用图像增强处理过后的手部轮廓进行等距特征点采样,对不同部位的特征点计算曲率信息,聚类分析得到指尖特征点。以增强装配系统中的三维注册为例开发原型系统,验证了所提方法具有可行性、有效性和较好的鲁棒性。

工装夹具增强装配技术研究应用

为了减少装配操作步骤和提高装配准确度和效率,在现有CAD软件装配功能的基础上提出一种基于装配特征识别的增强装配算法,利用特征识别以及定义的特征之间的装配关系实现增强装配功能,进而能实现装配的自动化。基于该算法实现的增强装配系统具有良好的扩充性,在实际装配应用中提高CAD软件装配功能的效率。

AR增强装配中的跟踪注册方法研究与应用进展

增强现实(augmented reality,AR)可将虚拟辅助信息以合适的位姿叠加在实际作业现场,实现“所见即所操作”的智能装配指引,缓解传统基于图纸装配中工人识图困难,易出现的错装、漏装等现象。其中装配现场环境下稳定的跟踪注册,是实现增强装配可视化指引中虚实融合的基础,也是现有增强装配在实际应用部署中的关键问题。为此,针对国内外在AR增强装配辅助中跟踪注册方面的研究与应用成果,系统分析了基于视觉、基于传感器和混合式三类不同增强装配跟踪注册方法的研究现状,总结了现有AR增强装配辅助中跟踪注册方法存在的局限及应用发展趋势,对后续AR智能装配系统构建和研究具有借鉴意义。

基于图像匹配的增强现实装配系统跟踪注册方法

为了改善跟踪注册方法面向弱纹理零件增强现实装配引导的鲁棒性与适用性,提出一种基于图像匹配的跟踪注册方法。采用图像边缘倾角对距离图像的像素值进行加权,提高图像匹配度计算的准确性;准确的初始帧相机位姿是保证跟踪注册准确性的前提,采用差分进化策略与禁忌搜索策略对遗传算法进行改进,提高初始帧相机位姿跟踪的准确性与搜索效率;采用禁忌搜索算法连续跟踪相机位姿,保证跟踪注册的准确性与实时性。实验结果表明,所提跟踪注册方法相对于基于ORB的跟踪注册方法具有较好的精度,能够对弱纹理零件进行跟踪注册,对杂乱环境具有较好的鲁棒性,满足跟踪注册的实时性的要求。

面向头戴式眼镜的增强现实装配语音交互实现

增强装配可视化指导技术广泛应用于装配指导、产品仿真设计等过程,但是随着智能移动设备的问世与推广,增强装配可视化过程中的人机交互过程效率低下、影响用户使用体验与使用效果等问题日益显现。从现场装配指导交互场景与流程分析出发,设计了面向现场装配指导的语音交互机制,提炼了适用于增强装配指导过程的关键语音命令,在此基础上实现了语音交互功能模块与框架的搭建。最后,基于Microsoft Speech SDK开发包,设计并开发了增强装配指导语音交互系统。以某发动机装配为研究对象,验证了该方法与系统的可行性。

增强现实在汽车设计中的应用研究

研究增强现实技术在汽车设计领域的理论基础与应用现状。文章通过对国内外增强现实技术实践应用的解读,初步研究了增强现实技术在汽车设计中的应用分类,以及设计难点,并对应用案例进行了具体分析。最终归纳出设计实现时需注意的要素,为后续设计研究者提供一定的参考。

基于AR虚实图像注意力机制的电缆装配质量检测方法

航天器中电缆装配在总装环节占据大量比重,电缆装配质量直接影响着产品整机的工作性能。现有的增强现实辅助电缆装配系统缺乏对装配结果实时判断和反馈的能力,无法识别当前装配的电缆是否符合装配质量要求。为了解决上述问题,提出了一种基于AR虚实图像注意力机制的电缆装配质量检测方法,通过构建虚拟辅助模型,在拍摄的装配结果图像中定位检测关键区域,过滤冗余图像信息;进而基于YOLOv4-Tiny图像检测模型对电缆装配关键节点位置进行了判断,基于计算电缆邻域平均重合度的方法求得了敷设路径的重合度,基于相机逆投影的方法得到了电缆的弯曲半径。最后,利用HoloLens2开发了基于增强现实技术的电缆装配质量检测系统,并对设计的4个电缆装配案例进行了质量检测,实验验证了本文方法及系统的可行性和有效性。

基于区域的弱纹理零件三维跟踪方法

为提升增强现实装配系统中对于弱纹理零件的跟踪效果,提出一种基于区域的三维跟踪方法。首先,采用全新的平滑阶跃函数优化基于水平集函数的图像分割方法,提高了轮廓边缘的分割效果;然后,设计了像素前背景颜色后验概率统计模型,增强了连续帧之间的时间一致性,提高了对运动模糊的鲁棒性和准确性;最后,采用高斯牛顿方法进行姿态优化,利用其快速收敛和数值稳定的性质,保证算法的实时性和稳定性。实验结果表明,所提出的三维跟踪方法能对弱纹理零件进行精确的跟踪。同时,在面对运动模糊或背景杂乱等干扰时,图像分割与位姿估计表现出更强的鲁棒性,满足了工业场景中对弱纹理零件跟踪的要求。

螺旋锚单锚基础在500 kV输电线路中的应用探析

为了在500 kV输电线路中应用更具经济优势的螺旋锚单锚基础,需要通过技术手段提升螺旋锚单锚的承载能力和季节性冻土、腐蚀地基情况下的耐久性能。首先结合螺旋锚基础设计要点,提出单锚设置预制装配式锥台增强体的创新设计方案,阐明其节点设计、施工工法要点以及螺旋锚抗冻胀、抗腐蚀的性能保证体系设计要点,最后对设置钢护筒增强体的单锚基础现场原位静载试验曲线进行分析,验证工程设计的合理性,并分析阐述了锚盘数量对抗拔承载性能的影响、静载试验的抗拔极限承载力成果以及与其他部分文献试验结果的差异。

基于点云的部件识别和姿态估计方法研究

为了识别与理解装配环境中的真实物体对象,提出一种基于配准的3D感知方法,利用点云的相似度对场景中真实物体进行感知,为降低噪声对配准结果的影响,提出一个基于密度自适应的匹配算法,自适应调整不同来源的点云密度,利用共面四点特征的仿射不变性实现对真实物体的识别。该方法可以减少点云的数据量,降低运算复杂度,还能提高匹配精确度。实验结果表明,该方法能准确在装配环境点云中识别出零部件并能计算出它们的姿态,可用于噪声条件下增强现实交互应用。

实用新型砼仓的应用与推广

介绍实用新型砼仓的构造及造价,以推动新型仓的广泛应用。