面向多用户的三维虚拟车间场景共享技术研究

本文分析了三维虚拟车间的应用特点 ,提出了虚拟车间多用户共享的系统目标及其结构框架 ,分析了虚拟车间的构造方法 ,并对系统服务器实现方案、通信部件的设计、多用户协同感知及多用户替身描述。

分支空洞卷积神经网络的机加工车间场景语义分割

机加工车间场景的语义分割方法是开发工业场景中自主导航小车AGV所需要的一项关键技术.针对AGV需要精确识别可通行区域和不可通行区域,以及机加工车间场景中目标类别较多且密集导致难以准确分割的问题,提出一种基于DeepLabv3深度学习模型架构的分支空洞卷积神经网络模型.在预训练残差网络ResNet-50的基础上,首先扩展分支结构,通过分支结构设置不同比例的空洞卷积扩张率实现调节特征图感受野,获取不同感受野的上下文信息;然后通过相同扩张率的叠加状态改善空洞卷积的棋盘效应,减少上下文信息的缺失;最后添加多尺度特征融合的解码器单元,利用目标定位准确的浅层特征和目标分类准确的深层特征进行特征融合,弥补由于棋盘效应导致的上下文信息缺失和像素信息不相关性的问题.在自制小样本机加工车间场景数据集上的实验结果表明,与DeepLabv3模型相比,该模型的验证精度提高5.14%,且对于可通行区域、道路线和不可通行区域的语义分割结果更加准确.

移动高光对三维场景重建的影响与消除

针对制造车间光滑地面在阳光或灯光照射下的扫描图像往往存在反射光斑,且随相机位置变化而变化,会严重干扰图像处理和利用的问题,提出了一种识别和去除高光的方法,用于改善图像处理效果和三维重建精度。基于扫描序列图像的三维场景重建流程和SURF特征原理,分析移动的高亮反光斑对图像特征点提取和匹配的影响;对于缺乏表面纹理的灰度图像,提出一种基于逐行多级阈值和动态模板高光识别与去除方法,保留非高光点的特征信息,识别与修复同步完成。实验结果表明,无高反光的前后两帧图像的匹配特征点对比有高光情况下至少高出8%,优化后的余留匹配特征点更多;扫描一段30m长的车间场景序列图像,用提出的方法修复高光后进行三维重建,点云拼接误差减小了10cm。表明移动高光对图像序列三维重建有不可忽视的影响,本文提出的方法能有效地去除高光。

基于“VR+体感”技术的卷烟企业安全教育模式研究

安全培训是提升职工安全知识技能的重要手段,提高安全培训的效果至关重要。以卷烟企业生产现场实际场景进行3D建模,在虚拟世界真实还原车间场景、设备设施运行状态,探究“VR+体感”技术的卷烟企业安全教育培训模式。实施效果表明:这种模式实现传统培训与体感培训的有机融合,实现了安全培训从“填鸭式”说教到“沉浸式”互动体验的转变,并广泛采用VR技术,可扩展性强,可以在不增加硬件设施的情况下扩展培训内容,量身定制培训课程,安全培训效率显著提升。