基于数字孪生的工业机器人建模及监测方法

针对工业机器人数据不透明、监测存在死角等问题,通过对实体工业机器人分析和研究,构建数字孪生机器人监测系统。首先从几何、物理、逻辑3个维度完成虚拟机器人的建模;其次基于开放平台通信联合架构(open platform communications united architecture,OPC UA),实现机器人的数据采集和通信,设计用户显示界面,达到数据实时可视化的效果;最后,通过机器人仿真实验得出机器人末端执行器X、Y、Z坐标的相对位置误差分别为0.48%、0.32%、0.27%,通过数字孪生机器人监测同步实验验证机器人关节角度误差最大值为0.31°。实验结果表明:该方法能够实现数字孪生工业机器人的运动数据监测,减少工业机器人在生产过程中发生意外和故障的风险,为智能工业机器人的发展提供思路和方向。

基于数字孪生的装配机器人建模及系统实现

针对工业装配机器人复杂作业编程耗时耗力、准确性差等问题,提出一种基于数字孪生的机器人在线编程方法。从几何、接触动力学、行为、规则四个维度实现了机器人从真实向虚拟空间的忠实映射。实现了多零件装配轨迹规划程序验证,实时同步作业及状态监测。设计搭建了基于数字孪生的装配机器人建模与在线编程系统,以六轴工业机器人单元为例验证了系统的实用性和准确性,为复杂装配作业机器人编程提供了新方案。

基于改进型RFB-MobileNetV3的棉杂图像检测

针对深度卷积神经网络模型复杂导致嵌入式设备难以满足实时在线检测的问题,提出改进型RFB-MobileNetV3(RFB-MNV3)的棉杂检测方法。首先,根据高精度轻量化网络模型的构建和保证检测准确率高的前提下,减少MNV3冗余网络结构;其次,将3×3卷积层取代5×5卷积层,1×3+3×1卷积层折叠取代3×3卷积层作为改进型感受野(RFB)模块部署到改进型MNV3的池化层中,以提升棉杂的在线检测速度和准确率;最后,将改进前后的算法与其它检测算法进行比较。结果表明,改进型RFB-MNV3算法的单张检测速度可达到0.02 s,在线检测平均准确率达到89.05%。通过对MNV3网络结构进行改进,在保证高检测准确率的前提下,可满足嵌入式设备在线棉杂检测的需求。

基于注意力机制的多方向文本检测

针对多方向排列的文本因其尺度变化大、复杂背景干扰而导致检测效果仍不甚理想的问题,本文提出了一种基于注意力机制的多方向文本检测方法。首先,考虑到自然场景下干扰信息多,构建文本特征提取网络(text feature information ResNet50,TF-ResNet),对图像中的文本特征信息进行提取;其次,在特征融合模型中加入文本注意模块(text attention module, TAM),抑制无关信息的同时突出显示文本信息,以增强文本特征之间的潜在联系;最后,采用渐进扩展模块,逐步融合扩展前部分得到的多个不同尺度的分割结果,以获得精确检测结果。本文方法在数据集CTW1500、ICDAR2015上进行实验验证和分析,其F值分别达到80.4%和83.0%,比次优方法分别提升了2.0%和2.4%,表明该方法在多方向文本检测上与其他方法相比具备一定的竞争力。

ATOM多注意力融合工件跟踪方法研究

针对工业生产复杂环境下,工件跟踪鲁棒性差且精确度低的问题,本文提出了一种基于重叠最大化精确跟踪算法(accurate tracking by overlap maximization,ATOM)的多注意力融合工件跟踪算法。该算法采用ResNet50为骨干网络,首先融入多注意力机制,使得网络更关注目标工件的关键信息;其次,使用注意力特征融合(attentional feature fusion,AFF)模块融合深层特征与浅层特征,更好地保留目标工件的语义与细节信息,以适应工业生产复杂多变的环境;最后将骨干网络第3层和第4层特征送入CSR-DCF分类器中,对得到的响应图进行融合,用以获取目标工件的粗略位置,通过状态估计网络获取精确目标框。实验表明,本文算法在OTB-2015数据集上的成功率(Success)与准确率(Precision)分别达到67.9%和85.2%;在VOT-2018数据集上的综合评分达到0.434,具有较高的精度和鲁棒性;在CCD工业相机拍摄的目标工件序列上,进一步验证了本文算法能高效应对工件跟踪过程中的常见挑战。