基于复杂背景的多尺度特征融合手-物交互检测方法

针对手与物体在交互过程中不同场景的背景噪声、光照变化等复杂背景,以及手-物相互遮挡、分辨率低等问题对手-物交互检测精度的影响,提出采用一种两阶段的多尺度特征融合手-物交互检测方法。首先,引入基于特征金字塔的残差网络Resnet50作为特征提取主干网络,实现深层语义信息和浅层细节特征的多尺度融合,提高小目标检测的精度;然后,利用检测到的手部区域与物体区域的几何信息来判断是否交互,过滤非交互的物体;最后,在大规模的室内外包括11个类别的手接触物体的人类互动视频帧数据集进行实验,提高网络的泛化性能。实验结果表明,本文所提方法和两阶检测方法相比,在提高检测精度的同时没有增加网络模型复杂度,同时在数据集不同类别的检测精度相对稳定,有效提升了网络的泛化性能。

基于实际出行场景的整车驾控性能测试与评价

为了直观地评价中国消费者实际出行场景的整车驾控性能,提出一种驾控性能测试与评价方法。根据中国路况,结合工程经验与国家标准,选择驾控性能测试工况与测试工况中的评价指标及其权重,选取3款车型在测试工况下进行道路试验,通过数据分析得出指标限值。结果表明,3款车型的驾控性能得分与车辆级别、能源类型相关,且与驾驶员主观驾驶感受一致,说明此驾控性能测试与评价方法具有可行性与准确性,可以为开发或验证阶段的工程样车进行整车驾控性能的策略标定及验证测评。

基于语义分析的织物洗后手感消费者评价方法

为了提高洗后织物消费者评价的准确性,探索建立消费者评价和仪器测试的主客观相关性,选择纯棉针织布作为实验对象,利用PhabrOmeter和KES织物风格仪测试3种不同洗涤剂处理后的纯棉针织布的性能参数,同时选择7位受试者在8种不同动作下对织物进行主观评价,收集受试者的自由描述及评分情况,对描述词进行精简,利用因子分析得到可以表征洗后织物手感的4个手感因子,并通过相关性分析建立织物洗后手感的主观评价与客观测试的物理指标之间的关联。结果表明对于不同洗涤产品处理后的织物手感,消费者的主观评价和仪器测试的大部分力学指标有强相关性关系,客观评价方法和消费者的感受有较好的关联性,并对不同的洗涤护理产品有一定的区分度。

基于DeepSORT算法的循环水养殖鱼池漂浮死鱼智能捞除技术研究

为解决工厂化循环水水产养殖过程中出现的少量鱼类死亡对养殖水体的污染问题,需要将鱼池中处于漂浮状态的死鱼及时捞除。提出一种基于DeepSORT改进算法的循环水养殖鱼池漂浮死鱼的智能捞除方法。步骤如下:首先,建立循环水养殖鱼池漂浮死鱼捞除系统,完成相机标定和机械臂手眼标定,实现目标死鱼与机械臂间的坐标转换;然后,采用更贴合目标死鱼轮廓的旋转检测算法对目标死鱼进行检测识别,并输出目标死鱼信息作为DeepSORT算法的输入项;再次,通过旋转外观特征和旋转IOU改进DeepSORT算法,获取更具有鲁棒性的目标死鱼信息,实现对目标死鱼的实时检测识别与跟踪;最后,采用ROS的话题通讯机制,将目标位置发送到机械臂控制系统,控制机械臂实现目标死鱼的智能捞除。结果显示:本算法下多目标跟踪准确率为79.6%,比YOLOv5-DeepSORT算法提高了22.6%;多目标跟踪精确度为68.4%,较YOLOv5-DeepSORT算法提高了4.9%;在进水和曝气正常的情况下,一次性捞除成功率达到77.14%。研究表明,该方法可有效实现对鱼池表面漂浮死鱼的智能捞除,并可为其他领域的移动物体智能抓取研究提供技术参考。

基于骨骼关节点和物体属性的动作指令学习方法

为了从视频中学习动作指令,提出一种基于骨骼关节点和物体属性的动作技能学习方法,该方法使用OpenPose算法提取视频中人体骨骼关节点,根据人体骨架和手部骨架特征构建无向时空图,并使用时空图卷积网络识别演示者的操作动作。通过Mask R-CNN识别操作物体,并根据识别的动作采用两个LightGBM分类器将操作物体分为主体物体和受体物体。使用原子命令(三元组)表示机器人学习到的技能。在MPII Cooking Activities Dataset 2.0上进行实验,该方法动作识别的精确率达到89.91%,操作物体分类总准确率达到78.07%,能够从演示视频中学习操作技能的准确率到达78.07%,有效地验证了该方法。

“未来”——环卫机器人

环卫机器人能够进行自主导航,识别与分拣垃圾,可实现人机交互。拥有语音交互、屏幕交互、APP交互等功能。机器人通过激光雷达、陀螺仪与编码器电机协同实现自主导航功能,使用双目摄像头搭载YOLO算法实现对垃圾的识别分类。机器人在导航巡逻过程中,若识别到目标垃圾,通过串口将信号传输给主控芯片,机器人自主路径规划,通过机械臂和机械爪对目标垃圾进行抓取,完成对垃圾的分拣任务。

手眼立体视觉的算法与实现

传统的定位方法要求标定出摄像机的内外参数 ,本文基于直接将图像坐标映射到机器人参考坐标的“黑箱”思想 ,提出了末端执行器到机器人参考坐标系的一个恒定旋转矩阵 .使用恒定旋转矩阵使得目标三维定位的算法与标定参数的过程大大简化 ,同时具有较高的定位精度 .本文提出的三维目标定位方法同样可应用于移动式装配机器人和移动式操作手臂中 .

机器人手眼立体视觉标定研究

以固高GRB-400型机器人和CCD组成机器人手眼系统,分析了摄像机的成像模型,采用了基于直接将图像坐标映射到机器人参考坐标的"黑箱"思想,从图像坐标直接计算出目标位置的方法,用于立体定位的摄像机手眼标定,该方法通过保持机器人末端执行器到机器人参考坐标系旋转矩阵来简化复杂的相机标定过程,最后通过实验验证了该方法的可行性,并分析了实验误差产生的原因,并提出了相应的解决措施。

一种新的机器人手-眼视觉目标定位方法

提出了一种机器人手-眼视觉分步动态目标定位方法。摄像机在不同位置对目标分步拍摄,获取目标位置信息并不断修正,最终将目标定位在图像的中心位置,进而引导末端执行器完成对目标的准确抓取。实验结果,显示该手-眼视觉分步动态目标定位方法定位准确,可靠性高。

聚六亚甲基双胍复方消毒剂医院消毒应用研究

目的探讨聚六亚甲基双胍复方消毒剂对医院医护人员皮肤、手、物体表面的消毒效果及其动物毒性。方法采用悬液定量杀菌试验、皮肤、手、物体表面现场消毒试验方法、经口毒性、皮肤刺激实验方法。结果聚六亚甲基双胍复方消毒剂含500mg/L盐酸聚六亚甲基双胍的稀释液,作用1min,对铜绿假单胞菌、大肠杆菌杀灭对数值均达5.00以上;对白色念珠菌的杀灭对数值大于4.00,含250mg/L盐酸聚六亚甲基双胍的稀释液,作用1min对金黄色葡萄球菌杀灭对数值均达5.00以上。用其原液擦拭消毒皮肤、手作用1min,可使表面自然菌对数值分别下降1.56、1.34,擦拭消毒物体表面10min可使表面自然菌对数值分别下降2.05。小鼠经口LD50>5000mg/kg,对皮肤刺激反应积分均值为0。结论该药对皮肤、手、物体表面自然菌有良好的杀灭作用,无毒,对皮肤无刺激。适用于皮肤、手、物体表面的消毒。

基于在线识别的机器人动态手眼协调

本文研究了基于在线识别的机器人动态手眼协调 ,通过视觉在线识别目标的结果来动态规划机器人的运动 ,改善了系统的柔性 ,提高了系统对环境的适应能力 .实验证明 ,文中所采用的识别算法具有很好的实时性和可靠性 .引入语音控制改善了人机交互 .

医疗机构消毒质量监测

为了解医疗机构消毒质量,对部分医疗机构环境及物品污染情况进行了调查。结果,医院污水消毒排放超标率为52.94％,室内空气超标率为39.75％,物体表面细菌超标率为5.93％,医护人员手细菌超标率为10.29％,一次性使用医疗用品污染超标率为2.91％,使用中消毒剂细菌超标率为1.564％,紫外线灯辐照度和压力蒸汽灭菌器均为100％合格。调查结果反映出医疗机构消毒质量存在问题,暴露出各级医疗机构重治轻防的弱点。

空间物体定位的机器人手眼视觉标定方法

提出了一种用于空间物体定位的机器人手 眼视觉标定新方法 .该方法用一恒定变换矩阵描述末端执行器坐标系与机器人坐标系的对应关系 ,并假定在标定过程中 ,物体至摄像机的距离保持不变 ,将三维定位的问题简化为二维问题处理 ,极大地减少了计算量 .当末端执行器的位置变化时 ,不需要对系统进行重新标定 .实验结果表明 ,该方法计算量小、定位准确。

机器人视觉技术在活塞在线识别与分选中的应用研究

提出一种机器人"手-眼"视觉分步动态目标定位方法,实验中保持摄像机图像平面与工作台平面平行并对摄像机的拍摄高度进行设定,最终将目标定位在图像的中心位置。在目标类型识别过程中,采用BP神经网络技术识别目标表面的字符,实现对目标类别的判定。这两种方法相结合,用于活塞的在线识别与分选,由活塞表面的字符信息及活塞定位信息引导末端执行器完成对活塞的准确分选。

异体手移植的组织病理学研究

目的 了解异体移植手在免疫抑制状态下的成活及恢复过程中的免疫排斥反应等病理学变化。方法 异体移植手术后1天至7个月之间不同时期活检的皮肤、神经、肌肉、肌腱、骨等组织,常规病理学观察。结果 皮肤、神经、肌肉、骨等组织未见有意义的排斥反应性损伤,但上述组织的血管存在不同程度的弱排斥反应迹象,其中肌肉组织和神经组织内血管的反应强度明显高于皮肤组织。结论对异体手移植排斥反应监控,除皮肤组织外,还应考虑深部组织的反应。

县、镇(乡)、村三级医疗机构消毒卫生状况及相关因素分析

[目的]调查基层医疗机构消毒卫生状况,对相关因素进行分析。[方法]现场采样检测物品表面、手、空气、使用中消毒剂的微生物污染情况,并对结果进行分析。[结果]医务人员的文化程度、年龄结构、紫外灯的安装与总体采样合格率都具有一定的相关性。[结论]消毒卫生知识的提高和意识的强化以及消毒卫生硬件环境的改善和行政监督的加强是保证消毒效果的重要因素。

一种基于BoW物体识别模型的视觉导航方法

针对复杂的室内环境,提出一种新的动态环境下的移动机器人视觉导航方法.该方法以室内常见物体作为自然路标,通过单目视觉建立识别模型来认知环境中的各种物体.首先对室内常见物体建立图像库,并对库中的大量图像采集SIFT特征;然后通过BoW模型来描述各幅图像,针对每类物体利用线性支持向量机(SVM)训练出物体识别模型;最后借助交互的手绘地图描述室内环境,移动机器人从中获得辅助路径以及自然路标的大概位置,从而完成导航任务.通过大量实验,从自然路标变化、目的区域变化、手绘地图偏差等多角度验证该方法的鲁棒性.实验结果表明,该导航方法操作简单高效,并具有人机交互性强、动态环境下适应能力高的优点.

3D混杂场景中机械臂自主分拣小目标的方法

为解决机械臂在大小目标共存的3D混杂场景中无法利用3D视觉传感器直接感知分布于操作视场范围内的小目标这一难题,提出一种基于“固定安装的全局Kinect深度相机”与“安装在机械臂末端执行器上的移动相机(手眼相机)”相结合的视觉系统混合配置方法.固定的全局Kinect深度相机用于感知并获取视场范围内的大目标点云,进而识别估计其位姿,然后借助路径规划技术引导机械臂到达大目标的上方,启动手眼相机近距离获取小目标的图像;离线阶段获取小目标的CAD模型,虚拟2D相机在以目标中心为球心的虚拟球表面的不同位姿和不同半径处拍摄目标的一系列二维视图,并且储存在目标的3D形状模板数据库中;在线阶段从真实手眼相机拍摄的场景图像中基于图像金字塔分层逐一搜索匹配,找到与目标模板相匹配的所有实例并计算其二维位姿,经过一系列转换后得到在相机坐标系下的初始三维位姿,应用非线性最小二乘法对其进行位姿修正.由ABB机械臂和微软KinectV2传感器以及维视图像公司的工业相机进行位姿估计精度实验和混杂目标分拣实验,利用棋盘标定板来测定目标真实的位姿.实验结果表明,位置精度0.48mm,姿态精度0.62°,平均识别时间1.85s,识别率达到98%,远高于传统的基于特征和基于描述符的位姿估计方法,从而证明了提出方法的有效性和可行性.

机器人抓取的三维手眼标定方法研究

在视觉感知识别目标位姿后,机器人正确移动到指定位姿需进行手眼标定。若机器人进行三维空间操作,需进行三维手眼标定。针对空间物体抓取提出方法:通过设定机器人在x、y、z三个方向上的限位,根据工作需要为机器人定义一个工作区域,机器人以定步长定轨迹路线在区域内移动,使用迭代最近点算法求解手眼标定转换矩阵,采用下山单纯形法对转换矩阵进行优化,减小标定误差。实验结果表明:平均标定误差比传统基准法减小了18.90%,所需时间减少了49.12%。

基于双目视觉的机器人抓取系统

基于机器视觉系统引导的机器人抓取技术是当前机器人技术研究的热点,如何对机器人与摄像机进行精准的手眼标定是实现机器人精准抓取的前提和基础。本文通过双目摄像机和四轴机器人建立了基于双目视觉的机器人抓取系统,采用张正友标定法对双目摄像机的内外参数进行标定,对眼在手外的抓取系统进行手眼标定,并将抓取目标物体空间坐标信息转化为机器人控制信息,完成目标抓取。