基于改进SOLOv2的集装箱货箱图像实例分割

针对集装箱货箱图像实例分割存在分割准确度不高的问题,在SOLOv2算法模型基础上,将主干网络中的残差网络替换为Swin Transformer网络,增强提取货箱特征信息的能力;将随机梯度下降优化器替换为AdamW优化器,加快模型的收敛速度;引入复制粘贴数据增强方法,混合粘贴实例对象,增加训练数据;采集不同摆放位置的货箱图像制作成数据集,利用添加噪声等图像增强方法扩充数据集,提高SOLOv2的分割性能。在集装箱货箱数据集上进行测试,结果表明改进SOLOv2相比SOLOv2的掩膜平均精度提高了3.0%,有效提高了集装箱货箱图像实例分割精度。

基于SOLOv2-RS的人工假体视觉避障研究

面向人工假体视觉条件下的避障问题,提出改进的实例分割模型SOLOv2-RS,为植入者在低分辨率人工视觉中更准确地感知导航任务的相关实例对象提供基础。根据视觉注意力机制,采取视野中心距离和目标尺度作为各实例重要性计算准则,以得到的重要性分数作为对需规避障碍物进行分级表达的依据;同时,采用边缘信息提示盲道,并对其进行形态学膨胀处理以避免光幻视有限导致的边缘信息缺失。人工假体视觉仿真结果表明本研究提出的人工假体视觉分级优化处理策略能有效实现盲道和障碍物的优化表达,为植入者更高效地完成室外避障任务提供便利,为人工假体视觉设备图像处理研究提供良好思路。

基于改进SOLOv2的家蚕图像实例分割的应用与研究

在家蚕养殖过程中,通常需要人工检查家蚕是否发生病变,但人工检查存在效率低、检查不全面等问题。为解决这些问题,本研究提出一种新颖的家蚕图像实例分割算法(多级残差特征融合Multi-ResFF-SOLOv2),该算法引入多级残差模块,分别是梯度、傅立叶和空间通道注意力残差模块,从而提取出更高维的语义信息。实验结果分析表明,该算法的平均精确度(Mean Average Precision,mAP)为96.7%,模型经过量化后,其推理速度为61fps。结果为家蚕农业养殖的智能化发展提供了有效的解决方案。

基于改进SOLOv2的街道场景图像实例分割

在复杂场景下,实时图像识别面临精度和效率之间的平衡与挑战问题,而基于深度学习的图像实例分割方法是解决问题的关键。文章构建了基于改进SOLOv2的实例分割网络模型,提出了基于位置注意力的跨阶段融合主干网络,不仅提高了图像实例分割精度,还减少了模型计算量。同时,设计了跨阶段掩码特征融合,提升了小目标识别率;提出了自适应最小损失匹配方法,提升了遮挡目标的分割精度。最后,利用COCO数据集进行性能测试,结果表明:改进SOLOv2实例分割模型的分割精度较其他模型提升超过2.5%。

改进SOLOv2的服装图像分割算法

提出了一种基于改进SOLOv2的服装图像分割算法,以解决因小目标以及遮挡引起的服装图像分割准确率低的问题。以SOLOv2为基础模型,优化掩膜特征分支中对多层特征的融合方式,从深至浅逐层融合特征信息;上采样过程中选用Mish激活函数,在提高模型泛化能力与收敛速度的同时,强化模型对图像中小目标服装特征的提取能力;引入影响因子优化损失函数,根据遮挡程度自适应调整损失函数的权重,减少遮挡问题对服装图像分割带来的影响。实验结果表明:与原SOLOv2模型相比,提出的方法平均预测精度值提高了3.2%。改进后的分割算法能显著提升对遮挡、小目标服装图像的分割准确度。

基于改进SOLOv2的复杂场景下智能机器人巡检识别算法

智能巡检技术逐步替代人工巡检有效提高检测效率,降低人力成本,成为智能巡检系统中的重要组成部分.目前现有的智能巡检技术在复杂场景下可识别的设备部件种类较少,检测精度和速度较低,对于小部件(例如按钮等)的识别效果较差.为了达到较好的检测效果和一定程度的广泛适用性,提出了一种基于改进SOLOv2的智能机器人巡检识别算法.本方法能较好地应对复杂场景下多种类设备部件的精准定位及模态提取问题,解决了现有智能巡检技术可识别部件种类少的问题.针对实例分割算法SOLOv2对于小目标识别精度低的问题,通过增加特征金字塔网络中大尺寸层级特征图的输出,增加小目标物体的正样本数量,提高小目标识别精度.实验结果表明,本文提出的方法相较于目前的巡检识别算法,具有更好的识别精度,复杂场景下的鲁棒性更高;相比较原有的智能巡检系统,可识别种类提高12类;相较于原始SOLOv2算法,小目标物体的精度提升10%左右,整体的识别精度也提升1.7%.

基于改进SOLOv2的穴盘幼苗图像分割方法

[目的]针对传统图像分割算法对穴盘幼苗图像分割精确度不高、分割效率低等问题,本研究提出一种基于改进SOLOv2的穴盘幼苗实例分割算法。[方法]在SOLOv2算法架构的基础上,将拆分注意力网络(ResNeSt)与特征金字塔(feature pyramid network, FPN)相融合作为主干提取网络,提取幼苗的特征信息;采集穴盘幼苗图像制作成数据集,引入多尺度变换和网格擦除等手段进行数据增强,再结合可变形卷积(DCNv2)优化网络结构,提升分割的精确度;引入秩和排序损失(Rank&Sort Loss)解决类别分支和掩码分支任务中超参数调节存在非最优和耗时的问题,提高SOLOv2分割的性能和效率。[结果]基于采集多变机械手抓取穴盘幼苗数据集的试验结果表明,改进SOLOv2分割算法的平均精度均值(mean average precision, mAP)、交并比0.5时平均精度(AP50)和交并比0.75时平均精度(AP75)分别为0.641、0.885和0.657,每张幼苗图像在GPU(graphic processing unit)上的平均分割时间为0.114 s,比原SOLOv2的各项精度指标分别高2.8%、3.1%和2.3%,分割时间减少0.058 s。[结论]改进SOLOv2算法具有更强的泛化性和鲁棒性,可以实现果蔬幼苗的实时高精度分割,并为幼苗品质分级筛选提供技术帮助。

基于改进SOLOv2的转炉炼钢钢液检测

转炉炼钢是冶金工业生产中的重要工艺过程,在转炉炼钢中连续实时检测钢液有助于提升炼钢的出钢产品质量和冶炼效率,针对转炉炼钢过程中炉口采集的图像相似性高、背景干扰大导致难以检测钢液的问题,提出了一种基于深度学习的实例分割方法。在SOLOv2的骨干网络中加入通道注意力机制,并对输入的图像进行去雾的预处理操作,从而获得具有高准确率的转炉炼钢钢液检测在线模型SA-SOLOv2。在转炉炼钢测试集上进行测试,结果表明,与原SOLOv2模型相比,该模型的交并比(IoU)提升了1.4%,漏检率降低了9.8%,且改进的SA-SOLOv2模型的检测时间明显少于其他基于深度学习的检测网络,提升了检测效率。

基于SOLOV2改进的实例分割算法研究

实例分割在图像分类的基础上为每一个物体生成像素级别的分割掩码,是当前计算机视觉领域热门研究课题,也是极具挑战性的任务之一。针对当前算法存在的分割精度和鲁棒性不高等问题,提出了一种改进的SOLOV2算法。首先,以FCN(Fully Convolutional Networks for Semantic Segmentation)算法为整体框架,采用ResNext作为骨干网络,在不增加网络参数量和计算量的前提下可以有效提升网络的精度;其次,采用改进的NAS-FPN(Neural Architecture Search Feature Pyramid Network)作为特征金字塔网络结构,这是一种可以在FPN中进行特征图的搜索和组合结构,使网络可以重新搜索并融合已经提取的特征图,以此来解决网络不能充分感知特征图从而导致网络精度不高的问题;最后,通过调整超参数得到整个分割网络模型。通过在COCO2017数据集上与BDD100K数据集上进行实验分析比较可知,改进的基于SOLOV2实例分割算法精度达到41.8%,在兼顾实时性的同时网络精度提升了2.1%。通过实验证明改进的算法可以适应多种交通场景,可以完成交通场景目标的检测与分割。

基于改进SOLOv2的金丝球焊焊点检测方法

为实现对金丝球焊焊点的精确检测,提出了一种基于改进SOLOv2网络的金丝球焊焊点检测方法。该方法以SOLOv2网络为主体框架,设计了一种孪生结构编码器,可以同时输入同轴光图像和低环光图像并准确提取焊点特征。在SOLOv2网络结构中将编码器同一层级的特征图通过跳跃连接建立同轴光图像和低环光图像之间的特征联系,实现了图像特征信息互补以及焊点检测准确率的提高。通过孪生结构隔离开同轴光图像和低环光图像特征提取模块的权重参数,避免编码器权重参数在训练过程中偏向于某一种光照场景,提高了网络的泛化能力。改进后的SOLOv2网络在测试集上的交并比IoU和F1-score值分别提升了0.0219和0.0137,并且使用在COCO数据集上的预训练权重来初始化编码器,以加速网络的收敛。相对于语义分割网络,SOLOv2网络也能够有效解决黏连焊点特征提取问题,满足实际检测需求。

基于改进SOLOv2的煤矿图像实例分割方法

现有的图像分割方法用于清晰度较好的煤矿井下图像时效果良好,但应用于环境复杂的煤矿井下时,获取的图像大多较模糊且目标物体轮廓不清晰,从而影响目标物体的分割精度。针对上述问题,提出了一种基于改进SOLOv2的煤矿图像实例分割方法。将SOLOv2模型的ResNet-50网络替换为ResNeXt-18网络,从而精简网络层数,提升模型的推理速度;引入坐标注意力(CA)模块,以提升模型特征提取能力,保留精确的位置信息,提高模型的图像分割精度;采用ACON-C激活函数替换ReLU激活函数,从而使神经元之间的特征得以充分组合,增强模型的特征表达能力,进一步提高模型的图像分割精度。将改进SOLOv2模型部署在嵌入式平台上进行煤矿图像分割实验,相较于SOLOv2模型,改进SOLOv2模型的Mask AP(掩膜平均精度)提高了1.1%,模型权重文件减小了83.2 MiB,推理速度提高了5.30帧/s,达26.10帧/s,在煤矿图像分割精度和推理速度上均有一定提升。

基于深度学习的牛脸识别系统设计

为了提高畜牧保险理赔行业中牛只身份识别准确率,试验建立了基于计算机视觉提取牛脸特征的牛只身份识别系统,即使用SOLOv2实例分割模型提取牛脸前景图像,结合FaceNet提取牛脸特征;基于Tornado Web和TF Serving框架进行实例分割模型和牛脸特征提取模型的部署,完成牛脸身份识别系统的搭建,并制作了手机APP,最后对添加SOLOv2牛脸身份识别模型的准确率和验证率进行了验证。结果表明:添加了SOLOv2模型的牛脸身份识别准确率达到了98.063%,验证率达到了92.451%,与未添加SOLOv2模型相比,准确率提高了0.270百分点,验证率提高了6.275百分点。说明添加SOLOv2实例分割模型能提升牛脸身份识别的准确率和验证率。

油田作业现场近海周界区域入侵检测

为提高油田作业现场安全作业监管效率,保证油田作业现场近海周界区域人员闯入检测的准确性和时效性,针对现有的区域入侵检测方法在检测油田作业现场远距离小目标时效果差,达不到实时的问题,本文提出了一个基于SOLOv2和CenterNet结合的近海区域作业人员入侵检测模型,模型首先采用SOLOv2对作业现场近海区域周界进行分割,并对分割的结果进行识别,再将识别出的近海区域作为危险区域;然后使用CenterNet网络对作业人员进行检测与定位,对作业人员的位置与危险区域的位置进行计算,从而实现近海周界区域入侵检测.实验结果证明,该方法可有效解决作业现场背景复杂,检测准确率要求高,被检测目标小情况下的近海周界区域入侵检测问题,模型的准确率可达94.7%,该模型目前已经成功部署到油田作业现场,运行良好.

语义线特征辅助的动态SLAM

动态环境干扰是视觉同时定位与地图构建(SLAM)领域内一个亟待解决的问题,场景中的运动对象会严重影响系统定位精度。结合语义信息和几何约束更强的线特征辅助基于传统ORB特征的SLAM系统来解决动态SLAM问题。首先采用深度学习领域的优秀成果SOLOv2作为场景分割网络,并赋予线特征语义信息;完成物体跟踪和静态区域初始化后,使用mask金字塔提取并分类特征点;再使用极线约束完成动态物体上点线特征的剔除;最后融合静态点线特征完成位姿的精确估计。在TUM动态数据集上的实验表明,所提出的系统比ORB-SLAM3的位姿估计精度提高了72.20%,比DynaSLAM提高了20.42%,即使与近年来同领域内的优秀成果相比也有较好的精度表现。