基于U-Net和特征金字塔网络的秸秆覆盖率计算方法

针对田间秸秆覆盖分散、秸秆形态多样,细碎秸秆识别困难,传统图像识别方法易受光照、阴影等因素干扰等问题,本文以黑龙江省齐齐哈尔市龙江县为研究地点,构建田间秸秆图像数据集;对图像进行裁剪、标注后,构建了以U-Net为基础网络的秸秆检测模型。将编码阶段的网络结构换成ResNet34的前4层作为特征提取器,增加模型的复杂度,增强秸秆特征的提取;为增强秸秆边缘识别,在最高语义信息层对深层特征图使用多分支非对称空洞卷积块(Multibranch asymmetric dilated convolutional block, MADC Block)提取多尺度的图像特征;为增加细碎秸秆的检测能力,在跳跃连接阶段使用密集特征图金字塔网络(Dense feature pyramid networks, DFPN)进行低层特征图和高层特征图的信息融合,利用特征图对应秸秆图像中感受野的不同,解决秸秆形态多样的问题;为避免秸秆特征图在上采样时的无效计算,解码阶段使用快速上卷积块(Fast up-convolution block, FUC Block)进行上采样,避免秸秆特征图在上采样时的无效计算。试验表明,本文算法在车载相机采集到的秸秆图像数据集上平均交并比为84.78%,相比U-Net提高2.59个百分点,该网络对于640像素×480像素的图像平均处理时间低于3 ms,符合作业检测时的时间复杂度要求,算法在一定程度上改善了阴影区域秸秆的识别问题,提高了细碎秸秆的识别能力。

一种基于密集连接与感受野的穿戴识别深度学习网络

为实现在复杂环境中对电力作业人员穿戴规范的识别,以感受野块网络(Receptive Field Block Network,RFBnet)为基础网络设计了一种穿戴多目标识别网络。该网络引入特征金字塔网络并采用VoVnet的密接方式改进RFBnet的VGG-16主干网络,在保证浅层细节高分辨率的前提下尽可能获取深层语义信息以实现对弱小目标的检测。采用空洞卷积分支构建新的RFB模块以扩大感受野、提取更多的细节特征;将Soft-nms与DIoU-nms结合,设计一种后处理方法进行锚框回归,降低了漏检几率。实验结果表明,在RFBnet-512的基础上,该检测网络的mAP提升了10.09%,检测速度提升了4.7帧/秒;对安全帽、绝缘手套和高压绝缘靴的检测精度分别达到90.9%、67.1%和86.4%,检测速度达到17.5帧/秒。

结合Graph-FPN与稳健优化的开放世界目标检测

开放世界目标检测(OWOD)要求检测图像中所有已知和未知的目标类别,同时模型必须逐步学习新的类别以自适应更新知识。针对ORE方法存在的未知目标召回率低以及增量学习的灾难性遗忘等问题,提出一种基于图特征金字塔的稳健优化开放世界目标检测方法(GARO-ORE)。首先,利用Graph-FPN中的超像素图像结构以及上下文层和层次层的分层设计,获取丰富的语义信息并帮助模型准确定位未知目标;之后,利用稳健优化方法对不确定性综合考量,提出了基于平坦极小值的基类学习策略,极大限度地保证模型在学习新类别的同时避免遗忘先前学习到的类别知识;最后,采用基于知识迁移的新增类别权值初始化方法提高模型对新类别的适应性。在OWOD数据集上的实验结果表明,GARO-ORE在未知类别召回率上取得较优的检测结果,在10+10、15+5、19+1三种增量目标检测(iOD)任务中,其mAP指标分别提升了1.38、1.42和1.44个百分点。可以看出,GARO-ORE能够较好地提高未知目标检测的召回率,并且在有效缓解旧任务灾难性遗忘问题的同时促进后续任务的学习。

FPN-MSTCN模型在学生专注度评价中的应用

为了提高智慧教育场景下的学生专注度评价准确率,针对小样本类别难以识别的问题,提出一种FPN-MSTCN模型进行专注度评价,该模型通过改进的FPN网络对单帧人脸进行多尺度的特征提取,解决了在图像中人脸特征无法完整提取的问题。然后,通过融合了SimGNN模块的MSTCN网络对图像序列进行分类,并通过SimGNN模块解决了图像标签与视频标签不一致的问题。采用DAiSEE和EmotiW数据集进行实验。由于DAiSEE和EmotiW数据集的分布严重不均衡,使用代价敏感损失函数作为该模型的损失函数,解决了过拟合问题,测试集准确率分别提高了3.8%和3.1%。