注意力引导的多尺度红外行人车辆实时检测

红外成像技术通过捕捉目标热辐射特征进行成像,能实现复杂道路场景下的目标监测和道路冗杂信息滤除。针对红外行人和车辆目标检测模型参数量大、依赖高性能GPU资源和检测速度慢等问题,提出了一种注意力引导的多尺度红外行人车辆实时检测模型。首先,为精确匹配校准红外行人和车辆目标尺度与锚框尺寸,利用K-Means++算法对红外行人和车辆目标尺度进行先验框预置参数重聚类生成,并设计128×128精细尺度检测层;其次,设计注意力引导广域特征提取模块增强模型特征提取能力和空间及通道信息聚焦能力;随后,构建跨空间感知模块引入空间信息感知,强化不同尺度空间下的目标的特征表达能力;最后,针对资源受限设备,通过4倍通道剪枝方法降低模型参数量,增强移动端算法部署适应性。实验结果表明:所提IRDet算法与基准方法相比,模型平均检测精度提升4.3%,达到87.4%,模型权重值压缩60.4%,降至5.7 MB。

全局感知与稀疏特征关联图像级弱监督病理图像分割

弱监督语义分割方法可以节省大量的人工标注成本,在病理全切片图像(WSI)的分析中有着广泛应用。针对弱监督多实例学习(MIL)方法在病理图像分析中存在的像素实例相互独立缺乏依赖关系,分割结果局部不一致和图像级标签监督信息不充分的问题,该文提出一种全局感知与稀疏特征关联图像级弱监督的端到端多实例学习方法(DASMob-MIL)。首先,为克服像素实例之间的独立性,使用局部感知网络提取特征以建立局部像素依赖,并级联交叉注意力模块构建全局信息感知分支(GIPB)以建立全局像素依赖关系。其次,引入像素自适应细化模块(PAR),通过多尺度邻域局部稀疏特征之间的相似性构建亲和核,解决了弱监督语义分割结果局部不一致的问题。最后,设计深度关联监督模块(DAS),通过对多阶段特征图生成的分割图进行加权融合,并使用权重因子关联损失函数以优化训练过程,以降低弱监督图像级标签监督信息不充分的影响。DASMob-MIL模型在自建的结直肠癌数据集YN-CRC和公共弱监督组织病理学图像数据集LUAD-HistoSeg-BC上与其他模型相比展示出了先进的分割性能,模型权重仅为14 MB,在YN-CRC数据集上F1 Score达到了89.5%,比先进的多层伪监督(MLPS)模型提高了3%。实验结果表明,DASMob-MIL仅使用图像级标签实现了像素级的分割,有效改善了弱监督组织病理学图像的分割性能。

锚框校准和空间位置信息补偿的街道场景视频实例分割

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测

初烤烟叶等级的快速准确检测对开发烟叶智能分级设备以促进农产品精细化管理有着重要意义。针对相似度较高但等级不同的初烤烟叶难以区分的问题,本文提出多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测网络(Flue-cured Tobacco Leaf Grade Detection Network,FTGDNet)。首先,FTGDNet采用CSPNet作为特征提取主干网络,采用GhostNet作为辅助特征提取网络以增强模型的特征提取能力;其次,在主干网络末端嵌入显式视觉中心瓶颈模块(Explicit Visual Center Bottleneck module,EVCB)以实现全局特征信息与局部细节特征信息融合;然后,构建多感受野特征自适应融合模块(Multi-Receptive Field Feature Adaptive Fusion module,MRFA_d),利用注意力特征融合机制(Attention Feature Fusion,AFF)将不同感受野特征图进行自适应加权融合,在增强模型局部感受野的同时突出有效通道信息;最后,设计了一种新的定位损失函数(More Complete IoU Loss,MCIoU_Loss),结合预测框与真实框面积损失以解决在回归定位过程中二者宽高比相等且中心点重合时CIoU_Loss性能退化导致定位精度下降问题,此外,引入矩形相似度衰减系数在训练过程中对真实框与预测框的相似度判别项进行动态调整,加快模型拟合。实验结果表明,FTGDNet对十个等级的初烤烟叶的验证精度达到90.0%,测试精度达到87.4%,且推理时间仅为12.6 ms。相较于多种先进目标检测算法,FTGDNet具有更高的检测精度和更快的检测速度,可为高精度初烤烟叶等级检测提供关键技术支撑。

融合结构重参数化变换的气体泄漏红外检测

针对常规工业气体泄漏检测装置需泄漏扩散到一定范围并与传感器接触时才能响应的不足,提出一种融合结构重参数化变换的红外非接触式检测网络模型GRNet。GRNet模型采用Mosaic-Gamma变换的预处理方法增加泄漏样本数量并提高图像对比度以增强模型的鲁棒性;通过K-means聚类分析出适用于气体泄漏红外检测的候选框以预置模型参数;优化定位损失函数以提高模型对泄漏区域的定位准确性;采用改进后的轻量化网络RepVGG模块重构特征提取网络增强模型的特征提取能力,以实现轻量化并提高检测精度。实验结果表明,GRNet模型对氨气泄漏的平均检测精度达到94.90%,单张图像平均检测时间达到3.40 ms。采用伪色彩映射实现泄漏浓度的视觉感知效果,采用PyQt5将GRNet模型进行封装实现气体泄漏红外检测系统界面的可视化并在Jetson Nano B01嵌入式实验平台部署该模型,验证了实际工程应用的可行性和有效性,为开发气体泄漏非接触探测装置以保障涉气企业的安全生产和稳定运行提供一种有效的检测算法。

氨气泄漏混洗自注意力轻量化红外检测

氨气是重要的基础工业原材料,实现其非接触探测对于及时发现氨气泄漏,避免重大安全事故发生具有重要意义。针对常规氨气泄漏检测装置需等到氨气扩散到一定范围并与传感器接触时才能响应的不足,提出一种混洗自注意力网络(SSANet)模型实现氨气泄漏红外非接触检测。因红外热像仪获取的氨气泄漏图像含噪高、对比度低,故通过非局部均值去噪、限制对比度的自适应直方图均衡化预处理建立氨气泄漏红外检测数据集。SSANet模型在YOLOv5s基础上通过K-means算法聚类分析出适用于氨气泄漏红外检测的候选框以预置模型参数;采用轻量级ShuffleNetv2网络,将其Shuffle Block中的3×3的深度可分离卷积核替换为5×5,采用含有新卷积模块的SK5 Block对特征提取网络进行重构,使模型大小、计算量和参数量实现轻量化的同时提高检测精度;采用Transformer模块代替原网络瓶颈模块中的C3模块实现泄漏区域多头注意力自底向上融合,实现检测精度的再次提升。实验结果表明,SSANet模型较YOLOv5s基础模型大小和参数量分别减少76.40%、78.30%,降为3.40 M、1.53 M;单张图像平均检测速度提升1.10%,达到3.20 ms;平均检测精度提升3.50%,达到96.30%。本文为开发氨气泄漏非接触探测装置以保障涉氨企业的安全生产和稳定运行提供了一种有效的检测算法。

尺度自适应生成调控的弱监督视频实例分割

视频实例分割是车辆辅助驾驶多目标感知和场景理解的一项关键技术。针对弱监督视频实例分割仅使用边界框对网络进行训练严重制约交通场景大尺度动态范围目标分割精度的问题,本文提出尺度自适应生成调控弱监督视频实例分割网络(Scale Adaptive Generation Regulation weakly supervised video instance segmentation network,SAGRNet)。首先,设计一种多尺度特征映射贡献度动态自适应调控模块,通过动态调整不同尺度特征映射信息贡献度取代原有的线性加权以强化对目标局部位置和整体轮廓的聚焦能力,解决了车辆、行人等目标由于成像距离远近造成的尺度动态范围过大问题;其次,构建目标实例多细粒度空间信息聚合生成调控模块,通过聚合基于不同空洞率提取的多细粒度空间信息生成权重参数以调控各尺度特征,实现了细化实例边界和增强跨通道信息交互掩码特征映射表征能力,有效弥补了实例边缘信息匮乏导致边缘轮廓分割mask连续性缺失问题。最后,为缓解边界框标签监督信息弱化,引入正交损失和颜色相似性损失缩小模型预测mask与真实边界框偏差并计算逐像素点对间标签属性归类模糊问题。Youtube-VIS2019提取的交通场景数据集实验结果表明,SAGRNet相较于弱监督基准网络平均分割精度提升5.1%达到38.1%,为实现多目标感知和实例级场景理解提供了有效算法依据。

融合注意力分支特征的甲烷泄漏红外图像分割

甲烷是现代化工业生产和社会生活的重要能源之一,实现其有效探测与分割对于及时发现甲烷泄漏事故并识别其扩散范围具有重要意义。针对红外成像条件下甲烷气体图像的轮廓模糊、泄漏的甲烷气体与背景对比度较低、形状易受大气流动因素影响等问题,本文提出一种融合注意力分支特征的红外图像分割网络(Attention Branch Feature Network,ABFNet)实现甲烷气体泄漏探测。首先,为增强模型对红外甲烷气体图像的特征提取能力,设计分支特征融合模块将残差模块1和残差模块2的输出特征与残差模块3以逐像素相加的方法融合,获取红外甲烷气体图像丰富细致的特征表达以提高模型识别精度。其次,为进一步加快模型的推理速度,将标准瓶颈单元中的3×3卷积替换为深度可分离卷积,大幅度减少参数量达到实时检测甲烷气体泄漏。最后,将scSE注意力机制嵌入到分支特征融合模块,更多地关注扩散区域边缘和中心语义信息以克服红外甲烷气体轮廓模糊对比度低等问题提高模型的泛化能力。实验结果表明,本文提出的ABFNet模型AP50@95、AP50、AP60定量分割精度分别达到38.23%、89.63%和75.33%,相比于原始YOLACT模型分割精度,分别提高4.66%、3.76%和7.04%,推理速度达到34.99帧/s,满足实时检测需求。实验结果验证了本文算法对红外甲烷泄漏检测的有效性和工程实用性。

多阶段帧对齐的视频超分辨率重建网络

视频超分辨率(Video-Super Resolution,VSR)旨在将低分辨率视频帧序列重建为高分辨率视频帧序列。相较于图像超分辨率,VSR由于增加了时间维度的信息,因此通常需要依赖邻近帧高度相关信息实现当前帧的重建。如何对齐相邻帧,并获取帧间高度相关信息,是VSR任务关注的重点问题。本文将VSR任务分为去模糊、对齐、重建三个阶段。在去模糊阶段,将当前帧与相邻帧进行预对齐,获取与当前帧高度相关的特征信息,通过强化当前帧的细节以便实现初始阶段更多特征信息的提取。在对齐阶段,通过对输入特征进行二次对齐操作,利用相邻帧中高度相关信息进一步强化当前帧中特征信息。在重建阶段,通过聚合原始低分辨率帧以在网络末端提供更多特征信息。本文利用多层感知机(Multi-Layer Perceptron,MLP)代替传统卷积操作构造特征提取模块,同时对生成的特征信息进行二次对齐,以细化图像特征获得更优的视频帧重建效果。实验结果表明,本文提出的算法在多种公开数据集上的视频帧序列重建精度更高的同时,也取得了更少的网络参数量和更连贯的视频序列重建表现。

多注意力融合的环高原湖泊遥感影像分割

环高原湖泊区域土地类别监测为湖泊生态保护和土地资源规划提供了决策依据.针对此区域遥感影像中河流、建筑物及植被目标分布零散、尺度不均导致分割精度较低的问题,设计了融合类别与多尺度注意力的遥感语义分割网络.该网络采用编码-解码的端到端结构并以深度残差神经网络为基础构建类别与多尺度注意力模块.类别注意力对网络特征层进行初步分类与空间信息过滤,有利于网络关注类别信息以降低像素分类误差;多尺度注意力将混合域注意力和多尺度特征进行融合,为不同尺度特征建立上下文联系,改善分布零散小尺度目标固有的分割消弥问题.实验结果表明,在建立的环滇池区域遥感影像语义分割数据集上,本文设计的注意力融合语义分割网络测试精度在平均交并比和平均像素精度指标下分别达到77.4%和86.3%.从整体分割效果来看,融合类别与多尺度注意力分割网络在一定程度上解决了分布零散小尺度目标区域的分割消弥问题,对环高原湖泊区域精准监测和科学规划提供了有效依据.

空间信息自适应调控和特征对齐的红外甲烷实例分割

传统接触式甲烷泄漏传感器检测范围小且效率低,而结合非接触式红外热成像的机器视觉算法可实现远距离、大范围红外甲烷实例分割,对于提高甲烷检测效率及保障人员安全具有显著优势。然而远距离甲烷气体图像轮廓模糊、泄漏的甲烷气体与背景对比度较低且形状易受大气流动因素影响等问题限制了红外甲烷实例分割性能。针对上述问题,本文提出一种空间信息自适应调控和特征对齐的网络模型(Adaptive spatial information regulation and Feature alignment Network,AFNet)实现甲烷泄漏红外实例分割。首先,为增强模型的特征提取能力,提出自适应空间信息调控模块赋予主干网络不同尺度残差块自适应权重丰富模型提取的特征空间;其次,构建加权双向金字塔弥补特征金字塔自顶而下的特征传播方式导致的低层特征空间位置和实例边缘信息弥散丢失问题,以适应甲烷气体复杂轮廓变化下前景目标定位检测和轮廓分割需求。最后,设计原型特征对齐模块捕获长距离气体特征之间的语义关系丰富原型语义信息量以改善生成目标掩码质量提高甲烷气体分割精度。实验结果表明,本文提出的AFNet模型AP50@95,AP50定量分割精度分别达到42.42%,92.18%,相比于原始Yolact模型分割精度,分别提高9.79%,6.18%,推理速度达到36.80 frame/s,满足甲烷泄漏分割需求。实验结果验证了本文算法对红外甲烷泄漏分割的有效性和工程实用性。

掩码生成动态调控弱监督视频实例分割

针对全监督视频实例分割网络训练数据高度依赖精细掩码标注,时间和人工成本过高,导致智能机器无法快速适应新场景的问题,提出一种端到端的掩码生成动态调控弱监督视频实例分割(Weakly Supervised Video Instance Segmentation,WSVIS)网络。为克服初始掩码预测层通道维度突降导致的实例激活特征丢失问题,构建多级特征融合模块,利用特征复用策略预测初始实例特征并融合相对位置信息生成初始预测掩码。然后,提出动态调控机制在通道和空间维度上建立掩码特征依赖关系,强化初始预测掩码与实例感知信息之间的动态交互。最后,网络设计二元颜色相似性生成伪亲和标签取代精细掩码标注,联合边界框与掩码一致性损失实现仅边界框标注的弱监督视频实例分割。实验结果表明,在BoxSet和YT-VIS数据集上,WSVIS网络能达到与全监督网络相近的分割精度和分割效果,同时能够满足实时推理要求,为智能机器快速适应新场景实现实时环境感知和理解提供了理论支撑和算法依据。

自适应调控卷积与双路信息嵌入的城市街景实例分割

城市街道场景实例分割是无人驾驶不可忽略的关键技术之一,针对城市街景实例密集、边缘模糊以及背景干扰严重等问题,提出一种自适应调控卷积与双路信息嵌入的城市街景实例分割模型RENet.首先使用自适应调控卷积替代原有的残差结构,利用可变形卷积学习空间采样位置偏移量,提高模型对图像复杂形变的建模能力,同时对多分支结构进行通道混洗以加强不同通道间的信息流动,并应用注意力机制实现通道权重的自适应校准,提高模型对复杂场景下模糊、密集目标的分割精度;然后设计低维空间信息嵌入分支,对不同尺度特征图进行空间信息激励与重编码,在抽象语义特征中嵌入低维空间信息,提高模型轮廓分割准确性;最后引入高级语义信息嵌入模块,实现特征图与语义框的对齐,弥补特征图间语义与分辨率的差距,提高不同尺度下特征信息融合的有效性.在自建数据集上的实验结果表明,与原始YOLACT网络模型相比,RENet模型在复杂街道背景下的平均分割精度最高达到51.6%,提高了10.4个百分点;网络推理速度达到17.5帧/s,验证了该模型的有效性和在工程中的实用性.

红外行人目标精细尺度嵌入轻量化实时检测

针对红外图像颜色、纹理等信息不够丰富,导致检测精度相较于可见光图像低;夜间红外行人目标检测模型参数量大、依赖高性能GPU资源,导致检测速度慢等问题,提出一种融合行人目标精细尺度嵌入的多检测层、轻量化实时检测模型。首先为了获取更精确的红外行人位置特征,在原始Yolov4-tiny结构上设计了64×64精细尺度检测层并增加残差结构加深主干网络,以融合红外行人的位置特征;其次针对红外行人目标宽高比相对固定的特点,应用K-means++聚类分析出适用于红外行人检测的先验框预置参数;最后为了减少模型参数,通过通批量归一化层道剪枝实现模型轻量化,同时利用知识蒸馏算法完成TIPRD的微量调控。实验结果表明,轻量化红外行人实时检测模型检测速度达到了88.7帧/s,平均检测精度达到89.2%,模型大小为4 MB,相较于Yolov4-tiny平均检测精度提升了8.6%,模型大小缩小了19.5 MB,相较于Yolov4缩小了264 MB。在Jetson Nano移动开发平台部署该模型验证了实际工程应用的有效性,对开发汽车辅助驾驶系统以降低夜间交通事故发生率具有重要意义。

基于轻型调控网络的下茧机器视觉实时检测

针对蚕茧加工过程中人工目测下茧效率低的问题,采用机器视觉的检测方法代替人工检测下茧。首先,根据图像采集系统成像的景深为线阵扫描相机选择合适的拍摄距离,并通过采样频率的计算进一步配置图像采集系统的参数;然后,用采集得到的线阵图像合成面阵图像构建下茧检测数据集;最后,以YOLO v4目标检测模型为基础模型设计出下茧实时检测模型(Inferior cocoons net,ICNet)。该模型通过K-means算法对下茧检测数据集聚类分析来预置候选框参数提升模型精度;采用模型深度调控的方法进行模型压缩,以降低模型权重所占储存空间,提升模型速度;设计轻量级卷积模块构建轻量级特征提取网络进一步提升模型的速度。实验结果表明,本文设计的ICNet下茧实时检测模型较原YOLO v4基础模型平均检测精度提升1.87个百分点,达到95.55%,模型权重所占储存空间压缩40.82%,降为145.00 MB,平均检测速度提升91.65%,达到49.37帧/s。

包装印刷机械气动离合压控制系统设计

为包装印刷机械设计了一种新型的气压传动离合压控制系统,以替代现有的凸轮-连杆式机械传动离合压机构。介绍了平版包装印刷机械的离合压工艺过程,确定了控制器的型号、高速计数器设置、I/O地址分配、硬件电路及软件设计框图。对于提高国产包装印刷机械的设计水平和产品档次,缩短与国外先进印刷机的差距有着一定的实际意义。

基于可编程控制的胶印机气动离合压自动化系统设计

该文根据印刷过程中离合压工艺和时间要求 ,设计了以PLC为控制器的胶印机气动离合压自动化控制系统。并通过PLC和人机界面的串行通信技术 。

包装印刷设备离合压机构气动系统设计

为包装印刷设备设计了一种新型的离合压机构气压传动系统,以实现离合压工艺自动化。文中设计计算了气缸的缸径、行程、供气压力和输出力,确定了传动气缸的型号,对气缸进行稳定性验算,并绘制了气动系统图。本研究对于提高国产包装印刷设备设计水平,缩短与国外先进印刷机的差距有着一定的实际意义。

三点悬浮式离合压机构动力学分析

在分析顺序离合压时间的基础上,建立三点悬浮式离合压机构等效简图,用复数矢量法对其进行动力学分析,确定橡皮滚筒在合压过程中的运动规律,以保证合压瞬时滚筒之间柔性冲击的设计要求.对提高印刷机整机性能和印品质量具有一定的实际意义.

基于模型压缩与感受野增强的下茧实时检测

针对目前选茧时下茧检测主要依赖人工目测,工作效率低的问题,提出一种基于锚点框参数预置、通道剪枝和嵌入感受野模块改进的轻量化下茧实时检测模型。首先,通过K-means聚类分析出适用于下茧检测的锚点框以预置YOLOv3模型参数;然后,根据预设的剪枝率对稀疏化训练后的模型进行基于批量正则化层缩放因子的模型剪枝,以此压缩模型的大小;最后,在剪枝后的模型中嵌入感受野模块,使模型的感受野变大,增强模型的辨别能力和鲁棒性。实验结果表明:提出的下茧实时检测模型大小为46.90 M,平均检测速度达到50.18帧/s,平均检测精度为96.80%,较原YOLOv3模型参数压缩了79.96%,平均检测速度提高了60.63%,平均检测精度提高了3.20%。