基于像素分配的文本检测方法研究

针对现有方法在场景文本检测上的不足,提出一种基于像素分配方的场景文本检测方法,并采用了交叉注意力模块和多尺度特征自适应模块来分别在空间和和通道上优化特征提取;为了丰富不同尺度的特征表示,采用多尺度特征自适应模块进行自动分配不同尺度特征的权重;为了有效获取上下文信息,将特征网络提取到的特征送入交叉注意力模块;对每个像素,在其所在的水平路径和垂直路径上收集上下文信息;再通过循环操作,每一个像素便可以在全图范围内获取上下文信息;通过全卷积网络方法,使用多任务学习框架学习文本实例的几何特征,结合多任务学习的结果完成像素到文本框的分配,经过简单处理后重建文本实例的多边形边界框;在任意形状公开数据集Total-text上进行测试,文章方法的召回率、精确率、F值分别为75.71%、89.15%、81.89%,在多方向公开数据集ICDAR2015上也表现良好,经实验得召回率、精确率、F值分别为79.06%、89.24%、83.84%,证明了文章方法的有效性。

基于轻量级卷积神经网络的载波芯片缺陷检测

载波芯片(chip on carrier,COC)是光发射次模块(transmitter optical subassembly,TOSA)的重要组成部分,被广泛应用于光通信领域,实现光电转换。针对载波芯片崩口、定位柱破损以及波导污渍三种不同类别缺陷的实时检测问题,提出了一种基于轻量级卷积神经网络的载波芯片缺陷检测算法YOLO-Efficientnet。为了减少网络参数,缩短检测时间,采用轻量级卷积神经网络Efficientnet作为主干网络对图像进行特征提取,在移动翻转瓶颈卷积(MBConv)的基础上,引入了压缩与激发网络(SENet)的注意力思想,在通道维度上引入注意力机制;为了解决下采样的过程中导致信息丢失的问题,引入空间金字塔池化(SPP)结构来增大图像的感受野,分离出更加显著的上下文特征。针对COC缺陷多尺度以及波导区域污渍小目标难以检测的问题,引入了PANet结构进行多尺度特征融合。实验结果表明,提出的算法对COC缺陷检测的准确率达到了98.5%,检测时间达到每张图片0.42 s,满足实时检测的需求。

基于改进YOLOV4的陶瓷基板瑕疵检测

陶瓷基板是半导体元器件的重要基础材料,其瑕疵检测对保证产品质量具有重要的意义。提出了一种基于改进YOLOV4网络的陶瓷基板瑕疵自动检测方法。针对陶瓷基板瑕疵尺寸较小、颜色形状多变以及不同类瑕疵间尺寸变化较大导致的瑕疵检测困难问题,改进的YOLOV4网络通过借鉴Complete Intersection over Union(CIoU)思想优化初始先验框设计,引入基于梯度协调机制的置信度损失函数和十字交叉注意力网络来改善缺陷检测能力。实验结果表明,基于改进YOLOV4的陶瓷基板瑕疵检测方法对于陶瓷基板污染、异物、多金、缺瓷以及损伤这5类瑕疵检测的平均准确性达到98.3%,可满足工业现场对陶瓷基板瑕疵的检测精度要求。

基于知识蒸馏的低分辨率陶瓷基板图像瑕疵检测

陶瓷基板是电子器件的重要基础材料,利用机器视觉技术结合深度学习策略实现陶瓷基板的瑕疵检测对保证产品质量具有重要的意义。增加成像设备的视场以实现多个陶瓷基板的同时成像,可以显著提高陶瓷基板的检测速度;但也带来了图像分辨率的降低,并最终导致瑕疵检测精度的降低。针对上述问题,本文提出了一种基于知识蒸馏的低分辨率陶瓷基板瑕疵自动检测方法。该方法利用YOLOv5框架分别构建了教师网络和学生网络,基于知识蒸馏思想将教师网络获得的高分辨率图像特征信息指导学生网络的训练,以提高学生网络对低分辨率陶瓷基板图像的瑕疵检测能力;同时,在教师网络中引入基于Coordinate Attention(CA)注意力思想的特征融合模块,使得教师网络学习到的特征同时适应高分辨率图像信息和低分辨率图像信息,从而能较好地指导学生网络的训练;最后,引入基于Gradient Harmonizing Mechanism(GHM)的置信度损失函数,以提高瑕疵的检出率。实验结果表明,本文基于知识蒸馏的陶瓷基板瑕疵检测方法对于224×224分辨率输入图像的污渍、异物、多金、缺瓷以及损伤这五类瑕疵检测的平均准确率和平均召回率分别达到了96.80%和90.01%,相比于目前主流的目标检测算法,本文算法取得了更好的检测结果。

基于改进YOLOV3的载波芯片缺陷检测

载波芯片(COC)是光发射次模块的重要组成部分,随着芯片制造工艺的进步,COC向着微型化、高密度的方向发展,缺陷的种类变得更加复杂多样,基于传统图像处理方法的光学检测技术已无法满足COC多类别缺陷检测的需求。为此,将YOLOV3网络引入到COC的典型缺陷(崩口、定位柱破损以及波导污渍)检测。针对波导污渍缺陷目标较小,且不同类型缺陷之间尺度变化较大的问题,改进了原有YOLOV3的特征提取网络,兼顾目标的多尺度特性设计了4个检测尺度,并通过增强特征融合来改进多尺度检测;利用K-means方法对数据集进行聚类分析,选取优化的初始先验框。实验结果表明,本文基于改进YOLOV3的COC缺陷检测方法 YOLOV3-COC对于COC崩口、定位柱破损以及波导污渍这三类缺陷检测的准确性达到97.4%。