基于机器视觉的芯片缺陷检测研究进展

半导体芯片作为集成电路的重要组成部分,对其质量要求越来越高,因芯片在小型化、高密度的制造过程中产生缺陷,进而影响了芯片的性能和寿命。因此,缺陷的检测与识别对芯片可靠性的提升十分重要。综述了近10年来国内外基于机器视觉的芯片缺陷检测方法的研究进展。首先介绍了芯片的制造流程以及当前主流的芯片封装技术。然后概述了用于芯片缺陷成像的主流无损检测技术,主要包括光学成像、声学成像、红外热成像、电磁成像与X射线成像等技术。接着分别重点阐述了基于传统技术和基于深度学习的芯片表面的缺陷检测方法。随后按照缺陷部位比较分析了芯片封装体的缺陷检测方法。最后总结芯片缺陷检测当前存在的问题,对未来的研究方向进行了展望。

基于YOLOv3的芯片缺陷检测模型设计与优化

传统的芯片缺陷检测效率低,鉴于深度学习在机器视觉领域应用广泛且效果显著,基于YOLOv3神经网络模型设计了微波芯片缺陷检测模型并加以优化。将原来的损失函数改为完全交并比(CIoU)损失函数,以优化真实框与预测框之间重合度的计算方法;增加了空间金字塔池化(SPP)结构,以实现不同尺寸特征融合;用高效的k-means++聚类算法计算出更加适用于微波芯片缺陷数据集的初始锚框;采用空间注意力机制(SAM)提高模型对芯片缺陷图像的关注能力。实验结果表明,与YOLOv3模型相比,优化后的模型在芯片缺陷检测方面效果更佳,mAP@0.5提高了2.06%,mAP@[0.5∶0.95]提高了17.52%。

基于改进YOLOv8的SOP芯片缺陷检测研究

针对SOP芯片缺陷检测中因缺陷特征相似、缺陷目标小、缺陷尺度差异大造成的检测精度低的问题,本文提出基于改进YOLOv8的缺陷检测方法。通过使用SPD-Conv模块解决卷积池化过程中的信息丢失问题,并引入SimAM注意力机制,使模型学习三维通道中的信息,提高模型对缺陷特征的感知能力;同时使用BiFPN代替原特征提取网络,使用双向传递的多尺度特征融合,使模型能更好的区分拥有相似特征和尺度差异大的缺陷;最后增加一个小目标检测头,传递更多的低阶特征信息给高维检测网络,提高对小目标缺陷的检测效果。实验数据表明,该模型相比原模型mAP@0.5提高了5.4%,mAP@0.95提高了4.3%,召回率提高了3%,和其他模型相比有着显著优势。泛化实验中改进算法的mAP@0.5相比原模型也提升了2.7%,并设计了相关系统验证了算法的有效性。

基于融合注意力的多尺度芯片缺陷检测算法

芯片的表面缺陷检测在半导体制造中具有重要意义,针对目前芯片表面缺陷面积小,缺陷外形多变,缺陷尺寸跨度大的情况,提出一种基于YOLOv5改进的芯片表面缺陷检测算法,首先基于ConvNext网络改进特征提取模块,提升网络稳定性和特征表达能力,同时提出增强卷积注意力模块(ehanced convolutional block attention module,E_CBAM),将更详细的位置信息嵌入到卷积注意力(convolutional block attention module,CBAM)之中,提升整个网络对于小面积及边缘缺陷的检测能力,而针对芯片缺陷多变尺寸跨度大的问题,研究引入了可变形卷积和双向特征金字塔网络(bi-directional feature pyramid network,BiFPN),一方面可变形卷积对于外形不规则的卷积有更好的提取能力,另一方面Neck部分的BiFPN在简化结构的同时保证了多尺度融合的准确性。经过实验表明,改进后的网络在芯片表面缺陷数据集(chip defect dataset,CDD)上,平均精度均值(mAP)mAP@0.5指标达到95.3%,相较于原始的YOLOv5s网络提升了3.1%,在没有过多增加网络参数的情况下,对芯片表面缺陷的精度更高,鲁棒性更强。

基于YOLOv5-EA-FPNs的芯片缺陷检测方法研究

针对芯片缺陷检测中,缺陷尺寸跨度大、特征相似、小目标难识别、漏检等问题,本文提出基于YOLOv5改进的缺陷检测方法。针对小目标缺陷检测中出现的漏检、误检等问题,提出新增小目标特征检测器(small target feature detector,S-Detector),提升模型对小目标缺陷的学习能力;针对缺陷尺寸跨度大、特征相似等问题,提出具有高效聚焦学习能力的特征金字塔结构(efficient attention feature pyramid networks,EA-FPNs),提升模型对不同尺寸缺陷的检测能力;针对预测阶段冗余框较多导致时间开销大的问题,提出基于面积的边界框融合算法(bounding box fusion algorithm,BFA),减少冗余框。实验结果表明,本文方法相较于改进前,检测精确度提升1.2%,小目标缺陷精确度提升1.6%;采用BFA消除冗余框的同时,平均检测时长为26.8μs/张,较使用BFA前减少了5.2μs。本文所提方法具有良好性能,能够提升检测效率。

多通道数字集成芯片缺陷的线激光锁相热成像检测

当前检测多通道数字集成芯片缺陷时,存在清晰度低、疲劳极限精度低以及检测精度低的问题,提出多通道数字集成芯片缺陷的线激光锁相热成像检测方法。利用可视化算法,通过激光锁相热成像方法采集多通道数字集成芯片图像,采用Holder指数运算锁相幅度图像中所有断连的图像,利用激光扫描再次进行图像成像处理,通过主成分分析法提取不连续图像的特征,实现芯片缺陷的检测。结果表明,本方法在第10秒完成清晰成像,疲劳极限精度较高,对芯片进行缺陷检测的精度最高,证明了本方法在实际应用中具有较好的实用性。

基于改进模板匹配的芯片缺陷检测方法

提出了一种改进的模板匹配方法。该方法是在传统的模板匹配方法的基础上,通过对模板匹配算法的改进,以达到更快速的匹配结果。实验结果表明,此方法可以快速测出管脚个数及间距.系统检测精度高,实时性好,满足在线检测的要求。

基于轻量级卷积神经网络的载波芯片缺陷检测

载波芯片(chip on carrier,COC)是光发射次模块(transmitter optical subassembly,TOSA)的重要组成部分,被广泛应用于光通信领域,实现光电转换。针对载波芯片崩口、定位柱破损以及波导污渍三种不同类别缺陷的实时检测问题,提出了一种基于轻量级卷积神经网络的载波芯片缺陷检测算法YOLO-Efficientnet。为了减少网络参数,缩短检测时间,采用轻量级卷积神经网络Efficientnet作为主干网络对图像进行特征提取,在移动翻转瓶颈卷积(MBConv)的基础上,引入了压缩与激发网络(SENet)的注意力思想,在通道维度上引入注意力机制;为了解决下采样的过程中导致信息丢失的问题,引入空间金字塔池化(SPP)结构来增大图像的感受野,分离出更加显著的上下文特征。针对COC缺陷多尺度以及波导区域污渍小目标难以检测的问题,引入了PANet结构进行多尺度特征融合。实验结果表明,提出的算法对COC缺陷检测的准确率达到了98.5%,检测时间达到每张图片0.42 s,满足实时检测的需求。

基于机器视觉的LED芯片缺陷检测系统研究

近年来计算机及信息技术飞速发展,并在各个领域得到了广泛应用,极大地促进了社会的发展。数字图像处理技术以其高效准确性,在工业产品缺陷检测中发挥了重要作用。利用该技术可以代替人工检测,极大地提高了工作效率,降低了人工成本,增加了企业收益。因此,研究基于图像处理的LED芯片缺陷检测系统,对比不同LED芯片缺陷类型及传统检测方法的优缺点,分析图像处理技术的优越性及应用,并进一步详细说明基于该技术进行LED芯片缺陷检测的过程及实现,对提高产品质量、生产效率以及企业收入具有重要意义。

基于移动GPU的芯片封装缺陷检测技术

为确保芯片料带生产品质符合要求,生产厂商需要进行芯片封装缺陷检测。随着生产效率的不断提升,生产场景中亟需一种对原有生产线改造成本低且高效的多路生产线检测方法。因此对基于移动GPU平台的缺陷检测技术进行研究,利用GPU中大量并行线程,以图像粒度的并行方式执行检测计算以提高多路生产线检测效率。每个线程利用图像处理方法进行特征分析,对图像中不同区域进行相应的缺陷检测。实验结果表明,在50条生产线,每张采集图像包含10个待测区域的检测场景下,相比CPU检测方法获得15.02倍的加速比。

强化空间感知的多尺度芯片表面缺陷检测算法

在检测芯片表面缺陷时,多尺度和不规则形变的缺陷导致模型难以精准定位并正确聚类,为此,提出一种改进YOLOv5网络的芯片表面缺陷检测框架。利用基于边缘信息的数据增强策略,降低芯片走线的背景纹理,增强不规则边缘的输入特征;提出多尺度空间感知池化层MSSPP(multi-scale spatial perception pooling layer)强化网络对多尺度目标的空间定位能力和高维特征提取能力;引入ConvNext模块和RFB模块优化网络检测性能、丰富模型的感受野;最后,通过难分样本重检策略过滤错误目标、重检混淆目标,提高模型的识别精度。实验结果表明:相较于典型的目标检测算法,提出算法的识别精度更高、鲁棒性更强。在芯片表面缺陷数据集上,mAP0.5指标达到95.5%,可为芯片表面质检任务提供高精度的缺陷检测方案。

基于改进YOLOv5的轻量级芯片封装缺陷检测方法

目的 针对芯片封装缺陷检测过程中检测精度低与模型难部署的问题,提出YOLOv5-SPM检测网络,旨在提高检测精度并实现模型轻量化。方法 首先,通过在特征提取模块后增加通道注意力机制,提高缺陷通道的关注度,减少冗余特征的干扰,进而提升目标的检测精度。其次,在主干网络与颈部网络连接处使用快速特征金字塔结构,更好地融合了自建芯片数据集的多尺度特征信息。最后,将主干网络的特征提取模块更换为MobileNetV3,将常规卷积更换为深度卷积和点卷积,有效降低了模型尺寸和计算量。结果 经过改进后的新网络YOLOv5s-SPM在模型参数下降29.5%的情况下,平均精度较原网络提高了0.6%,准确率提高了3.2%。结论 新网络相较于传统网络在芯片缺陷检测任务中实现了模型精度与速度的统一提高,同时由于模型参数减小了29.5%,更适合部署在资源有限的工业嵌入式设备上。

基于改进的机器学习芯片引脚及表面缺陷检测设计与实现

现如今芯片不断精密化,芯片的检测难度也越来越高,如利用人工来检测芯片缺陷,面临着耗费人力、检测难度大、误判率高等问题,本文设计了一个基于改进机器学习芯片引脚及表面缺陷检测系统,通过对芯片的各种状态进行采集,对采集的图片或视频进行数据标注,利用YOLOV5目标检测模型进行训练,结合芯片的特征点对采集到的图像进行分析,结合训练模型标准来判定芯片是否有缺陷,将检测到的芯片图像在GUI 界面显示检测结果。

IC芯片管脚缺陷在线视觉检测系统研究

利用图象顺序形态学以及基于知识的阈值选择算法对IC图象进行预处理,具有运算量小、速度快和有效的特点。检测过程采用Blob分析,引入质量控制图方法分析系统误差对系统稳定性的影响,计算了检测系统的工序能力。系统检测精度高,实时性好,满足在线检测的要求。

基于机器视觉的SOP芯片引脚缺陷检测系统设计

为解决人工检测SOP芯片引脚缺陷所存在的诸多问题,设计一套基于机器视觉的SOP芯片引脚缺陷自动检测系统。系统采用ARM-DSP双核架构快速地实现图像采集、处理和特征提取以及外围应用功能,设计基于动态阈值的快速分割算法来获取芯片的特征图像,采用灰度跃变检测引脚中点、中点直线拟合和引脚间距统计等方法实现对SOP芯片引脚缺陷的自动检测。实验结果表明该系统快速、准确、可行。

基于改进YOLOV3的载波芯片缺陷检测

载波芯片(COC)是光发射次模块的重要组成部分,随着芯片制造工艺的进步,COC向着微型化、高密度的方向发展,缺陷的种类变得更加复杂多样,基于传统图像处理方法的光学检测技术已无法满足COC多类别缺陷检测的需求。为此,将YOLOV3网络引入到COC的典型缺陷(崩口、定位柱破损以及波导污渍)检测。针对波导污渍缺陷目标较小,且不同类型缺陷之间尺度变化较大的问题,改进了原有YOLOV3的特征提取网络,兼顾目标的多尺度特性设计了4个检测尺度,并通过增强特征融合来改进多尺度检测;利用K-means方法对数据集进行聚类分析,选取优化的初始先验框。实验结果表明,本文基于改进YOLOV3的COC缺陷检测方法 YOLOV3-COC对于COC崩口、定位柱破损以及波导污渍这三类缺陷检测的准确性达到97.4%。

基于卷积去噪自编码器的芯片表面弱缺陷检测方法

芯片表面缺陷会影响芯片的外观和性能,因此表面缺陷检测是芯片生产过程中的重要环节。具有缺陷与背景对比度低、缺陷较小等特点的弱缺陷给传统检测方法带来了挑战。因为近年来深度学习在机器视觉领域展现出了强大的能力,所以文中采用基于深度学习的方法来研究芯片表面弱缺陷的检测问题。该方法将芯片表面缺陷看作噪音,首先应用卷积去噪自编码器(Convolutional Denoising Auto-encoders,CDAE)重构无缺陷图像,然后用重构的无缺陷图像减去输入图像,获得包含缺陷信息的残差图。因为残差图中已经消除了背景的影响,所以最后可以基于残差图较容易地进行缺陷检测。由于基于CDAE重构芯片背景的无缺陷图像时存在随机噪音,导致弱缺陷可能会湮没在重构噪音中,为此,文中提出了重叠分块策略抑制重构噪音,以便更好地检测弱缺陷。因为CDAE是无监督学习网络,所以训练时无需进行大量的人工数据标注,这进一步增强了该方法的可应用性。通过对真实芯片表面数据进行测试,验证了所提方法在芯片表面检测上的有效性。

基于人工智能的芯片表面缺陷检测研究

为了准确地检测芯片的表面缺陷,提出了一种基于反向传播神经网络(BPNN)的检测算法。首先,中值滤波方法被用于滤除芯片表面图像的噪声;然后,提取芯片表面缺陷的Hu不变矩特征和局部二值模式(LBP)特征,并采用核主成分分析(KPCA)算法降维级联后的特征;最后,离线学习芯片表面正常模式和各种缺陷模式的BPNN模型。在线检测时使用BPNN判断芯片是否存在表面缺陷,使用最近邻(Nearest Neighbor, NN)算法具体分类缺陷的模式。提出算法在芯片表面图像数据库中的检测准确率为88.41%,可以应用于芯片生产线中的表面缺陷检测。

CMOS芯片键合失效分析与研究

通过对CMOS芯片引线键合过程中发生铝焊盘剥落和出现"弹坑"两种现象进行分析,明确了该类故障现象的发生是由于键合焊盘受到了不同程度的机械作用而产生的不同程度的损伤。对可能造成该类故障现象的因素进行分析,主要因素有:芯片自身存在结构薄弱或原始缺陷,键合材料、键合参数等匹配不佳,操作中引入的不当因素等。对引线键合的方式和原材料进行优化,选定自动金球键合工艺,并采用单一变量法和正交优化法对自动金球键合的工艺参数进行优化,给出了自动金球键合工艺参数优选范围。通过环境试验对CMOS芯片自动金球键合工艺进行了可靠性评价。

应用于产品表面缺陷检测的神经网络IBS-Net

通过将深度学习的两阶段目标检测算法应用于表面缺陷检测中,并依据产品表面缺陷的特性改进网络,提出了IBS-Net算法,实现缺陷的分类识别与定位。IBS-Net改进在于提出了特征相关的非极大抑制方法(FR-NMS)和正样本扩充方法(PSA),依赖特征层间语义关系筛选候选框,将含有局部缺陷信息的候选框作为半正样本以辅助分类任务,体现由部分缺陷推知整体缺陷的思路;其次,利用缺陷之间的互斥性,提出了多类别非极大抑制方法(CR-NMS)应用于后处理阶段,以优化预测结果;此外,利用缺陷之间的重要性差异,改进了表面缺陷检测评估方法。实验结果表明:IBS-Net对13类芯片表面缺陷和6类热轧钢带表面缺陷的检测综合精准度分别达94.8%和89.2%,证明本算法具有良好的有效性和工程应用价值。