(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111647594.1 (22)申请日 2021.12.2 9 (71)申请人 南京拟态智能技 术研究院有限公司 地址 210013 江苏省南京市 鼓楼区古平岗4 号 (72)发明人 张国和　丁莎　陈琳　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 毕东峰 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) (54)发明名称 一种基于深度学习方法的芯片缺陷检测方 法 (57)摘要 本发明公开了一种基于深度学习方法的芯 片缺陷检测方法， 所述方法包括以下步骤： 1)按 照实际应用的工业芯片缺陷分类对芯片缺陷图 片进行标注， 分别制作芯片缺陷分类数据集和芯 片缺陷定位检测数据集； 2)基于VGG16网络和 ResNet50网络对芯片是否存在缺陷分别进行分 类检测； 3)基于深度学习网络对芯片缺陷进行定 位检测； 4)分别采用固定剪裁率剪枝和基于敏 感 度分析剪枝方式对深度学习网络模型进行通道 剪枝， 本发明采用VGG16网络和ResNet50网络分 别对芯片是否存在缺陷进行分类， 采用深度学习 算法进行芯片缺陷目标检测， 提高了工业芯片缺 陷检测效率和质量。 权利要求书2页 说明书7页 附图5页 CN 114463269 A 2022.05.10 CN 114463269 A 1.一种基于深度学习方法的芯片缺陷检测方法， 其特 征在于， 所述方法包括以下步骤： 1)按照实际应用的工业芯片缺陷分类对芯片缺陷图片进行标注， 分别制作芯片缺陷分 类数据集和芯片缺陷定位检测数据集； 2)基于VG G16网络和ResNet5 0网络对芯片是否存在缺陷分别进行分类 检测； 3)基于深度学习网络对芯片缺陷进行定位检测； 4)分别采用固定剪裁率剪枝和基于敏感度分析剪枝方式对深度学习 网络模型进行通 道剪枝。 2.根据权利要求1所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤3)中基于深度学习算法的芯片定位 缺陷检测包括以下步骤： 1.1)首先将芯片缺陷图片分成小区域， 然后使用Darknet53网络作为特征提取骨干网 络， 采用残差网络结构来降低降低深层 网络训练的难度， 采用堆叠的小卷积核进行特征提 取， 并采用1 ×1的卷积核来降低网络的参数量； 1.2)应用标签平滑的方法， 在类别标签上增加噪声， 并采用Leaky  Relu激活函数来对 神经单元的输出进行激活； 1.3)目标检测网络采用特 征金字塔FPN 算法， 采用多尺度对不同尺寸的目标进行检测； 1.4)依据网络预测的输出结果和真实的输出结果来建立损失函数， 并通过反向传播不 断更新参数， 让网络预测的输出 结果逼近真实输出 结果； 1.5)对预测的结果和标注的真实框进行对比， 根据预测的分类是否正确和损失函数是 否达到阈值， 并采用不同损失函数对 模型进行优化。 3.根据权利要求2所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤1.4)中， 对于每个预测 框建立三种类型的损失函数， 分别为表征是否包含目标物体的损 失函数， 表征目标位置的损失函数和表征目标类别的损失函数。 4.根据权利要求1所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤4)中对深度学习算法的三个输出分支分别使用经验剪裁率进 行剪枝， 并对输出分支的裁 剪率进行敏感度分析， 设定一组所要剪裁部分网络依 次剪掉的通道数， 分别计算在相 应的 剪裁率下最终损失函数的增长情况。 5.根据权利要求4所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤4)中， 根据敏感度和精度损失 阈值计算出一组合适的剪裁率， 用来对模型进 行剪裁， 随着 剪裁率的增大， 被剪裁掉的通道数也越多， 网络的表达能力变弱， 对模型预测的损失函数升 高。 6.根据权利要求4所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤4)中， 按照两种剪 裁率的选择 方法对深度学习网络模块 通道剪枝。 7.根据权利要求1所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤1)中芯片缺陷分类数据集中， 按照图片中是否存在芯片缺陷分为两类， 芯片缺陷定位检 测数据集中， 按照工业缺陷种类分为八类， 将带标签的图片划分为训练集、 验证集和测试 集。 8.根据权利要求1所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤2)中， 采用VGG16网络来建立缺陷检测分类模型， 训练方法采用动量梯度下降法， 采用权 重衰减法进行正则化， 对网络输出结果采用softmax函数进 行处理， 损失函数采用和方差损权　利　要　求　书 1/2 页 2 CN 114463269 A 2失函数。 9.根据权利要求2所述的一种基于深度 学习方法的芯片缺陷检测方法， 其特征在于， 步 骤1.5)中， 不同损失函数包括 IoU、 GIoU、 CIoU、 Gaussian损失函数及focal  loss损失函数。 10.根据权利要求8所述的一种基于深度学习方法的芯片缺陷检测方法， 其特征在于， 步骤2)中， 采用ResNet50网络来建立缺陷检测分类模 型， 减少输出层前一层的卷积核个数， 训练参数和VG G16分类检测中保持一 致。权　利　要　求　书 2/2 页 3 CN 114463269 A 3