(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210588526.0 (22)申请日 2022.05.26 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 孙进　梁立　刘芳军　杨志勇　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东　季雯 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01)G06V 10/762(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于并行注 意力补偿 机制的FPN晶圆表 面缺 陷检测方法 (57)摘要 本发明公开了基于并行注意力补偿机制的 FPN晶圆表面缺陷检测方法， 包 括： 1） 基于ResNet 网络进行晶圆特征提取； 2） 融合注意力的特征图 金字塔网络A ‑FPN对特征图进行细分化； 3） 基于 K‑means聚类改进锚框的大小生成； 4） 得到候选 区域进行分类及回归。 本发明融合注 意力的改进 的FPN来抑制复杂的电路图案背景， 避免了微小 缺陷的误检和漏检； 对于高层特征通道融合空间 注意力机制， 对存在明显的缺陷区域赋予更大权 重； 对于底层通道融合通道注意力机制， 对位置 以及轮廓信息之外的通道减小其权重， 实现并行 融入FPN结构； 采用K ‑means聚类方法， 重新生成 锚框， 针对晶圆缺陷据集， 找到合适的宽高比的 锚框。 对具有复杂背景的晶圆， 进行缺陷检测， 避 免了微小缺陷的误检和漏检 。 权利要求书2页 说明书5页 附图5页 CN 114820580 A 2022.07.29 CN 114820580 A 1.一种基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法， 其特征在于， 包括以下 步骤： 步骤1)基于ResNet网络进行晶圆特 征提取； 步骤2)融合注意力的特 征图金字塔网络A ‑FPN对特征图进行细分化； 步骤3)基于K ‑means聚类改进锚框的大小生成； 步骤4)得到候选区域进行分类及回归。 2.根据权利要求1所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法， 其特 征在于， 步骤1)具体包括使用ResNet ‑50网络进行特征提取， 得到四种不同规格的特征图， 包括底层特 征图L2、 L3和高层特 征图L4和L5。 3.根据权利要求2所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法， 其特 征在于， 所述步骤2)具体包括： 在底层特征图L2、 L3输出位置 设置通道注意力机制， L2、 L3经 过通道注意力融合后得到精细特征图C2、 C3； 在高层特征图L4输出位置设置空间注意力机 制， L4经过空间注意力融合后得到精细特征图F ’4， 将特征图输进FPN网络之前， 先进行通道 筛选和区域筛 选。 4.根据权利要求3所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法， 其特 征在于， 所述 通道注意力机制的执 行过程具体包括： 首先对特征图进行平均池化和最大池化， 提取两种特征描述 和 并使特征图的 输出变为1 ×1×C/r， r为降维倍数； 其次， 将这两个不同的特征 和 分别送入中间的共享 网络层， 然后将得到的两个 特征的对应元 素相加， 再 经过sigmoid激活函数 得到通道 注意力图M c为1×1×C； 最后和原 始主干网络的输出相连接， 如公式1所示： Mc(F)＝σ(PMLP(Pavg(F)+PMLP(Pmax(F))) (1) 化简可得： 其中， 共享网络层表示一个多层感知机， 在公式中用PMLP表示， 包含两层的神经网络； Pavg表示平均池化， Pmax表示最大池化， σ 代表si gmoid激活函数， W0和W1代表的是多层感知机 模型的两层参数， 且W0和W1之间的特征采用ReLU作为激活函数进行处理； 最后， 将Mc(F)与其 输入特征相乘得到经过通道注意力调整的精细特征图F ’； 再将获得到的精细特征图F ’输入 特征金字塔FPN中， 进行 特征融合。 5.根据权利要求4所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法， 其特 征在于， 所述在底层特征图L2、 L3输出位置设置通道注意力机制， L2、 L3经过通道注意力融 合后得到精细特 征图C2、 C 3， 具体包括： 特征图L2经过1 ×1卷积之后输进通道注意力机制， 假设输入特征图F为H ×W×C， 首先 经过通道注意力模块l获得注意力图Mc2为1 ×1×C， 将Mc2对输入特征F的每一个通道进行 加权， 而后获得精细化后的特 征F'； 再经过FPN特征融合得到特 征图C2， 表达如3所示： 其中： 代表矩阵的对应元素相乘， C表示输入特征的通道数， H和W表示特征图的高度权　利　要　求　书 1/2 页 2 CN 114820580 A 2和宽度； 特征图L3特征图经过1 ×1卷积之后输进通道注意力机制， 假设输入特征图F为H ×W× C， 首先经过通道注意力模块l获得注意力图Mc3为1 ×1×C， 将Mc3对输入特征F的每一个通 道进行加权， 而后获得精细化后的特征F'； 再经过FPN特征融合得到特征图C3， 表达如4所 示： 其中： 代表矩阵的对应元素相乘， C表示输入特征的通道数， H和W表示特征图的高度 和宽度。 6.根据权利要求3所述的基于并行注意力补偿机制的FPN晶圆表面缺陷检测方法， 其特 征在于， 所述在高层特征图L4输出位置设置空间注意力机制， L4经过空间注意力融合后得 到精细特 征图F’4， 具体包括： 融合空间注意力机制是用于高层特征图， 输入特征图L4到空间注意力， 通过平均池化 和最大池化获得特征图 为H×W×1和 为H×W×1， 再将特征图合并后使用7 ×7的卷 积核、 经过sigmiod激活函数 得到新的空间注意力图Ms4； 空间注意力的计算公式为： 其中： σ 代表sigmoid激活函数， f7×7代表卷积核大小为7 ×7的卷积操作最后， 将Ms(F)与 其输入特 征相乘得到最终的特 征图F’4。权　利　要　求　书 2/2 页 3 CN 114820580 A 3