(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210524198.8 (22)申请日 2022.05.13 (71)申请人 宁波大学 地址 315000 浙江省宁波市江北区风 华路 818号 (72)发明人 王国东　陈特欢　 (74)专利代理 机构 杭州橙知果专利代理事务所 (特殊普通 合伙) 33261 专利代理师 范琪美 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G01N 21/88(2006.01) (54)发明名称 汽车差速器壳体表 面检测方法、 电子 设备及 介质 (57)摘要 本发明涉及图像检测技术领域， 尤其涉及了 一种汽车差速器壳体表面缺陷检测方法、 电子设 备及介质， 获得图像信息数据集， 使用FSSD网络 模型对图像信息数据提取特征， 并将VGG16网络 替换为MobileNet网络， 形成FSSD_MobileNet模 型； 将MobileNet网络中Conv3、 Conv5和 Con11进 行特征融合； 对每层深度可分离卷积输出的特征 图根据设定的默认框尺寸进行计算； 通过K ‑ Means聚类算法对缺陷真实框的宽高比进行聚类 分析； 预测层嵌入CBAM注意力机制； 用Focal   Loss损失函数代替Multibox  Loss损失函数； 获 取检测结果。 本发明将计算机视觉领域的知 识应 用于汽车铸件检测领域， 适用于实际复杂环境下 的汽车铸件表面缺陷检测方法， 通过视频流输 入， 能够保证低计算力情况下的实时监测状态， 实现高精确度的实时铸件表面 缺陷监测。 权利要求书2页 说明书10页 附图6页 CN 114998222 A 2022.09.02 CN 114998222 A 1.汽车差 速器壳体表面 缺陷检测方法， 其特 征在于， 包括如下步骤： 通过视频流的输入， 获得图像信息数据集， 使用FSSD网络模型对图像信息数据提取特 征， 并将VG G16网络替换为Mobi leNet网络， 形成FS SD_MobileNet模型； 将MobileNet网络中Conv3、 Conv5和Con11三个深度可分离卷积层的特征图进行 concate融合； 对每层深度可分离卷积输出的特 征图根据设定的默认框尺寸进行计算； 通过K‑Means聚类算法对缺陷真实框的宽高比进行聚类分析； FSSD_MobileNet模型的预测层嵌入CBAM注意力机制， 获取需要重点关注的目标区域； 对模型输入图像信息数据进行训练， 用Focal  Loss损失函数代替Multibox  Loss损失 函数； 获取检测结果。 2.根据权利要求1所述的汽车差速器壳体表面检测方法， 其特征在于： 步骤将 MobileNet中Conv3、 Conv5和Con11三个深度可分离卷积层的特征 图进行concate融合， 包 括： 将Conv3和Con11分别 通过下采样和上采样操作将特征图尺寸调整为与Conv5相同的38 像素*38像素， 然后再将Co nv3和Con11与Conv5特征图进行co ncate特征融合。 3.根据权利要求1所述的汽车差速器壳体表面检测方法， 其特征在于： 步骤对每层深度 可分离卷积输出的特征图根据设定的默认框尺寸进行计算中， 每张特征图上的默认框的尺 寸计算如下： 其中： Sk表示默认框尺寸占原图的比例， Smax表示默认框尺寸占原图比例的最大值， Smin 表示默认框尺寸占原图比例的最小值， m表示特 征图的个数。 4.根据权利要求1所述的汽车差速器 壳体表面缺陷检测方法， 其特征在于： 步骤通过K ‑ Means聚类算法对缺陷真实框的宽高比进行聚类分析， 得到缺陷宽高比作为模型默认框的 宽高比进行训练中， FSSD_MobileNet模 型采用默认框和真实框的平均交并比来决定两个框 的匹配程度， 采用的距离度量如下 所示： distance＝1 ‑IoU； 其中， IoU指的是缺陷真实框 宽高比与聚类中心的平均交并比。 5.根据权利要求1所述的汽车差速器壳体表面检测方法， 其特征在于： 步骤FSSD_ MobileNet模型的预测层嵌入CBAM注意力机制， 获取需要重点关注的目标区域中， CBAM注意 力机制包括 通道注意力模块和空间注意力模块， 其中， 通道 注意力模块具体运 算过程如下： MC(F)＝σ(MLP(Avgpo ol(F)))+σ(MLP(Maxpo ol(F)))； 其中， σ 表示Sigmoid激活函数， MLP表示多层感知机， W0和W1表示多层感知机MLP中的权 值矩阵， 和 分别表示经 过全局平均池化和全局最大池化的特 征图； 空间注意力模块具体运 算过程如下： MS(F′)＝σ(f7×7([Avgpool(F′)； (Maxpo ol(F′)]))； 其中， σ 表示Sigmo id激活函数， f7×7表示的卷积运 算， 卷积核大小为7 ×7。权　利　要　求　书 1/2 页 2 CN 114998222 A 26.根据权利要求1所述的汽车差速器壳体表面检测方法， 其特征在于： 步骤对模型输入 图像信息数据进行训练， 用Focal  Loss损失函数代替Mu ltibox Loss损失函数， Focal  Loss (FL)损失函数的表达式如下： FL(pt)＝‑αt(1‑pt)γlog(pt)； 其中， pt为不同类别的预测概率； αt是0到1之间的一个常量， 用来调整正负样本的比例， 正例为αt， 负例为1 ‑αt； γ为大于0的常量， 通过调节易分类样本的权重 来减少易分类样本的 损失； (1‑pt)γ为调节权 重， 对Loss值有缩放的功能。 7.根据权利要求6所述的汽车差速器壳体表面检测方法， 其特征在于： 还包括， 对损 失 函数使用RMSProp算法对权重W和偏置b的梯度使用微分平方加 权平均数； 其中， 假设在第t 轮迭代过程中， 各个公式如下 所示： Sdw＝β Sdw+(1‑β )dW2； Sdb＝β Sdb+(1‑β )db2； 其中， dW和db表示损失函数反向传播时所求得的梯度； dW2和db2是梯度的逐元素平方操 作； Sdw和Sdb表示梯度平方的指数加权平均值； α表示网络的全局 学习率； β 是控制指数加权 平均的一个衰减系数； ε是用来防止分母为 零并维持数值稳定性而添加的常数。 8.根据权利要求1所述的汽车差速器壳体表面检测方法， 其特征在于： 步骤获取检测结 果， 包括： 将图像数据输入训练FSSD_MobileNet模型从而 得到预测数据， 与真实数据进行对 比， 从而得到检测成功率。 9.一种电子设备， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至8任一项所述汽车差速器壳体 表面检测方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至8任一项 所述汽车差速器壳体表 面检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 114998222 A 3