(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933960.8 (22)申请日 2022.08.04 (71)申请人 成都泓睿科技有限责任公司 地址 610037 四川省成 都市高新区西芯大 道12号1栋三楼 (72)发明人 李鑫　王素榕　李勃志　李聪　 唐洪　 (74)专利代理 机构 北京中创博腾知识产权代理 事务所(普通 合伙) 11636 专利代理师 高伟 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/24(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种药瓶缺陷自动检测方法、 装置及 存储介 质 (57)摘要 本发明提供一种药瓶缺陷自动检测方法、 装 置及存储介质， 通过Res ‑Seg语义分割网络检测 药瓶的外观轮廓缺陷， 并对药瓶进行前景提取与 水平矫正； 通过CycleGAN生成对抗网络生成药瓶 缺陷数据； 通过Retinanet 目标检测网络检测药 瓶的表面缺陷和瓶内异物缺陷； 通过 Resnet图像 分类网络检测药瓶的瓶头和瓶尾变形缺陷。 本发 明可以对药瓶的外观缺陷和瓶内异物进行检测， 对环境的适应能力强， 可以对细小的缺陷特征进 行有效的检测， 并不需要进行大量预训练工作， 操作简单 可靠。 权利要求书2页 说明书13页 附图10页 CN 115240195 A 2022.10.25 CN 115240195 A 1.一种药瓶 缺陷自动检测方法， 其特 征在于， 包括以下步骤： 通过Res‑Seg语义分割网络检测药瓶的外观轮廓缺陷， 并对药瓶进行前景提取与水平 矫正； 通过CycleGAN 生成对抗网络生成药瓶 缺陷数据； 通过Reti nanet目标检测网络检测药瓶的表面 缺陷和瓶内异 物缺陷； 通过Resnet图像分类网络检测药瓶的瓶头和瓶尾 变形缺陷。 2.根据权利要求1所述的一种药瓶缺陷自动检测方法， 其特征在于， 所述Res ‑Seg语义 分割网络使用单个骨干网络提取空间信息和 语义信息， 所述Res ‑Seg语义分割网络的分割 流程包含特征提取、 特 征融合和预测输出三个部分。 3.根据权利要求2所述的一种药瓶缺陷自动检测方法， 其特征在于， 通过CoTx模块进行 特征提取， 所述CoTx 模块具体为： Q＝Fk×k(X) K1＝QWk V＝QWv SA(K1,Q)＝Softmax(Mean([K1,Q]WθWσ)) K2＝SA·V Y＝K1+K2 其中， Q表示问询矩阵， Fk×k代表k×k的卷积操作， X表示输入特征， K1表示键矩阵， V表示 值矩阵， Wk表示用于计算得到K1的1x1卷积权重， Wv表示用于计算得到V的1x1卷积权重， Wθ表 示1x1卷积权重， Wσ表示1x1卷积权重， K2表示动态上下文信息， SA为自注意力分布权重， Y表 示输出特征。 4.根据权利要求2所述的一种药瓶缺陷自动检测方法， 其特征在于， 通过FFM模块进行 特征融合， 所述F FM模块具体为： res＝[c3,p3]Wr A＝Sigmo id(Avg(res)WθWσ) f3＝res·A+res 其中， res为 空间路径和上下文 路径的融合特征， c3为空间路径特征， p3为上下文 路径特 征， Wr为空间路径和上 下文路径特 征融合矩阵， A为注意力向量， f3为细化特 征。 5.根据权利要求2所述的一种药瓶缺陷自动检测方法， 其特征在于， 所述Res ‑Seg语义 分割网络的损失函数 具体为： CELossi＝‑yilog(pi) losses＝sor t(CELossi) 其中， CELossi表示计算第i个像素的交叉熵损失函数， yi表示第i个像素的类别， pi表示 目标的概率， losses表 示交叉熵损失值列表， loss表 示交叉熵损失函数求得的最终损失值， H和W表示分割预测图像的高度和宽带尺寸， t 表示设定的阈值。 6.根据权利要求2所述的一种药瓶缺陷自动检测方法， 其特征在于， 通过BCELoss和 DICELoss模块来联合优化细节信息学习， 具体为：权　利　要　求　书 1/2 页 2 CN 115240195 A 2BCELoss＝‑(ylog(p)+(1 ‑y)log(p)) 其中， BCELoss表示二元交叉熵损失函数， y表示像素类别， p表示目标的概率， DICELoss 表示DICE差异损失函数， H和W表示细节预测图像的高度和宽带尺寸， g为细节标签地图与 0.1比较， 大于 0.1为1， 小于等于 0.1为0,取 ε＝1。 7.根据权利要求2所述的一种药瓶缺陷自动检测方法， 其特征在于， 通过mask掩模判断 药瓶的外观轮廓变形缺陷， 具体为： 其中， rw为宽度误差比值， w为缺陷轮廓宽度， w ′为轮廓宽度标准值， Δw为宽度的误差 范 围， rs为面积误差比值， s为缺陷内轮廓面积， Δ s为允许的缺陷内轮廓面积最大值， f(rw,rs) 为轮廓缺陷合格判定函数。 8.根据权利要求7所述的一种药瓶缺陷自动检测方法， 其特征在于， 当药瓶的外观轮廓 变形超过设定的误差时， 则后续工位将不再对其进行检测， 标记为残 次品， 进行剔除； 当药 瓶的外观轮廓变形在允许误差内时， 通过mask掩模对其进行前景提取， 然后通过仿射变换 进行水平矫正。 9.根据权利 要求1所述的一种药瓶缺陷自动 检测方法， 其特征在于， 所述CycleGAN生成 对抗网络用于对缺陷图像进行数据扩充， 通过STDC模块构建生成器， 去掉生成器中的降采 样层以及上采样层， 降低信息损失。 10.根据权利 要求1所述的一种药瓶缺陷自动 检测方法， 其特征在于， 所述Retinanet目 标检测网络具体包 含可变形 卷积DCN模块、 空间金字塔池化S PP模块和PAN结构。 11.根据权利要求1所述的一种药瓶缺陷自动检测方法， 其特征在于， 所述Resnet图像 分类网络使用Res2net残差块构建特征提取层， Res2net在残差块内进行多尺度处理， 用于 增加网络层的感受野。 12.一种药瓶 缺陷自动检测装置， 其特 征在于， 包括以下模块： Res‑Seg语义分割网络模块， 用于检测药瓶的外观轮廓缺陷， 并对药瓶进行前景提取与 水平矫正； CycleGAN 生成对抗网络模块， 用于生成药瓶 缺陷数据； Retinanet目标检测网络模块， 用于检测药瓶的表面 缺陷和瓶内异 物缺陷； Resnet图像分类网络模块， 用于检测药瓶的瓶头和瓶尾 变形缺陷。 13.一种存储介质， 其特征在于， 所述存储介质内存储有一种药瓶缺陷自动检测的程 序， CPU在执 行所述程序时实现如权利要求1 ‑11所述的一种药瓶 缺陷自动检测方法。权　利　要　求　书 2/2 页 3 CN 115240195 A 3