(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111243617.2 (22)申请日 2021.12.28 (71)申请人 中山小池科技有限公司 地址 528437 广东省中山市 火炬开发区祥 兴路6号数贸大厦南冀14楼1406卡(住 所申报) 申请人 中山复旦联合创新中心 (72)发明人 池明旻　 (74)专利代理 机构 深圳叁众知识产权代理事务 所(普通合伙) 44434 代理人 宋鹏飞 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/73(2017.01)G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于YOLOv3及多尺度特征融合的棉布瑕疵 检测方法 (57)摘要 本发明公开了基于YOLOv3网络以及多尺度 特征融合的棉布瑕疵检测方法， 设计了一个基于 YOLOv3网络的瑕疵点检测模型， 实现纺织品隐蔽 瑕疵点的检测。 首先对纺织品图像数据进行随机 裁剪、 旋转等预处理工作， 增强模型的鲁棒性。 然 后用K‑Means++算法聚类锚框， 得到逐渐接近真 实框的参数。 然后再利用Darknet ‑53网络提取图 像特征， 并对特征进行特征融合多尺度分类预 测， 其中包括定位置信度评分、 分类置信度评分、 过滤预测框等操作， 最终输出目标类别及预测的 Bbox结果。 权利要求书1页 说明书3页 附图1页 CN 114240822 A 2022.03.25 CN 114240822 A 1.基于YOLOv3及多尺度特 征融合的棉布瑕疵检测方法， 其特 征在于， 包括以下步骤： S1： 输入棉布图像， 对其进行归一 化与标准 化预处理； S2： 随机裁剪图像并在网格上加入 锚框； S3： 用K‑Means++算法聚类锚框； S4： 用Dark net‑53提取图像特 征； S5： 定位置信度评分与分类置信度评分； S6:将评分结果与阈值比较； S7:引入softer ‑NMS算法精确化 边框。 2.根据权利要求1所述的基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法,其特征 在于， S1图像预处 理， 其主要包括图像矩阵的归一 化、 标准化等操作。 3.根据权利要求1所述的基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法,其特征 在于， S2随机裁剪图像并在网格上加入锚框， 对其输入的图像数据进 行随机裁剪、 旋转等预 处理工作， 目的是增强模型额鲁棒性， 假设输出特征图的高与宽分别为H、 W， 相当于将图像 划分为H×W个网络， 图像的每个网格对应输出特征图平面上的一个表征点， 在每个网格上 都放上这些锚框， 每 个网格上每 个锚框都对应一个预测框 。 4.根据权利要求1所述的基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法,其特征 在于， S3用K ‑Means++算法聚类锚框， 利用锚点机制预测下次边界框以降低模 型训练的复杂 度， 随着对样本特征的不断学习， 根据真实框对初始 候选框逐步修正， 得到逐渐接近 真实框 的参数， 为减少随机初始化对结果的影响， 得到更好的IOU得分， 用K ‑Means++算法取代K ‑ Means算法， 将候选 框和真实框的交并比(IOU)作为 位置相似性度量。 5.根据权利要求1所述的基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法,其特征 在于， S4用Darknet ‑53提取图像特征， 初始卷积层用32个3 ×3的卷积核过滤416 ×416大小 的棉布瑕疵图像； 随后 将之前卷积层的输出作为下一层的输入， 并使用64个3 ×3的卷积核， 用两个像素的步长对他们过滤波实现下采样操作， 经过上述操作可以得到尺 寸为208×208 的特征图； 执行包含1 ×， 2×， 8×， 8×， 4×残差块的五组网络， 分别获得208 ×208， 104× 104， 52×52， 26×26， 13×13分辨率的特征图。 6.根据权利要求1所述的基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法,其特征 在于， S5定位置信度评分与分类置信度评分， 在过滤预测框阶段， 设置分类置信度阈值为 threshold1， 定位置信度阈值为threshold2.用红色框凸显先验框的选取、 尺度的选择以及 目标框的滤除部分。 7.根据权利要求1所述的基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法,其特征 在于， S6将评分结果与阈值比较， 将之前的分类置信度评分与定位置信度与初始化时设置 的阈值进行比较， 若均大于阈值则过 滤预测框， 否则舍弃Bbox目标框 。 8.根据权利要求1所述的基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法,其特征 在于， S7引入softer ‑NMS算法精确化边框， 对于低对比度的样 本图像， 噪声往往会被 当成目 标， 得分低的边框被强制去除， 造成精度下降， 故引入softer ‑NMS算法， 提高分类置信度边 框的准确率。权　利　要　求　书 1/1 页 2 CN 114240822 A 2基于YOLOv3及多尺度特征融合的棉布瑕疵检测方 法 技术领域 [0001]本发明属于纺织品成分分析、 材料分类技术领域， 具体涉及一种基于YOLOv3及多 尺度特征融合的棉布瑕疵检测方法。 背景技术 [0002]在当前的纺织企业中， 织物的检验仍以传统的人工视觉检验方式为主， 检测速度 一般在15 ‑20m/min[1]， 无法满足在 线检测的要求.  纺织厂中的织物若出现瑕疵， 将严重影 响其经济收益.因此， 以机器视觉和深度学习为依 托的检测方法成为近几年研究 的热点.一 般基于传统的机器视觉处理方法大致可分为统计法(数学形态学法、 直方图统计法、 遗传算 法、 贝叶斯统计法)， 模型法(总变差模型 ),光谱法(快速傅里叶变换、 小波变换、 Gabor变 换)， 且由于一种算法很难取得理想的瑕疵轮廓， 于是很多学者将多种算法融合应用.但这 些传统算法过于依赖图像本身的浅层特征， 图像的低对比度、 光照不均等因素都会干扰检 测结果， 使 得检测精度较低.近些年深度学习在目标检测方面发展迅猛， 采用经过验证的两 级管道， 例如Fast  R‑CNN、 FasterR‑CNN、 Mask R‑CNN等框架已成为一种流行范式.首先需 生成一些候选框(Proposal)， 然后对它们进行类， 能实现较好的检测效果， 但由于步骤繁 琐， 检测速度较慢.另一些框架如SSD、 YOLO省 去候选框的生 成过程， 输入整张图像后直接在 输出层回归出目标位置和 类别， 从而得到较快的检测 速度.吴桐等人基于YOLO网络研究了 一种数据集预处理的方法进行焊缝瑕疵的检测， 以流水线作业的方式提升网络检测速度. 由于锚框选取的好坏直接影响检测精度的高低， 故本文在  YOLOv3网络的基础上进行改进， 提出一种棉布瑕疵目标检测算法  FS‑YOLOv3(Four  Scales YOLOv3)， 在保证速度的同时， 从先验框的选取、 尺度的选择、 目标框滤除三个角度进行优化， 进一 步提高检测精度。 发明内容 [0003]本发明提出的基于YOLOv3网络以及多尺度特征融合的棉 布瑕疵检测方法， 设计了 一个基于YOLOv3网络的瑕疵点检测模型， 实现纺织品 隐蔽瑕疵点的检测 。 首先对纺织品图 像数据进行 随机裁剪、 旋转等预处理工作， 增强模型的鲁棒性。 然后用K ‑Means++算法聚类 锚框， 得到逐渐接近真实框的参数。 然后再利用Dar knet‑53网络提取图像特征， 并对 特征进 行特征融合多尺度分类预测， 其中包括定位置信度评 分、 分类置信度评 分、 过滤预测框等操 作， 最终输出目标类别及预测的Bbox  结果。 [0004]本发明提出的基于 YOLO的瑕疵点检测网络包括如下步骤： [0005]S1： 像预处理， 其主要包括图像矩阵的归一化、 标准化等操作。 常用softm ax函数作 为归一化函数， 常用Mi n‑Max Feature scaling或 Standard score对数据进行 标准化； [0006]S2： 专利要求2所述 的基于YOLOv3及多尺度特征融合 的棉布瑕疵检测方法中的分 割图像， 对其输入的图像数据进行随机裁剪、 旋转等预处理工作， 目的是增强模型额鲁棒 性。 假设输出特征图的高与宽分别为H、 W， 相当于将图像划分为H ×W个网络， 图像的每个网 格对应输出特征图平面上 的一个表征点。 在每个网格上都放上这些锚框， 每个网格上每个说　明　书 1/3 页 3 CN 114240822 A 3