(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211417163.0 (22)申请日 2022.11.14 (71)申请人 江苏智云天工科技有限公司 地址 213000 江苏省常州市 常州钟楼经济 开发区玉龙南路280号常州 大数据产 业园4号楼2楼201室 (72)发明人 高明明　赵何　张志琦　 (74)专利代理 机构 上海锻创知识产权代理有限 公司 314 48 专利代理师 何惠燕 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/762(2022.01) G06V 10/774(2022.01) (54)发明名称 基于目标检测训练预处理的产品缺陷检测 方法及系统 (57)摘要 本发明提供了一种基于目标检测训练预处 理的产品缺陷检测方法及系统， 包括： 获取原始 质检图像集， 并对原始质检图像集进行人工缺陷 标注； 异步批量加载原始质检图像， 并基于相应 的缺陷矩形标注的坐标点， 生成缺陷图片集合； 对缺陷图片集合进行切图预处理， 并对预处理后 的缺陷图片集合进行缺陷标注 坐标点的刷新； 利 用预处理后的缺陷图片集合 以及相应的缺陷矩 形标注JSON信息训练产品缺陷检测模型， 得到训 练后的产品缺陷检测模型； 获取待检测产品的质 检图像， 并利用训练后的产品缺陷检测模型对缺 陷进行检测。 本发明通过对图像检测数据进行聚 类切图、 PR切图、 扩倍切图等策略预处理， 提高了 数据集样 本的多样性、 复杂性以及提高模型针对 缺陷检测的准确率。 权利要求书3页 说明书11页 附图3页 CN 115496749 A 2022.12.20 CN 115496749 A 1.一种基于目标检测训练预处 理的产品缺陷检测方法， 其特 征在于， 包括： 步骤S1： 获取原始质检图像集， 并对原始质检图像集进行人工缺陷标注， 把缺陷矩形标 注的坐标点记录在JSON文本文件中， 将原始质检图像集以及JSON文本文件保存在Minio对 象存储中； 步骤S2： 异步批量加载原始质检图像， 并基于相应的缺陷矩形标注的坐标点JSON文件 中的数据， 生成缺陷图片集 合； 步骤S3： 对缺陷图片集合进行切图预处理， 生成新的产品缺陷检测模型所需尺寸大小 的图片集合， 并对预处理后的缺陷图片集合进行缺陷标注坐标点的刷新， 每张缺陷图片生 成新的缺陷矩形 标注的坐标点记录的JSON文本文件， 并持久化至 Minio对象存储中； 步骤S4： 利用预处理后的缺陷图片集合以及相应的缺陷矩形标注JSON信息训练产品缺 陷检测模型， 得到训练后的产品缺陷检测模型； 步骤S5： 获取待检测产品的质检图像， 并利用训练后的产品缺陷检测模型对缺陷进行 检测。 2.根据权利要求1所述的基于目标检测训练预处理 的产品缺陷检测方法， 其特征在于， 包括： 根据Web端页面请求， 基于保存在Minio对象存储中的待处理的质检图像以及标注信 息获取相应待处理的质检图像、 标注信息数据集， 基于获取的质检图像、 标注信息数据集加 载数据集图片， 对加载的数据集图片进行切图预处 理； 所述Web端页面请求包括： 质检图像、 标注信息数据集编号、 名称、 存储在Minio对象存 储上的绝对路径、 预处 理策略、 正常倍数、 漏失倍数、 过 杀倍数以及切图宽和高参数。 3.根据权利要求2所述的基于目标检测训练预处理 的产品缺陷检测方法， 其特征在于， 对加载的数据集图片根据预处 理策略进行切图预处 理； 所述预处理策略包括： 聚类切图预处理策略、 PR切图预处理策略或缺陷扩倍切图预处 理策略； 所述聚类切图预处 理策略是为缩短目标检测训练时间的切图策略； 所述PR切图预处 理策略是为目标检测训练提高精确率和召回率的切图策略； 所述缺陷扩倍切图预处 理策略是对不同生产材 料缺陷图像进行扩倍切图的切图策略。 4.根据权利要求3所述的基于目标检测训练预处理 的产品缺陷检测方法， 其特征在于， 所述聚类切图预处 理策略采用： 步骤S3.1： 使用OpenCV框架将当前异步加载图片对应标注信息中的左上角坐标点和右 下角坐标点 生成标注 矩形； 步骤S3.2： 所有的异步加载图片相对应的标注 矩形形成标注 矩形集合； 步骤S3.3： 利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形； 步骤S3.4： 基于切图矩形将标注矩形集合进行双重循环遍历， 得到一个或多个元素符 合切图矩形 大小的组合标注 矩形集合； 步骤S3.5： 遍历 当前符合切图矩形大小的组合标注矩形集合， 并进行居中切图， 将切图 后的图像写入Mi nio对象存储指定目录下。 5.根据权利要求3所述的基于目标检测训练预处理 的产品缺陷检测方法， 其特征在于， 所述PR切图预处 理策略采用： 步骤S3.6： 使用OpenCV框架将当前异步加载图片对应标注信息中的标注左上角坐标点权　利　要　求　书 1/3 页 2 CN 115496749 A 2和右下角坐标点 生成标注 矩形； 步骤S3.7： 所有的异步加载图片相对应的标注 矩形形成标注 矩形集合； 步骤S3.8： 利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形； 步骤S3.9： 遍历标注矩形集合， 并根据预设随机系数移动所述切图矩形进行切图， 将切 图后的图像写入Mi nio对象存储指定目录下。 6.根据权利要求3所述的基于目标检测训练预处理 的产品缺陷检测方法， 其特征在于， 所述缺陷扩倍切图预处理策略采用： 当Web端页面请求中的预处理策略为PR切图预处理策 略， 并且正常倍数、 漏失倍数或过杀倍数大于1时， 进 行扩倍切图操作， 根据当前异 步加载图 片对应标注信息扩倍采用PR切图策略切图。 7.根据权利要求1所述的基于目标检测训练预处理 的产品缺陷检测方法， 其特征在于， 对已经切图后的图片的标注信息进 行坐标点的刷新， 并持久化到Minio对象存储中； 在标注 坐标点被刷新的同时， 计算原图中其他未完全被切图矩形包含的标注矩形， 并且与切图矩 形交集IOU大于预设值的矩形的坐标点。 8.一种基于目标检测训练预处 理的产品缺陷检测系统， 其特 征在于， 包括： 模块M1： 获取原始质检图像集， 并对原始质检图像集进行人工缺陷标注， 把缺陷矩形标 注的坐标点记录在JSON文本文件中， 将原始质检图像集以及JSON文本文件保存在Minio对 象存储中； 模块M2： 异步批量加载原始质检图像， 并基于相应的缺陷矩形标注的坐标点JSON文件 中的数据， 生成缺陷图片集 合； 模块M3： 对缺陷图片集合进行切图预处理， 生成新的产品缺陷检测模型所需尺寸大小 的图片集合， 并对预处理后的缺陷图片集合进行缺陷标注坐标点的刷新， 每张缺陷图片生 成新的缺陷矩形 标注的坐标点记录的JSON文本文件， 并持久化至 Minio对象存储中； 模块M4： 利用预处理后的缺陷图片集合以及相应的缺陷矩形标注JSON信息训练产品缺 陷检测模型， 得到训练后的产品缺陷检测模型； 模块M5： 获取待检测产品的质检图像， 并利用训练后的产品缺陷检测模型对缺陷进行 检测。 9.根据权利要求8所述的基于目标检测训练预处理 的产品缺陷检测系统， 其特征在于， 包括： 根据Web端页面请求， 基于保存在Minio对象存储中的待处理的质检图像以及标注信 息获取相应待处理的质检图像、 标注信息数据集， 基于获取的质检图像、 标注信息数据集加 载数据集图片， 对加载的数据集图片进行切图预处 理； 所述Web端页面请求包括： 质检图像、 标注信息数据集编号、 名称、 存储在Minio对象存 储上的绝对路径、 预处 理策略、 正常倍数、 漏失倍数、 过 杀倍数以及切图宽和高参数。 10.根据权利要求9所述的基于目标检测训练预处理的产品缺陷检测系统， 其特征在 于， 对加载的数据集图片根据预处 理策略进行切图预处 理； 所述预处理策略包括： 聚类切图预处理策略、 PR切图预处理策略或缺陷扩倍切图预处 理策略； 所述聚类切图预处 理策略是为缩短目标检测训练时间的切图策略； 所述PR切图预处 理策略是为目标检测训练提高精确率和召回率的切图策略； 所述缺陷扩倍切图预处 理策略是对不同生产材 料缺陷图像进行扩倍切图的切图策略；权　利　要　求　书 2/3 页 3 CN 115496749 A 3