(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210559232.5 (22)申请日 2022.05.23 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街5号 (72)发明人 李俊峰　杨元勋　李镇宇　 (74)专利代理 机构 杭州中成专利事务所有限公 司 33212 专利代理师 金祺 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于改进YOLOv5的热压导光板缺陷可视化 检测方法 (57)摘要 本发明公开了一种基于改进YOLOv5的热压 导光板缺陷可视化检测方法， 采集热压导光板的 图片， 并发送至上位机进行预处理， 预处理包括 利用边缘检测算法获取感兴趣区域， 然后使用滑 动窗口的分割方法将感兴趣区域分割成一组416 ×416大小的图片， 将获得的所有416 ×416的图 片依次输入导光板缺陷检测模型进行目标检测 和分类， 输出带有缺陷类型、 置信度和缺陷位置 标记的图片； 本发明不仅能准确检测出缺陷类 别， 而且实现了对缺陷区域的精准定位， 提高了 导光板上白点小目标以及暗线缺陷的检测效果。 权利要求书2页 说明书10页 附图7页 CN 114881987 A 2022.08.09 CN 114881987 A 1.一种基于改进YOLOv5的热压导光板缺陷可视化检测方法， 其特征在于:采集热压导 光板的图片， 并发送至上位机进 行预处理， 预处理包括利用边缘检测算法获取感兴趣区域， 然后使用滑动窗口的分割方法将感兴趣区域分割成一组4 16×416大小的图片， 将获得的所 有416×416的图片依次输入导光板缺陷检测模型进行目标检测和分类， 输出带有缺陷类 型、 置信度和缺陷位置标记的图片； 所述导光板缺陷检测模型以YOLOv5为基线网络， 包括以CSPDarknet ‑53网络为基础的 主干网络、 采用FPN +PAN的金字塔层结构的颈部部 分以及输出部分， 在 主干网络每个C3模块 和卷积模块之间分别插入一个HAM模块， 所述416 ×416的图片经过主干网络依次进行2、 4、 8、 16、 32次下采样后， 分别生成2 08×208、 104×104、 52×52、 26×26和13×13像素的五层特 征图并输入颈部部分； 颈部部分融合52 ×52、 26×26和13×13像素的特征图， 同时将13 ×13 像素的特征图作为MCM模块的输入， 并将 MCM的输出连接至与FPN第一个Concat处， 颈部部分 生成三个新的特征图， 大小分别 为52×52×27、 26×26×27和13×13×27输入至输出部分 进行目标检测 和分类。 2.根据权利要求1所述的一种基于改进YOLOv5的热压导光板缺陷可视化检测方法， 其 特征在于： 所述HAM模块采用了残差结构， 输入的特征图F经过深度卷积神经网络的高效通道注意 力模块输出通道信息再经过卷积块注意模块输出空间信息， 然后 将所述通道信息和空间信 息进行相乘运算获得融合通道和空间信息的特征图； 然后， 将 输入的特征图F经过Conv模块 后与所述融合 通道和空间信息的特 征图进行相加运 算作为HAM模块的输出； 所述Conv模块由卷积核大小为3 ×3、 步长为1的普通卷积、 批归一化和 SiLU激活函数组 成。 3.根据权利要求2所述的一种基于改进YOLOv5的热压导光板缺陷可视化检测方法， 其 特征在于： 所述MCM模块包括将输入 的特征图通过扩张率分别为1、 3、 5的扩张卷积进行卷积运算 得到三个特征图， 然后 再将这三个特征图进行concatenate融合， 通道数翻倍， 再通过1 ×1 的卷积还原 通道数， 最后经过激活函数sigmoid后与MCM模块输入的特征图进行相乘操作后 作为MCM模块输出的特 征图。 4.根据权利要求3所述的一种基于改进YOLOv5的热压导光板缺陷可视化检测方法， 其 特征在于： 所述滑动窗口的分割方法具体为： 选择窗口大小为416 ×416， 滑动起始点为所述感兴 趣区域的左上角边界， 每次滑动步长为窗口边长的0.8倍， 然后在所述感兴趣区域由左到 右、 由上到下依次滑动窗口， 直至到达所述感兴趣区域的右下角边界获得所述一组416 × 416大小的图片； 所述边缘检测算法采用OpenCV计算机视觉库中的Canny算子， Canny算子对整张热压导 光板图片求梯度， 而梯度变化最大 的位置为感兴趣区域的边缘， 通过此边缘获取所述感兴 趣区域。 5.根据权利要求4所述的一种基于改进YOLOv5的热压导光板缺陷可视化检测方法， 其 特征在于： 所述导光板缺陷检测模型的训练和 测试过程为：权　利　要　求　书 1/2 页 2 CN 114881987 A 21)构建测试集和训练集； 采集工业现场的热压导光板 图片， 使用边缘检测算法获取感兴趣区域， 使用滑动 窗口 的分割方法将感兴趣区域分割成一组416 ×416大小的图片并手工筛选出含有四类缺陷类 型的图片， 对每种缺陷类型 的图片进行扩充处理， 然后对扩充处理后的每种缺陷类型 的图 片按6： 2： 2划分为训练集、 验证集和测试集， 对每一图片标注 缺陷类型以及缺陷位置并采用 LabelImg软件生成对应的标签文件； 2)构建所述 导光板缺陷检测模型的损失函数： Loss＝ωboxLbox+ωobjLobj+ωclsLcls                 (5) 其中， ωbox＝0.05,ωobj＝0.5和ωcls＝1； Lbox指位置损失为： 其中， n表示输入的样本数， yn表示目标值， xn表示网络的预测值； IOU为预测框与真实框 的交并比， ρ 表示真实框A与预测 框B中心点坐标的欧氏距离， c表示包住真实框A与预测 框B 的最小方框的对角线距离， α 是权 重函数， v用来衡量A与B宽高比的一 致性的参数； 3)训练的总轮数为100、 批处理大小为16、 学习率为0.01以及使用SGD优化器； 将训练集 中的图片进行马赛克数据增强处理后作为模型训练的输入， 训练过程中使用训练集进 行模 型的拟合， 对训练误差进 行梯度下降， 更新权重； 使用验证集验证训练过程中的模型的泛化 能力， 调整模型 的超参数， 使用测试集对训练好的模型进行评估从而获得可在线使用的所 述导光板缺陷检测模型。 6.根据权利要求5所述的一种基于改进YOLOv5的热压导光板缺陷可视化检测方法， 其 特征在于： 所述扩充处理具体为： 对每种缺陷类型随机选择50％的图片进行120 ‑150％的亮度增 强、 平移、 水平或垂直翻转； 所述马赛克数据增强处理为： 首先从训练集中随机选择四张图片， 分别对四张图片进 行随机翻转、 缩放和亮度变化的变换操作， 然后将变换后的四张图像按随机选择 的拼接点 拼接成一幅图像； 所述缺陷类型为白点 缺陷、 亮线缺陷、 暗线缺陷和面 缺陷。权　利　要　求　书 2/2 页 3 CN 114881987 A 3