(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210447597.9 (22)申请日 2022.04.25 (65)同一申请的已公布的文献号 申请公布号 CN 114550021 A (43)申请公布日 2022.05.27 (73)专利权人 深圳市华汉伟业科技有限公司 地址 518000 广东省深圳市南 山区西丽 街 道西丽社区同发南路万科云城六期二 栋1702房-170 6房 (72)发明人 祝树杰　李杰明　杨洋　翟爱亭　 黄淦　 (74)专利代理 机构 深圳鼎合诚知识产权代理有 限公司 4 4281 专利代理师 刘维佳　彭家恩(51)Int.Cl. G06V 20/20(2022.01) G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/54(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (56)对比文件 CN 113344857 A,2021.09.0 3 CN 113345018 A,2021.09.0 3 审查员 廖瑜 (54)发明名称 基于特征融合的表面 缺陷检测方法及设备 (57)摘要 本发明实施例提供一种基于特征融合的表 面缺陷检测方法及设备， 该方法包括： 获取目标 物体的二维图像数据， 二维图像数据包括灰度信 息， 用于反映目标物体表面的纹理信息； 获取目 标物体的三维图像数据， 三维图像数据包括高度 信息， 用于反映目标物体表面的形貌信息； 采用 第一特征提取网络提取二维图像数据中的纹理 信息， 得到第一特征图； 采用第二特征提取网络 提取三维图像数据中的形貌信息， 得到第二特征 图； 对第一特征图和第二特征图进行通道拼接， 得到融合特征图； 基于融合特征图进行缺陷分割 处理， 得到目标物体的缺陷特征。 通过特征层面 的融合， 充分利用目标物体表 面的纹理信息和形 貌信息进行缺陷分割， 有助于提高表 面缺陷检测 的准确率。 权利要求书2页 说明书11页 附图7页 CN 114550021 B 2022.08.09 CN 114550021 B 1.一种基于特 征融合的表面 缺陷检测方法， 其特 征在于， 包括： 获取目标物体的二维图像数据， 所述二维图像数据包括灰度信息， 用于反映所述目标 物体表面的纹 理信息； 获取目标物体的三维图像数据， 所述三维图像数据包括高度信息， 用于反映所述目标 物体表面的形貌信息； 采用第一特 征提取网络提取 所述二维图像数据中的纹 理信息， 得到第一特 征图； 采用第二特征提取网络提取所述三维图像数据中的形貌信息， 得到第二特征图， 所述 第二特征提取网络包括初级特征提取网络、 无效像素掩膜模块、 高度自适应模块和高级特 征提取网络， 所述采用第二特征提取网络提取所述三维 图像数据中的形貌信息， 得到第二 特征图包括： 采用所述初级特征提取网络对所述三维图像数据进行特征提取， 得到所述目标物体的 初级特征图； 采用所述无效像素掩膜模块对所述初级特征图进行处理， 滤除无效像素对应的特征 图， 得到有效像素对应的特 征图； 采用所述高度自适应模块对所述有效像素对应的特征图进行处理， 将所述有效像素对 应的特征图转换为基于相同基准 面的特征图； 采用所述高级特征提取网络对所述基于相同基准面的特征图进行处理， 得到所述第 二 特征图； 对所述第一特 征图和所述第二特 征图进行通道拼接， 得到融合特 征图； 基于所述融合特 征图进行缺陷分割处 理， 得到所述目标物体的缺陷特 征。 2.如权利要求1所述的方法， 其特征在于， 所述基于所述融合特征图进行缺陷分割处 理， 得到所述目标物体的缺陷特 征包括： 对所述融合特征图进行连续多次的下采样处理， 得到所述融合特征图对应的多个不同 分辨率的子图像； 对多个所述不同分辨率的子图像分别进行卷积处理， 得到不同分辨率的子图像所对应 的特征子图； 对各个不同分辨率的子图像所对应的特征子图分别进行上采样处理， 得到多个与 所述 融合特征图大小相同的特 征子图； 将所述融合特征图及多个与 所述融合特征图大小相同的特征子图进行通道拼接， 得到 特征向量集合； 采用激活函数对所述特 征向量集合进行激活 处理， 得到所述目标物体的缺陷特 征。 3.如权利要求1所述的方法， 其特征在于， 所述采用第 一特征提取网络提取所述二维图 像数据中的纹 理信息， 得到第一特 征图包括： 对所述二维图像数据依次进行 卷积处理和最大池化操作； 采用三层残差网络从最大池化操作的输出中抽取 特征， 得到所述第一特 征图。 4.如权利要求1所述的方法， 其特征在于， 所述采用第 一特征提取网络提取所述二维图 像数据中的纹理信息和所述采用第二特征提取网络提取所述三维图像数据中的形貌信息 之前， 所述方法还 包括： 对所述二维图像数据和所述三维图像数据分别进行数据增强的预处理， 所述预处理包权　利　要　求　书 1/2 页 2 CN 114550021 B 2括平移、 旋转、 缩放和 增强对比度中的一种或者多种。 5.如权利要求1所述的方法， 其特征在于， 所述无效像素掩膜模块包括第一卷积层、 第 一激活层、 第二卷积层、 第二激活层和第三卷积层， 所述第三卷积层的卷积核大小为1 ×1， 所述采用所述无效像素掩膜模块对所述初级特 征图进行处 理包括： 对所述初级特征图进行两层卷积与激活处理后， 再进行1 ×1的卷积得到与所述初级特 征图等大的掩膜数据， 所述掩膜数据用于标识所述初级特征图中无效像素对应的特征图 和/或有效像素对应的特 征图； 采用所述掩膜数据对所述初级特 征图进行 特征裁剪， 得到有效像素对应的特 征图。 6.如权利要求1所述的方法， 其特征在于， 所述采用所述高度自适应模块对所述有效像 素对应的特 征图进行处 理包括： 对所述有效像素对应的特 征图进行 卷积操作， 得到卷积特 征图； 对所述卷积特征图进行全局平均池化操作处理后， 经过第一全连接层进行降维， 得到 降维后的特 征图； 根据所述降维后的特 征图确定各个通道上的均值特 征数据； 根据所述各个通道上的均值特征数据在各个通道上生成与所述卷积特征图等大的均 值特征图； 在各个通道上对所述卷积特征图和所述均值特征图进行像素级减法， 得到基于相同基 准面的特征图。 7.如权利要求6所述的方法， 其特征在于， 所述高度自适应模块是根据第 一损失函数采 用反向传播 算法进行训练得到的， 所述第一损失函数根据如下表达式确定： 其中，L1表示第一损失函数的值， x表示输入所述高度自适应模块的特征向量， z表示所 述高度自适应模块输出的特 征向量，μ表示所述高度自适应模块所确定的均值特 征向量。 8.一种表面缺陷检测设备， 其特征在于， 包括： 第一图像采集装置、 第二图像采集装置 和处理器； 所述第一图像采集装置用于获取目标物体的二维图像数据； 所述第二图像采集装置用于获取目标物体的三维图像数据； 所述处理器用于执行如权利要求1 ‑7任一项所述的基于特征融合的表面缺陷检测方 法。 9.一种计算机可读存储介质， 其特征在于， 所述介质上存储有程序， 所述程序能够被处 理器执行以实现如权利要求1 ‑7任一项所述的基于特 征融合的表面 缺陷检测方法。权　利　要　求　书 2/2 页 3 CN 114550021 B 3