(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210968239.2 (22)申请日 2022.08.12 (71)申请人 常熟理工学院 地址 215500 江苏省苏州市 常熟市南 三环 路99号 申请人 江苏北人智能制造科技股份有限公 司 (72)发明人 龚烨飞　钱堃　展思民　程艳花　 赵广志　郭敬　王旭　曹利　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 张俊范 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/10(2017.01) G06T 7/90(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 基于RGB-D特征分层融合的焊缝检测与分割 方法及装置 (57)摘要 本发明公开了一种基于RGB ‑D特征分层融合 的焊缝检测与分割方法， 包括以下步骤： 对焊缝 的RGB图像和点云数据进行多平面分割预处理， 得到各平面的RGB ‑D数据； 将得到的各平面的 RGB‑D数据输入改进的Mask  R‑CNN模型中识别分 割， 改进的Mask  R‑CNN模型包括在主干网络中由 ResNet‑FPN对RGB ‑D数据的RGB图像和深度图像 分别逐层提取特征， 然后逐层地将深度特征与 RGB特征采用注意力感知的RGB与深度特征融合 模块来进行特征融合， 在特征金字塔中对RGB特 征进行下采样的每一层都使用与之对应的深度 特征进行融合， 并且将融合后的特征逐层传递到 特征金字塔的上采样过程中。 本发 明还公开了相 应的分割装置， 本发明方法及装置适应多平面焊 缝的检测， 可提高分割精度。 权利要求书2页 说明书7页 附图7页 CN 115393294 A 2022.11.25 CN 115393294 A 1.一种基于RGB ‑D特征分层融合的焊缝检测与分割方法， 其特征在于， 包括以下步骤： 步骤一、 对焊缝的RGB图像和点云数据进行多平 面分割预 处理， 得到各平 面的RGB‑D数据； 步 骤二、 将得到的各平面的RGB ‑D数据输入改进的Mask  R‑CNN模型中识别分割， 所述改进的 Mask R‑CNN模型包括在主干网络中由ResNet ‑FPN对RGB ‑D数据的RGB图像和深度图像分别 逐层提取特征， 然后逐层地将深度特征与RGB特征采用注 意力感知的RGB与深度特征融合模 块来进行特征融合， 在特征金字塔中对RGB特征进行下采样的每一层都使用与之对应的深 度特征进行融合， 并且将融合后的特 征逐层传递到特 征金字塔的上采样过程中。 2.根据权利要求1所述的基于RGB ‑D特征分层融合的焊缝检测与分割方法， 其特征在 于， 所述注 意力感知的RGB与深度特征融合模块包括通道注意力模块和空间注 意力模块， 所 述通道注意力模块为SE模块， 所述注意力感知的RGB与深度特征融合模块将所述深度特征 经过所述SE模块的结果、 所述深度特征经过所述空间注意力模块后与所述RGB特征交叉点 乘的结果、 所述RGB特征经过所述空间注意力模块后与所述特征交叉点乘的结果以及所述 RGB特征经过所述SE模块的结果相加进行输出。 3.根据权利要求2所述的基于RGB ‑D特征分层融合的焊缝检测与分割方法， 其特征在 于， 所述空间注意力模块对 特征图先进 行通道数压缩， 然后由两个空洞卷积进 行特征提取， 最后对通道数进行还原再使用sigmod函数激活输出。 4.根据权利要求1所述的基于RGB ‑D特征分层融合的焊缝检测与分割方法， 其特征在 于， 所述对焊缝的RGB图像和点云数据进行多平 面分割预 处理， 包括以下步骤： S1、 使用体素 滤波对点云数据进行下采样； S2、 使用统计滤波剔除点云中的离群点； S3、 使用随机一致性 采样方法拟合平面， 得到俯仰角和翻滚角， 再利用俯仰角和翻滚角将所述拟合平面的点云 旋转至法向量平行于z轴； S4、 根据工件的RGB图像和点云数据的对应关系分割出所述拟合 平面对应的RGB ‑D图像， 移除点云中的所述拟合平面； S5、 重复步骤S3、 S4， 得到各平面的 RGB‑D数据。 5.根据权利要求4所述的基于RGB ‑D特征分层融合的焊缝检测与分割方法， 其特征在 于， 所述步骤S 5中重复步骤S 3、 S4直至所述点云中剩余数据小于阈值时停止， 所述阈值为点 云中剩余数据量与点云数据总量的百分比。 6.根据权利要求1所述的基于RGB ‑D特征分层融合的焊缝检测与分割方法， 其特征在 于， 所述改进的Mask  R‑CNN模型包括在Mask  R‑CNN模型中增加MaskGIoU  Head模块， 所述 Mask R‑CNN模型的Mask  Head的输出通过卷积及最大化池化后与Mask  Head模块的输入特 征图进行拼接构成MaskGIoU  Head模块的输入， 所述MaskGIoU  Head模块中使用4个卷积层 及3个全连接层依次连接， 最后一个全连接层的输出设置为类的数量， 所述MaskGIoU  Head 模块的损失函数定义 为， LMaskGIoU＝1‑GIoU 其中\是求补集， B是预测边界框， Bgt是真实边界框， C是覆盖预测边界框与真实边界框 之间的最小框 。权　利　要　求　书 1/2 页 2 CN 115393294 A 27.根据权利要求6所述的基于RGB ‑D特征分层融合的焊缝检测与分割方法， 其特征在 于， 在所述Mask  Head模块中14 ×14×256特征图到28 ×28×256特征图的反卷积层前添加 特征金字塔网络 。 8.一种基于RGB ‑D特征分层融合的焊缝检测与分割装置， 包括控制模块， 所述控制模块 包括处理器以及 存储器， 所述存储器上存储有计算机程序， 其特征在于， 所述计算机程序被 所述处理器执行时， 实现权利要求1至7中任意一项所述的基于RGB ‑D特征分层融合的焊缝 检测与分割方法。权　利　要　求　书 2/2 页 3 CN 115393294 A 3