(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210971886.9 (22)申请日 2022.08.12 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 邹焱飚　周恒昌　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 江裕强 (51)Int.Cl. B23K 9/127(2006.01) B25J 9/16(2006.01) (54)发明名称 一种激光视觉引导下的焊缝轨迹自动跟踪 方法及系统 (57)摘要 本发明公开了一种激光视觉引导下的焊缝 轨迹自动跟踪方法及系统。 所述方法和系统在焊 缝轨迹跟踪过程中能够从受大量噪声干扰的焊 缝图像中准确提取焊缝特征点的跟踪方法及系 统， 可以解决焊接机器人 “手动示教 ‑记忆再现 ” 式焊接效率低、 灵活性低的问题， 实现精确的自 动化焊接。 本发 明可以有效抵抗由于焊枪与激光 传感器距离过近而导致特征图像存在大量弧光、 飞溅等噪声的干 扰， 提高自动焊 接精度。 权利要求书3页 说明书8页 附图2页 CN 115383262 A 2022.11.25 CN 115383262 A 1.一种激光视觉引导的焊接轨迹自动跟踪系统， 其特征在于， 包括具有图像处理功能 的嵌入式工控机(8)、 工件夹持工作台(3)、 激光视觉传感器(5)、 焊接机器人(2)及配套焊接 设备(1)； 待焊接的工件(6)固定在工作台(3)上， 激光视觉传感器(5)在焊接方向上超前平行安 装于焊枪(4)上， 焊枪(4)安装在焊接机器人(2)末端的法兰盘上， 配套焊接设备(1)为焊接 提供能量、 材料以及保护气， 嵌入式工控机(8)在电路上与焊接机器人的控制器(7)和 激光 视觉传感器(5)进行连接， 在获取激光视觉传感器(5)采集的图像、 对图像中跟踪对象进行 准确定位后， 将得到的位置偏差传输给焊接机器人的控制柜(7)， 实现焊枪(4)轨迹的实时 修正。 2.一种激光视 觉引导的焊接 轨迹自动跟踪方法， 其特 征在于， 包括以下步骤： S1、 调整焊接机器人机械臂的位置和姿态； 焊接开始前， 激光视觉传感器 中的工业相机 采集初始焊接图像并发送到嵌入式工业控制 机， 对采集的图像进行初始化处理， 提取到初 始焊缝特征点及其所在的邻近区域， 并将得到的初始焊缝特征点像素坐标值转换成工业相 机坐标系下的三 维坐标值作为基准三 维坐标值； 以初始焊缝特征点像素坐标值为中心裁剪 图像块， 保存作为配准网络所需要 使用的基准图像； S2、 在工业相机持续采集图像过程中， 对于每一张新采集的焊缝激光图像， 经过焊缝特 征点预测， 均能得到其对应的焊缝特征点坐标； 每次得到当前新采集的焊缝激光图像的焊 缝特征点坐标后， 将焊缝特征点坐标转化为焊接机器人控制指令， 发送至焊接机器人控制 柜， 机器人控制柜控制焊枪 运动， 使焊枪始终对准焊缝， 完成焊接 轨迹自动跟踪。 3.根据权利要求2所述的一种激光视觉引导的焊接轨迹自动跟踪方法， 其特征在于： 步 骤S1中， 调整焊接机器人机械臂的位置和姿态， 使得焊枪末端位于待焊工件焊缝起始位置 的正上方且焊枪垂 直于工件表面， 并使得固定在焊枪上的激光视觉传感器处于最佳工作位 置， 即在焊接过程中既能捕捉到清晰的焊接图像， 又不会和待焊工件发生干涉。 4.根据权利要求2所述的一种激光视觉引导的焊接轨迹自动跟踪方法， 其特征在于： 步 骤S2中， 对于每一张新采集的焊缝激光图像， 焊缝 特征点预测包括以下步骤： S2.1、 在焊接过程中， 以上一张焊缝激光图像中检测到的焊接点像素坐标(X， Y)为中 心， 在相机新采集的焊缝激光图像上裁剪一部分图像块， 输入到定位精度判别网络 (Localization  Accuracy Estimation Net， 简称为LA E网络)中； 若定位精度判别网络的返 回值大于阈值， 判断当前新采集的图像块的中心位置与焊接点位置足够接近， 则将基准图 像更新为新采集的图像块； 若 小于阈值， 则不更新基准图像； S2.2、 若新采集的图像块被更新为基准图像， 则当前新采集图像的焊缝特征点可以确 定为新采集的图像块的中心点； 若新采集的图像块未被更新为基准图像， 则将新采集的图 像块与基准图像合并， 作为双通道图像输入到配准网络中， 根据配准网络的网络 返回值(x， y)， 对上一张焊缝激光图像的焊缝特征点的坐标检测结果进行微调， 得到当前新采集的焊 缝激光图像的焊缝特征点的预测值； 网络返回值(x， y)即配准网络预测当前新采集的图像 块与基准图像之间的焊缝 特征点二维像素差值。 5.根据权利要求4所述的一种激光视觉引导的焊接轨迹自动跟踪方法， 其特征在于： 步 骤S2.1中， 预测输入图像块定位精度的过程具体包括： S2.1.1、 构建定位精度判别网络；权　利　要　求　书 1/3 页 2 CN 115383262 A 2S2.1.2、 对定位精度判别网络进行训练， 并保存训练完成之后的定位精度判别网络参 数文件； S2.1.3、 使用经过训练完成之后的定位精度判别网络对输入图像进行定位精度预测， 当预测值高于阈值时更新基准图像。 6.根据权利要求5所述的一种激光视觉引导的焊接轨迹自动跟踪方法， 其特征在于： 步 骤S2.1.1中， 所述定位精度判别网络包括特 征提取部分与预测部分； 在特征提取部分， 定位精度判别网络使用神经网络resNet18， 神经网络resNet18使用 残差学习， 将输入与输出的差值作为下一残差块的输入； 由于神经网络resNet18仅用于提取图像的特 征， 直接使用resnet18的预训练权 重； 神经网络resNet18包括一个卷积层、 一个最大池化层和四个残差块， 每个残差块包括 四个卷积层与两处残差连接结构； 将新采集的图像块输入神经网络resNet18后， 取第一个残差块与第二个残差块的输 出； 将第一个残差块与第 二个残差块的输出分别经过三个卷积层和一个全连接层， 每一层 过后都要经过批归一化处理和ReLU激活函数， 然后得到两组中间数据， 将两组中间数据拼 接， 在经过一个全连接层， 最后输出对新采集图像块定位精度预测值。 7.根据权利要求6所述的一种激光视觉引导的焊接轨迹自动跟踪方法， 其特征在于： 步 骤S2.1.2中， 对定位精度判别网络训练的过程具体如下： 在无引弧状态下采集多张无噪声干扰的焊缝激光图像作为定位精度判别网络训练的 训练集， 并记录每张无噪声干扰的焊缝激光图像中焊缝位置对应 像素值， 作为训练集标签； 为了使定位精度判别网络能够准确预估待测图像与理想图像之间的位置偏差， 采用用 交并比作为定位精度判别网络的预测结果； 图像交并比即两张图像取 交集部分面积与取并 集面积之比， 其计算公式为： IoU＝A∩B/A ∪B 其中， A∩B表示图像A与图像B 取交集部分面积， A∪  B表示图像A与图像B 取并集部分面 积； 图像交并比越大， 则说明两张图像的重合度越高， 焊缝激光图像的中心点坐标越接近 图像坐标真值； 选取图像之后， 在焊缝特征点真实坐标数据上添加一个高斯噪声， 得到偏移 后的焊缝特征点坐标， 以偏移后的焊缝特征点坐标为中心截取图像块作为定位精度判别网 络的输入， 由焊缝特征点真实坐标与偏移后的焊缝特征点坐标计算输入图像与理想图像的 并交比； 获取训练样本， 对定位精度判别网络进行训练。 8.根据权利要求4所述的一种激光视觉引导的焊接轨迹自动跟踪方法， 其特征在于： 步 骤S2.2中， 对焊缝激光图像的焊缝 特征点坐标检测结果进行微调的过程具体包括： S2.2.1、 根据深度强化学习方法构建配准网络和用于协助训练的状态值近似网络； S2.2.2、 对配准网络与状态值近似网络进行训练， 并保存训练完成后的配准网络参数 文件； S2.2.3、 将新采集的图像块与基准 图像块合并， 作为双通道图像输入到训练完成后的 配准网络中， 根据训练完成后的配准网络的输出值(x， y)添加至上一张特征条纹 图像的焊权　利　要　求　书 2/3 页 3 CN 115383262 A 3