(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211030198.9 (22)申请日 2022.08.26 (71)申请人 武汉铁路职业 技术学院 地址 430205 湖北省武汉市江夏区藏龙 大 道特1号 (72)发明人 张素洁　杨明明　胡翔　刘莉　 何安琪　刘世荣　刘丽雯　谢小园　 刘梦君　周杨　王元芳　高红岩　 张燕安　 (74)专利代理 机构 武汉惠创知识产权代理事务 所(普通合伙) 42243 专利代理师 陈薇 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06N 20/00(2019.01) (54)发明名称 一种焊缝质量实时在线评估方法、 装置、 存 储介质和终端 (57)摘要 本发明提供了一种焊缝质 量实时在线评估 方法、 系统、 存储介质和终端， 方法包括以下步 骤： 步骤1， 获取基于预设机器学习方法建立的焊 缝质量实时评估模型； 步骤2， 通过焊接控制平台 对焊接过程进行自动运动控制， 并通过影像系统 采集当前焊接图像， 采用所述焊缝质量实时评估 模型对所述 当前焊接图像进行评估， 生成焊缝质 量评估结果。 对熔池图像进行快速处理和评估， 实现焊缝质量的实时在线评估， 学员通过电脑观 察焊缝图像和焊缝质量信息， 并远程操作调整焊 接参数， 获取最佳的焊接方案。 通过即时反馈提 升学习效果； 远离恶劣的焊接环境， 采用远程操 作， 克服初学者对焊接中的强光、 高温、 烟尘、 噪 声的的畏难情绪， 改善作业环境， 降低学生的畏 惧心理。 权利要求书2页 说明书13页 附图2页 CN 115439429 A 2022.12.06 CN 115439429 A 1.一种焊缝质量实时在线评估方法， 其特 征在于， 包括以下步骤： 步骤1， 获取基于预设机器学习方法建立的焊缝质量实时评估 模型； 步骤2， 通过焊接控制平台对焊接过程进行自动运动控制， 并通过影像系统采集当前焊 接图像， 采用所述焊缝质量实时评估模型对所述当前焊接图像进行评估， 生成焊缝质量评 估结果。 2.根据权利要求1所述的一种焊缝质量实时在线评估方法， 其特征在于， 基于预设机器 学习方法建立焊缝质量实时评估 模型包括以下步骤： 步骤101， 根据预设焊接需求获取不同接头形式以及不同焊件厚度对应的焊接样本图 片， 对每张焊接样本图片进行分类标注， 并将标注完成的焊接样本图片分为训练集、 验证集 和测试集； 步骤102， 对所述训练集、 所述验证集和所述测试集的每张焊接样本图片进行图像处 理， 以备进行模型训练； 步骤103， 基于python语言和所述训练集的焊接样本图片， 对Scikit ‑learn库的多个预 设机器学习模型分别进行训练， 生成对应的初始评估 模型； 步骤104， 采用所述验证集对每个初始评估模型进行验证， 并生成每个初始评估模型对 应的f1‑score， 筛选出所述f1 ‑score大于第一预设阈值的至少一个初始评估模型， 并作为 初选模型； 步骤105， 采用每个初选模型实时对所述测试集的焊接样本图片进行评估， 生成每个初 选模型对应的评估测试时间， 并将所述评估测试时间小于第二预设阈值的初选模型作为所 述焊缝质量实时评估 模型。 3.根据权利要求2所述的一种焊缝质量实时在线评估方法， 其特征在于， 每张所述焊接 样本图片均包括熔池图像、 电弧图像和/或焊缝图像； 对每张焊接样 本图片进 行分类标注的 标注结果包括良好、 烧穿、 污染、 未 熔合、 缺乏保护气体和焊枪移动过 快。 4.根据权利要求2所述的一种焊缝质量实时在线评估方法， 其特征在于， 所述步骤102 中对每张所述焊接样本图片进行图像处 理包括以下步骤： 步骤1021， 读取 所述焊接样本图片； 步骤1022， 将所述焊接样本图片的像素转 化为1280*1024； 步骤1023， 裁剪所述焊接样本图片中无信息区域的像素， 以将所述焊接样本图片的像 素由1280 *1024变化 为1280*700； 步骤1024， 对裁 剪后的所述焊接样本图片进行 灰度化处 理， 生成灰度图； 步骤1025， 将所述灰度图的像素由1280*700转化为40*22， 数据类型转化为float32格 式； 步骤1026， 对转化后的灰度图进行正则化处理， 以使所述灰度图的像素由40*22转化为 用于后续模型训练的一维数组。 5.根据权利要求2 ‑4任一所述的一种焊缝质量实时在线评估方法， 其特征在于， 所述影 像系统包括高速摄像机、 同步控制器、 电流电压同步回放模块和成像光路， 所述高速摄像机 设置在所述焊接控制平台的机械臂上且与所述焊接控制平台的焊枪成45度夹角， 并通过所 述同步控制器控制所述高速摄像机和所述焊枪同步移动， 以实时采集焊接熔池和焊接电弧 正前方的区域图像并作为所述当前焊接图像。权　利　要　求　书 1/2 页 2 CN 115439429 A 26.根据权利要求5所述的一种焊缝质量实时在线评估方法， 其特征在于， 还包括步骤3， 所述步骤3具体为： 步骤301， 以预设频率连续获取所述高速摄像机拍摄的焊接图像， 记录所述焊接图像对 应的焊接参数值， 并采用所述焊缝质量 实时评估模型对所述焊接图像进 行实时评估生成对 应的焊缝质量评估结果； 步骤302， 将所述焊接参数值和所述焊缝质量评估结果标记到对应的焊接图像； 步骤303， 按照目标编辑 顺序对标记后的焊接图像进行合并生成目标焊接 视频； 步骤304， 通过上位机显示所述目标焊接视频， 并根据所述目标焊接视频生成达到预设 优化目标的优化焊接参数值； 所述焊接参数值包括电弧电压值、 焊接电流 值和/或焊枪移动速度。 7.根据权利要求6所述的一种焊缝质量实时在线评估方法， 其特征在于， 所述步骤303 按照目标编辑 顺序对标记后的焊接图像进行合并生成目标焊接 视频， 具体包括以下步骤： 步骤3031， 获取预建立的映射关系表， 所述映射关系表包括每个所述焊接图像对应的 编号、 采集时间、 焊接参数值以及焊缝质量评估结果； 步骤3031， 获取根据用户需求生成的用户指令， 所述用户指令包括目标优化焊接参数 以及图像编辑 顺序； 步骤3032， 根据所述目标优化焊接参数查询所述映射关系表获取已标记的至少一个目 标焊接图像， 并根据所述图像编辑顺序将所述至少一个目标焊接图像合并生成目标焊接视 频。 8.一种焊缝质量实时在线评估 装置， 其特 征在于， 包括获取模块和焊缝质量评估 模块； 所述获取模块用于获取基于预设机器学习方法建立的焊缝质量实时评估 模型； 所述焊缝质量评估模块用于通过焊接控制平台对焊接过程进行自动 运动控制， 并通过 影像系统采集当前焊接图像， 采用所述焊缝质量 实时评估模型对所述当前焊接图像进 行评 估， 生成焊缝质量评估结果。 9.一种计算机可读存储介质， 存储有计算机程序， 所述计算机程序被处理器执行时， 实 现以上权1 ‑权7任一所述的焊缝质量实时在线评估方法。 10.一种焊缝质量实时在线评估终端， 包括所述的计算机可读存储介质和处理器， 所述 处理器执行所述计算机可读存储介质上的计算机程序时实现以上权1 ‑权7任一所述焊缝质 量实时在线评估方法的步骤。权　利　要　求　书 2/2 页 3 CN 115439429 A 3