(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111657010.9 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114131202 A (43)申请公布日 2022.03.04 (73)专利权人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 余圣甫　余振宇　何天英　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 孔娜　尚威 (51)Int.Cl. G10L 25/30(2013.01) B23K 26/348(2014.01)B23K 26/70(2014.01) G06K 9/62(2022.01) G10L 25/51(2013.01) 审查员 王锦林 (54)发明名称 激光-电弧复合焊时异常声信号的提取方 法、 系统及装置 (57)摘要 本发明属于焊接技术领域， 并具体公开了一 种激光‑电弧复合焊时异常声信号的提取方法、 系统及装置， 包括： 获取激光 ‑电弧复合焊过程中 的声信号图谱， 确定激光 ‑电弧复合焊过程中对 应的基值周 期； 将声信号图谱划分为M个图谱片 段； 基于训练好的声谱特征提取模型获取M个图 谱片段对应的M个片段特征； 至少基于训练好的 判别模型处理M个片段特征， 以从M个图谱片段中 筛选得到异常声音片段， 其中， 声谱特征提取模 型是训练好的卷积神经网络模型， 判别模型是训 练好的分类器模 型， 声谱特征提取模 型和判别模 型基于联合训练的方式得到。 本发 明从整体声信 号图谱中先筛选出异常声信号片段， 在减少声信 号分析计算 量的同时， 保证 计算精度。 权利要求书3页 说明书11页 附图6页 CN 114131202 B 2022.09.20 CN 114131202 B 1.一种激光 ‑电弧复合焊时异常声信号的提取 方法， 其特 征在于， 包括如下步骤： S1、 获取激光 ‑电弧复合焊过程中的声信号图谱； S2、 确定激光 ‑电弧复合焊过程中对应的基值周期， 所述基值周期至少基于焊接电流或 焊接电压变化周期预设值确定； S3、 获取第一个基值周期对应的声信号 图谱， 并将其划分为N个时长相同的子图谱， 基 于训练好的声谱特 征提取模型处 理所述子图谱， 生成对应的N个子图谱特 征； S4、 按时间顺序对所述N个子图谱特征进行排序， 将每个子图谱特征与其相邻右接的子 图谱特征进行对比， 获取N ‑1个子图谱相似度， 依此确定 子图谱相似度最小值； S5、 将所述子图谱相似度最小值对应的左侧子图谱确定为跳变点， 以所述跳变点为起 点， 以所述基值周期为划分阈值， 将所述声信号图谱划分为M个图谱片段； S6、 基于训练好的声谱特 征提取模型获取 所述M个图谱片段对应的M个片段 特征； S7、 至少基于训练好的判别模型处理所述M个片段特征， 以从所述M个图谱片段中筛选 得到异常声 音片段； 其中， 所述声谱特征提取模型是训练好的卷积神经网络模型， 所述判别模型是训练好 的分类器模型， 所述声谱特 征提取模型和所述判别模型基于联合训练的方式得到 。 2.如权利要求1所述的激光 ‑电弧复合焊时异常声信号的提取方法， 其特征在于， 所述 至少基于训练好的判别模型 处理所述M个片段特征， 以从所述M个图谱片段中筛选得到异常 声音片段， 包括： 多次使用聚类算法对所述M个片段特征进行聚类， 直至聚类簇中包括第一预设阈值以 上数量的片段 特征， 并获取 所述聚类簇中心特 征表示； 将所述聚类簇 外的图谱片段确定为 候选异常图谱片段； 基于训练好的判别模型对任意一个所述候选异常图谱片段以及所述聚类簇中心特征 表示进行处 理， 获取对应的候选异常图谱的差异度； 基于所述差异度从所述M个图谱片段中筛 选得到所述异常声 音片段。 3.如权利要求1所述的激光 ‑电弧复合焊时异常声信号的提取方法， 其特征在于， 所述 至少基于训练好的判别模型 处理所述M个片段特征， 以从所述M个图谱片段中筛选得到异常 声音片段， 包括： 基于训练好的判别模型对任意两个所述片段特征进行处理， 获取对应的片段特征差异 度； 获取差异度大于第二预设阈值的异常片段 特征候选集 合； 基于词频 ‑逆向文件频率算法对所述异常片段特征候选集合进行处理， 将频率出现高 于第三预设阈值的图谱片段确定为所述异常声 音片段。 4.如权利要求1所述的激光 ‑电弧复合焊时异常声信号的提取方法， 其特征在于， 所述 声谱特征提取模型和判别模型为神经网络模型的子模型， 所述神经网络模 型包括第一声谱 特征提取模型、 第二声谱特征提取模型以及判别模 型， 所述第一声谱 特征提取模 型、 第二声 谱特征提取模型 具有相同的模型 结构； 所述神经网络模型基于以下步骤进行训练： 获取训练集， 所述训练集中包括多个声信号图谱对， 且每个所述声信号图谱对中包含 对应的第一图谱片段对应的片段特征、 第二图谱片段对应的片段特征以及标签值， 所述标 签值反映第一图谱片段和第二图谱片段之间的差异度；权　利　要　求　书 1/3 页 2 CN 114131202 B 2基于所述训练集， 通过多轮迭代来训练第一初始模型， 以生成训练好的神经网络模型； 其中， 所述第一初始模型包括初始化的第一声谱特征提取模型、 初始化的第二声谱特 征提取模型以及 初始化的判别模型。 5.如权利要求4所述的激光 ‑电弧复合焊时异常声信号的提取方法， 其特征在于， 所述 多轮迭代训练得到训练好的神经网络模型， 其中每 轮迭代包括： 获取前一轮迭代中更新后的第一初始模型； 对每个所述声信号图谱 对， 利用更新后的第一声谱特 征提取模型处 理第一图谱片段， 获得对应的第一片段 特征； 利用更新后的第二声谱特 征提取模型处 理第二图谱片段， 获得对应的第二片段 特征； 利用更新后的判别模型处理所述第一片段特征和所述第二片段特征， 生成判别结果， 所述判别结果用以反映第一片段 特征和第二片段 特征的差异度； 基于所述判别结果以及所述标签值判断是否进行下一轮迭代或者就此确定训练好的 神经网络模型。 6.如权利要求1 ‑5任一项所述的激光 ‑电弧复合焊时异常声信号的提取方法， 其特征在 于， 所述基值周期还基于 激光脉冲周期确定 。 7.一种激光 ‑电弧复合焊时异常声信号的提取系统， 其特征在于， 包括声信号图谱获取 模块、 基值周期确定模块、 子图谱特征获取模块、 子图谱相似度确认模块、 声信号图谱划分 模块、 图谱片段 特征获取模块和异常声 音片段获取模块， 其中： 所述声信号图谱获取模块用于获取激光 ‑电弧复合焊过程中的声信号图谱； 所述基值周期确定模块用于确定激光 ‑电弧复合焊过程中对应的基值周期， 所述基值 周期至少基于焊接电流变化周期预设值确定； 所述子图谱特征获取模块用于获取第 一个基值周期对应的声信号图谱， 并将其划分为 N个时长相同的子图谱， 基于训练好的声谱特征提取模型处理所述子图谱， 生成对应的N个 子图谱特 征； 所述子图谱相似度确认模块用于按时间顺序对所述N个子 图谱特征进行排序， 将每个 子图谱特征与其相 邻右接的子图谱 特征进行对比， 获取(N ‑1)个子图谱相似度， 依此确定子 图谱相似度最小值； 所述声信号图谱划分模块用于将所述子图谱相似度最小值对应的左侧子图谱确定为 跳变点， 以所述跳变点为起点， 以所述基值周期为划分阈值， 将所述声信号图谱划分为M个 图谱片段； 所述图谱片段特征获取模块用于基于训练好的声谱特征提取模型获取所述M个图谱片 段对应的M个片段 特征； 所述异常声音片段获取模块用于至少基于训练好的判别模型处理所述M个片段特征， 以从所述M个图谱片段中筛选得到异常声音片段， 其中， 所述声谱特征提取模型是训练好的 卷积神经网络模型， 所述判别模型是训练好的分类器模型， 所述声谱特征提取模型和所述 判别模型基于联合训练的方式得到 。 8.一种激光 ‑电弧复合焊时异常声信号的提取装置， 其特征在于， 包括处理器， 所述处 理器用于执 行如权利要求1 ‑6任一项所述的激光 ‑电弧复合焊时异常声信号的提取 方法。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被权　利　要　求　书 2/3 页 3 CN 114131202 B 3