(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210407447.5 (22)申请日 2022.04.19 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 申请人 杭电 （海宁） 信息科技研究院有限公 司 (72)发明人 陈洪欢　董鑫　孔亚广　黄娜　 陈张平　赵晓东　张帆　王孟哲　 朱钦南　 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于生成对抗网络的超声焊接质 量在线监 测方法 (57)摘要 基于生成对抗网络的超声焊接质 量在线监 测方法， 使用激光测振仪实时测量底模的振幅数 据、 焊接过程中的超声波频率数据； 使用压力变 送器采集气缸与超声焊头 之间的压力， 实时测量 压力数据； 使用红外测温仪实时采集超声换能器 陶瓷片温度、 超声焊头温度数据。 构建多并行辅 助分类器的生成对抗网络ACGAN， 处理上述五组 数据， 并将生成器生成的数据用于数据不均衡时 的数据增强； 搭建融合网络GAN ‑Fusion融合经过 处理的数据后， 搭建分类器用于识别焊接质量， 焊接该质量 分为过焊、 欠焊、 正常焊。 本技术方案 能够直接从实际加工数据中提取相关特征信息 并建立诊断模 型， 有助于提高故障检测及诊断的 精度及效率， 最终 实现超声焊接质量在线检测。 权利要求书5页 说明书15页 附图6页 CN 114663425 A 2022.06.24 CN 114663425 A 1.基于生成对抗网络的超声焊接质量在线监测方法， 其特 征在于， 包括以下步骤： 步骤1： 获取 数据； 使用激光测振仪实时测量底模的振幅数据Xh、 焊接过程中的超声 波频率数据Xf. 使用压力变送器采集气缸与超声焊头之间的压力， 实时测量压力数据Xp； 使用红外 激光测温仪分别测量焊头温度Xtmm以及超声换能器陶瓷片的温度Xtn； 步骤2： 数据预处 理： 步骤3： 构建多并行辅助分类器的生成对抗网络ACGAN， 分别用五个ACGAN处理经预处理 的步骤1中获取的五类数据； 得到更能表征焊接质量信息的低维数特征， 所述低维数特征包 括： 陶瓷片温度特 征、 频率特 征、 焊头温度特 征、 振幅特 征、 压力特 征； 步骤4： 搭建融合网络GAN ‑Fusion： 提取步骤3得到 的低维数特征； 构建融合网络GAN ‑Fusionl， 用于融合陶瓷片温度特征 和频率特征， 得到融合陶瓷片温度和频率的最终特征； 构建融合网络GAN ‑Fusion2， 用于融 合焊头温度特征、 振幅特征和压力特征， 得到融合焊头温度特征、 振幅特征和压力特征的最 终特征； 步骤5： 搭建分类器： 用于将融合陶瓷片温度和频率的最终特征与融合焊头温度特征、 振幅特征和压力特征的最终特征进行合并concatenate后， 放到 分类器中识别焊接质量， 该 焊接质量分为过焊、 欠焊、 正常焊。 2.如权利要求1所述的基于生成对抗网络的超声焊接质量在线监测方法， 其特 征在于， 所述步骤2具体包括以下步骤： 步骤2‑1： 将步骤1中测得的数据Xh、 Xf、 Xp、 Xtm、 Xtn这五类数据分别进行归 一化处理， 使数 据分布在[0， 1]之间： 式中， 五类数据中任意一类数据X＝{x1， x2， x3，…， xn}， xi表示某一类数据中第i个样本 数据， n表示该类数据的组数， max(X)表示这类数据中的最大值， min(X)表示这类数据中的 最小值； 步骤2‑2： 将采集到的五类数据每 类都划分为训练集和 测试集。 3.如权利要求1所述的基于生成对抗网络的超声焊接质量在线监测方法， 其特 征在于， 所述构建多并行辅助分类 器的生成对抗网络ACGAN的具体方式如下： 在输入到所述ACGAN的生成器G中的随机噪声中加入类别标签， 指导G生成特定标签数 据， 所述ACGAN的判别器D能给 出生成数据所述类别的标签； 当在测量数据时出现数据不均衡或质量较差， 将对应标签类别的生成数据加入到不平 衡的诊断数据中， 生成的故障数据和少量的真实故障数据一起放入网络训练， 其 目标函数 如下： Ls＝E[logP(S＝real|Xreal)]+E[log(S＝fake|Xfake)] Lc＝E[logP(C＝c|Xreal)]+E[logP(C＝c|Xfake)] 其中Ls是面向数据真实与否的代价函数， Lc是面向分类精确度的代价函数， Xreal为真实 样本数据， Xfake为生成数据， P(S|X)为数据源是否为真实数据的概率分布， P(C|X)为数据源 对于分类标签的概 率分布；权　利　要　求　书 1/5 页 2 CN 114663425 A 2训练所述网络的过程中， 判别器D被训练来最大化Ls+Lc的值， 生成器G被训练来最大化 Lc‑Ls的值； 所述分别用五个ACGAN处理经预处理的步骤1中获取的五类数据， 得到更能表征焊接质 量信息的低维数 特征的具体步骤如下， 步骤3‑1： 用1DCNN构建生成器G1和判别器D2， 对陶瓷片温度Xtn进行数据增强和特征提 取； 步骤3‑2： 用1DCNN构建生成器G2， 用门控循环单元GRU构建判别器D2， 对频率数据Xf进行 数据增强和特 征提取； 步骤3‑3： 用1DCN N构建生成器G3和判别器D3， 对焊头温度Xtm进行数据增强和特 征提取； 步骤3‑4： 用1DCNN构建生成器G4， 门控循环单元GRU构建判别器D4， 对振幅数据Xh进行数 据增强和特 征提取； 步骤3‑5： 用1DCN N构建生成器G5和判别器D5， 对压力Xp进行数据增强和特 征提取； 通过向所述生成器G1、 G2、 G3、 G4、 G5中输入随机噪声和样本标签， 生成与对应类别的真 实样本分布相似的数据； 所述判别器D1、 D3、 D5、 D2、 D4， 用于判断输入的数据为真实样本数据或者生成数据； 生 成器和判别器相互博 弈、 彼此优化达 到纳什均衡； 步骤3‑6： 所述生成器G1、 G2、 G3、 G4、 G5均设置若干卷积层、 平均池化层和一个全局平均 池化层； 分别对每层卷积网络设置不同的滤镜尺寸以及时间步长， 平均池化层滤镜尺寸均为2 ×1， 全局平均池化层取样 本轴维度上的平均值， 除最后一层卷积层使用tanh做 为激活函数 外， 其余卷积的激活函数均采用LeakRelu； 使得生成器G1、 G2、 G3、 G4、 G5生成与真实样本维度相同的生成数据， 放到对应的判别器 中与真实样本数据进行对照； 步骤3‑7： 所述判别器D1、 D3、 D5均设置若干卷积层、 平均池化层和一个全局平均池化 层； 分别对每层卷积网络设置不同的滤镜尺寸以及时间步长， 平均池化层滤镜尺寸均为2 ×1， 全局平均池化层取样本轴维度上的平均值， 每层卷积的激活函数均采用LeakRelu， 设 置正则项dr opout防止出现过拟合； 得到更能表征焊接质量信息的低维数特征， 所述判别器 D1、 D3、 D5分别判断陶瓷片温度、 超声焊头温度和压力数据的真伪， 分别用ztn、 ztm和zp代表三 个判别器产生的低维数 特征； 将本步骤中的上述低维数特征分别放入若干不同神经元个数的全连接层dense_1判断 数据真假； 放入若干不同神经元个数的全连接层dense_2识别加工类型： 所述加工类型包括 过焊、 欠焊、 正常焊接； 其中， 全连接层的激活函数均为LeakRelu， dense_1输出层的激活函 数为sigmoi d， 损失为二元交叉熵； dense_2输出层的激活函数为softmax， 损失为多元交叉 熵； 优化器均采用均方根传递rm sprop； 步骤3‑8： 所述判别器D2、 D4均设置若干层门控循环单元GRU， 每层GRU设置不同的神经 元个数， 激活函数均采用LeakRelu， 设置正则项dropout防止出现过拟合； 经过若干层GRU 后， 得到更能表征焊接质量信息的低维数特征， 所述判别器D2、 D4分别判断频率和振幅数据 的真伪， 分别用zf和zh代表两个判别器产生的低维数 特征；权　利　要　求　书 2/5 页 3 CN 114663425 A 3