(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210553427.9 (22)申请日 2022.05.20 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 李帷韬　张雪松　侯建平　管树志　 胡平路　杨盛世　孙伟　李奇越　 张倩　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06F 30/17(2020.01) G06F 30/27(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G01M 13/04(2019.01) (54)发明名称 一种基于深度强化学习的滚动轴承故障类 型识别方法 (57)摘要 本发明公开了一种基于深度强化学习的滚 动轴承故障类型识别方法， 其步骤包括： 1、 采集 滚动轴承一维时间序列故障数据； 2、 连续小波变 换算法对故障数据进行预处理； 3、 人工标注并进 行归一化位置 编码 ； 4 、 建立基于改 进的 Transformer ‑LSTM双分支异构网络和强化学习 网络； 5、 对网络进行训练得到强化学习最优训练 模型； 6、 输入测试集到最优训练模型得到最优故 障诊断分类识别效果。 本发明通过 强化学习的方 法， 提高了滚动轴承故障分类识别的准确性， 同 时使得模型 具有更好的抗噪性能。 权利要求书2页 说明书5页 附图2页 CN 114896733 A 2022.08.12 CN 114896733 A 1.一种基于深度强化学习的滚动轴承故障类型识别方法， 其特 征是按如下步骤进行： 步骤1、 实时采集滚动轴承的预置测点处的一维时间序列故障数据； 步骤2、 利用式(1)所示的连续小波变换算法对所述一维时间序列故障数据进行预处 理， 得到二维信号矩阵Wf(a,b)： 式(1)中， a表示伸缩 因子， b表示平移因子， t表示时刻； f(t)为t时刻的一维时间序列故 障数据， 为母小波Ψ(·)的复共轭， a,b∈R， a≠ 0； R表示实数； 步骤3、 对所述二维信号矩阵Wf(a,b)中的故障类型进行人工 标注， 获得带有标签的一个 故障矩阵； 从而得到带有标签的训练数据集D＝{(x1,l1),(x2,l2),...,(xj,lj),...,(xK, lK)}， 其中xj表示第j个故障矩阵， li表示第j个故障矩阵xj的标签， 且li的取值范围为[1,Y]， Y表示故障类型的种类， K为故障矩阵的总数； 步骤4、 构建滚动轴承特征数集合p＝{p1,p2,…,pi,…pn}， pi表示第i个轴承特征， 且pi ∈[1,n]， n表示滚动轴承特 征总数； 利用式(2)得到所述第i个轴承特 征pi的位置编码PEi， 从而得到位置编码矩阵PE： 式(2)中， min{p}为滚动轴承特征集合p中的轴承特征最小值， max{p}为滚动轴承特征 集合p中的轴承特 征最大值； 利用式(3)对位置编码矩阵PE进行尺寸归一 化， 得到归一 化后的位置编码矩阵E： E＝reshape(PE)          (3) 式(3)中， reshape( ·)表示矩阵尺寸变换函数； 将所述位置编码矩阵E与 带有标签的故障矩阵相加后的滚动轴 承特征向量作为识别模 型的输入； 步骤5、 建立基于改进的Transformer的深度强化学习网络， 包括： 用于特征提取的 Transformer ‑LSTM双分支 异构网络、 用于生成动作策略的强化学习网络； 所述强化学习网络由全连接层组成； 所述Transformer ‑LSTM双分支异构网络包括： 改进的Transformer网络分支、 单层 的 LSTM神经网络； Softmax 模式分类 器； 所述改进的Transformer网络分支由N个编码器组成， 每个编码器依次由一个多头注意 力机制层、 第一求和与归一化层、 前馈卷积层、 第二求和与归一化层组成； 其中， 所述多头注 意力机制层由多个自注意力机制层组成； 所述前馈卷积层由三个一维卷积块组成， 每个卷积块依次由维度为1 ×1且卷积核个数 为M的第一卷积层、 维度为3 ×3且卷积核个数为2M的第二卷积层组成； 所述Softmax 模式分类 器包括： 全连接层和Softmax函数； 当n＝1时， 所述滚动轴承特征向量输入所述深度强化学习网络中， 并经过所述 Transformer ‑LSTM双分支异构网络中 改进的Transformer网络分支， 由第n个编码器的多头 注意力机制层的处理后， 得到第n个多头注意力机制特征矩阵Mn， 再依次经过第一求和与归权　利　要　求　书 1/2 页 2 CN 114896733 A 2一化层、 前馈卷积层、 第二 求和与归一 化层的处 理后， 输出第n个归一 化矩阵Zn； 当n＝2,3, …,N时， 第n ‑1编码器输出的编码器特征矩阵Zn‑1经过第n个编码器的处理 后， 输出第n个归一化矩阵Zn， 从而由第N个编码器输出的第N个归一化矩阵Zn作为所述 Transformer网络分支的输出； 所述单层的LSTM神经网络对 Zn进行处理， 得到隐藏状态 矩阵h； 所述隐藏状态矩阵h输入到所述全连接层中进行特征提取和加权求和处理后得到故障 分数； 所述故障分数 经过所述Softmax函数的映射后得到故障概 率； 步骤6、 将所述Transformer ‑LSTM网络输出的隐藏状态矩阵h作为当前状态s， 并输入所 述强化学习网络中进行训练； 步骤6.1、 定义动作空间集A， 并将所述动作空间集A中任意一个动作a作为一种轴承故 障类型； 步骤6.2、 利用式(4)定义奖励函数reward(s,a)： 式(4)中， y∈[1,Y]表示任意 一种轴承故障类型； 步骤6.2、 利用式(5)得到动作空间集A中动作a下的动作价 值函数Q(s,a； θ )： 式(5)中， θ为强化学习网络 的权重系数， γ为折扣系数， 且γ∈[0,1]， T表示预设的时 间值， E表示期望； st表示t时刻的状态， at表示t时刻的动作； 步骤6.3、 利用式(6)得到执 行动作a后的目标Q 值Qtarget： Qtarget＝reward+γmaxQ(s ′,a′； θ )     (6) 式(6)中， s ′为执行动作a后的下一个 状态， a′为执行动作a后的下一个动作； 步骤6.4、 利用式(7)建立损失函数Loss， 并对强化学习网络进行反向传播， 以更新网络 参数， 直到 达到最大迭代次数为止， 从而获得最优故障诊断分类识别模型； Loss＝(Qtarget‑Q(s,a； θ ) )2      (7) 步骤6.5、 获取待预测的一维时间序列故障数据， 并按照步骤2 ‑步骤4的过程进行处理， 得到待预测的滚动轴承特征向量， 并输入所述最优故障诊断分类识别模型中， 从而实现对 待预测的滚动轴承特 征向量的故障分类。权　利　要　求　书 2/2 页 3 CN 114896733 A 3