(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111623545.4 (22)申请日 2021.12.28 (65)同一申请的已公布的文献号 申请公布号 CN 114298220 A (43)申请公布日 2022.04.08 (73)专利权人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 张新民　何柏村　宋执环　朱哲人　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 贾玉霞 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/08(2006.01)(56)对比文件 CN 109084980 A,2018.12.25 CN 113158537 A,2021.07.23 CN 112819037 A,2021.0 5.18 CN 113553831 A,2021.10.26 CN 113222046 A,2021.08.0 6 US 20201046 39 A1,2020.04.02 沈非凡 等. “多变量轨 迹分析的过程故障检 测方法”. 《西安交通大 学学报》 .2017,第12 2-128 页. Dengyu Xiao et al. .“Fault Dia gnosis of Async hronous Motors Based o n LSTM Neural Netw ork”. 《2018 Progn ostics and System Health Mana gement Co nference (PH M- Chongqing)》 .2019,第540 -545页. 审查员 丁园园 (54)发明名称 基于上下文注意力动态特征提取器的故障 分类方法 (57)摘要 本发明公开了一种基于上下文注意力动态 特征提取器的故障分类方法， 其中提出了一种基 于注意力机制的新型编码器结构， 该编码器可以 对序列数据并行进行并行操作， 提高了处理序列 数据的计算效率。 同时， 提出了一种注意力机制 提取序列之间的动态信息。 基于所提出的编码 器， 提出了一种新的动态特征提取器， 称为上下 文注意力动态特征提取器， 并将其应用于工业过 程故障分类。 本发明方法不仅提高了故障分类模 型的分类精度， 还具有更高的模 型离线训练和在 线推理的计算效率， 适用于处理大规模数据和满 足工业的实时性需求。 权利要求书3页 说明书8页 附图2页 CN 114298220 B 2022.09.16 CN 114298220 B 1.一种基于上下文注意力动态特征提取器的故障分类方法， 其特征在于， 该方法包括 以下步骤： 步骤一： 收集工业过程的历史数据集， 包括过程变量和其对应的故障类别； 步骤二： 利用步长为l的滑动窗在所述历史数据 集上滑动， 得到序列数据 构建基于循 环神经网络的动态特征提取器， 所述动态特征提取器包括编码器和解码器， 用所述序列数 据 对动态特 征提取器进行训练； 步骤三： 利用步长为L的滑动窗在所述历史数据集上滑动， 得到序列数据S， 并将S分成 子序列； 利用子序列输入步骤二训练好的编 码器中， 得到子序列的动态特征； 基于上下文注 意力机制， 利用子序列的动态特征， 构建 并训练上下文注意力动态特征提取器， 所述上下文 注意力动态特征提取器包括编码器和解码器， 其中， 编码器包括query模块、 context   extractor模块以及co ntext gate模块； 步骤四： 将序列数据S输入步骤三训练好的上下文注意力动态特征提取器， 得到对应各 个序列的动态特征， 将动态特征和对应时刻的样本的过程变量结合， 得到动态增强特征； 构 建故障分类 器， 并利用动态增强特 征对故障分类 器进行训练； 步骤五： 采集现场工作数据 xinfer， 将每个时刻的样本与该时刻的历史数据组成长为L的 序列数据， 利用训练好的上下文注意力动态特征提取器提取动态特征， 与该时刻采集的样 本的过程变量组合形成动态增强特征， 再将该动态增强特征输入训练好的分类器， 进行故 障识别， 输出故障的类别； 所述步骤二具体分为如下的子步骤： (2.1)构建基于循环神经网络的动态特征提取器， 循环神经网络采用门控循环单元作 为循环层单元， 采用序列重构误差作为损失函数进行训练， 输入第j时刻对应的序列数据 循环神经网络的编码器的计算公式如下： 其中， xt表示序列中第t步数据， ht表示第t步隐变量， h ′t表示第t步中间隐变量， ze t表示 第t步对应的更新比例， re t表示第t步对应的重置比例， 表示编 码器门控循环单 元的内部 权重矩阵； 将编码器最后一 步的隐变量输出为动态特 征向量C； (2.2)将动态特征向量C输入循环神经网络的解码器， 获得重构的第j时刻对应的序列 数据 其计算公式如下： 权　利　要　求　书 1/3 页 2 CN 114298220 B 2其中， st表示第t步隐变 量， s′t表示第t步中间隐变 量， 表示生成的第t步序列数据； zd t 表示第t步对应的更新比例； rd t表示第t步对应的重置比例； {Wd o， Wd i}表示解码器门控循环 单元的内部 权重矩阵； (2.3)基于序列数据 采用随机梯度下降算法对所述动态特 征提取器进行训练， 训练损失函数定义 为对输入序列的重构误差， 重构误差由下式表示： 其中Ns表示序列个数； 所述步骤三具体分为如下的子步骤： (3.1)利用步长为L的滑动窗在所述历史数据集上滑动， 得到序列数据S＝{sL， sL+1，…， si，…sn}； 将长为L的序列数据si划分为S个长为l的子序列， 即 使用训练好的动态特 征提取器的编码器提取动态特 征， 计算公式如下： si＝[X1， X2， ...， Xi， ...， XS]                (9) ci＝fenc(Xi)                          (10) 其中， ci为第i个子序列的动态特 征向量， Xi为第i个子序列； (3.2)构建上下文注意力动态特征提取器， 输入提取的子序列动态特征c计算上下文增 强的动态特征,c＝{c1， c2， ...ci， ...， cS}； 所述上下文注意力动态特征提取器的编码器的 三个模块的计算公式如下： qS＝WQ·cS                        (11) Ki＝Wk·ci                (12) Vi＝WV·ci d＝FFN(z)                           (14) 其中， qS表示序列对应的query向量， Ki， Vi分别表示第i个子序列对应的key和value向 量， K， V分别表示前S ‑1个子序列key向量和value向量的集合， MultiHead表示多头注意力操 作， Concat表 示拼接操作， FFN表 示前向连接网络， λ表 示融合的比例， d表 示序列上下文 特征 向量， 表示序列对应的动态特 征向量， {WQ， WK， WV， Wo}表示编码器内部 权重矩阵； (3.3)构建上下文注意力动态特征提取器的解码器， 输入序列对应的动态特征向量 生成第t步序列数据预测值， 生成方法与步骤(2.2)相同； (3.4)利用序列数据S， 采用随机梯度下降算法对所述上下文注意力动态特征提取器进 行训练， 训练损失函数定义 为对输入序列的重构误差， 由下式表示：权　利　要　求　书 2/3 页 3 CN 114298220 B 3