(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110355435.8 (22)申请日 2021.04.01 (65)同一申请的已公布的文献号 申请公布号 CN 113011102 A (43)申请公布日 2021.06.22 (73)专利权人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 梁秀霞　庞荣荣　杨凡　李万通　 郭鹭　陈娇娇　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 王瑞 (51)Int.Cl. G06F 30/27(2020.01) G06F 17/16(2006.01)G06F 17/15(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112633317 A,2021.04.09 CN 110288157 A,2019.09.27 CN 109559781 A,2019.04.02 CN 111785366 A,2020.10.16 CN 111461455 A,2020.07.28 崔巍.“基于Attention-LSTM的滚动轴承性 能衰退预测 ”. 《中国优秀硕士学位 论文全文数据 库 工程科技 Ⅱ辑》 .2021, 王硕.“基于深度学习的间歇过程故障检测 与诊断方法 ”. 《中国优秀硕士学位 论文全文数据 库 信息科技 辑》 .2020, 审查员 李紫君 (54)发明名称 基于多元时间序列的Attention-LSTM的青 霉素发酵 过程故障预测方法 (57)摘要 本发明公开了一种基于多元时间序列的 Attention ‑LSTM的青霉素发酵过程故障预测方 法， 首先通过皮尔逊Pearson相 关性分析选择青 霉素发酵过程中的多个相关过程变量， 然后通过 Attention机制对 LSTM的输入序列不同时刻的隐 向量赋予了不同的权重， 使 得神经网络预测模型 对长时间序列输入的处理更为有效， 实现对青霉 素发酵过程的故障预测建模。 本发 明采用注意力 机制与LSTM相结合的故障预测模型对青霉素发 酵过程进行 故障预测， 克服了现有LS TM在处理长 序列输入时易忽略重要时序信息的问题， 使 得基 于LSTM的故障预测更精准。 权利要求书4页 说明书9页 附图4页 CN 113011102 B 2022.05.24 CN 113011102 B 1.一种基于多元 时间序列的Attention ‑LSTM的青霉素发酵过程故障预测方法， 其特征 在于， 该方法包括以下步骤： 1)采集青霉素发酵过程中的a批正常发酵过程数据和b批发酵过程数据； 将b批发酵过 程数据作为样本数据， 将其中的前c 批样本数据作为训练集， 其 余样本数据作为测试集； 2)将T2和SPE作为发酵过程是否发生故障的指标， 计算a批正常发酵过程数据的T2和 SPE， 并将计算得到的a批正常发酵过程数据的T2和SPE作为预测是否发生故障的控制限 和SPEcl； 计算每批样本数据的T2和SPE， 得到训练集的 和SPEtrain以及测试集的 和 SPEtest； 其中， T2为描述程度； SPE为平方 预测误差； 3)分别对 和SPEtrain与青霉素发酵过程中的可在线测量变量做相关性分析， 分别得 到与 和SPEtrain显著相关的可在线测量变量作为预测模型的输入； 4)按照步骤3)中选出的显著相关的可在线测量变量对训练集和测试集进行筛选， 然后 对筛选完的训练集和 测试集进行归一 化处理， 得到归一 化后训练集和归一 化后测试集； 5)构建预测模型的输入以及分别构建T2的LSTM预测模型和S PE的LSTM预测模型； 6)在T2的LSTM预测 模型和SPE的LSTM预测模型基础上分别引入Attention机制， 构建T2 的Attention‑LSTM预测模型和S PE的Attention‑LSTM预测模型； 7)用步骤4)得到的归一化后训练集分别对T2的Attention ‑LSTM预测模型和SPE的 Attention ‑LSTM预测模型进行训练， 确定神经网络参数， 得到训练后T2的Attention ‑LSTM 预测模型和训练后S PE的Attention‑LSTM预测模型； 8)将步骤 4)得到的归 一化后测试集分别输入到训练后T2的Attention ‑LSTM预测模型和 训练后SPE的Attent ion‑LSTM预测模型中， 得到T2的预测值 和SPE的预测值SPEpred； 再根 据 和SPEpred以及步骤2)得到的 和SPEtest计算得到均方根误差RMSE， 并将RMSE作为预 测模型的评价指标； 9)将步骤8)中得到 和SPEpred进行反归一化， 得到反归一化后 和反归一化后 SPEpred； 再将反归一化后 与 比较， 将反归一化后SPEpred与SPEcl比较； 若反归一化后 大于 或反归一 化后SPEpred大于SPEcl， 则发生故障， 否则正常。 2.根据权利 要求1所述的基于多元 时间序列的Attention ‑LSTM的青霉素发酵过程故障 预测方法， 其特征在于， 步骤3)中， 青霉素发酵过程中的可在线测量变量包括充气率、 搅拌 功率、 底物流加速率、 底物流 温度、 底物浓度、 溶解氧浓度、 培养体积、 二氧化碳浓度、 pH和产 生的热量。 3.根据权利 要求1所述的基于多元 时间序列的Attention ‑LSTM的青霉素发酵过程故障 预测方法， 其特征在于， 步骤3)中， 分别对 和SPEtrain与青霉素 发酵过程中的可在线测量 变量做相关性分析采用Pearso n相关性分析， 二维变量的Pearso n相关系数公式为：权　利　要　求　书 1/4 页 2 CN 113011102 B 2式(1)中， u是青霉素发酵过程中的可在线测量变量， y是 或SPEtrain， 分别为变 量u、 y的平均值， m是训练集的样本容 量。 4.根据权利 要求1所述的基于多元 时间序列的Attention ‑LSTM的青霉素发酵过程故障 预测方法， 其特 征在于， 步骤5)中， 构建预测模型的输入的具体过程如下： 多元时间序列的LSTM预测模型的输入是多条时间序列X； 设多元时间序列的LSTM预测 模型中的输入为： 式(2)中， 前N条时间序列 为步骤3)中筛选出来的显著相关的可在 线测量变量， 第N+1条序列 为T2或SPE； L是时间序列长度； 式(2)中， 的展开是： 的展开按照式(3)类推； 再将 的展开代入式 (2)， 得到： 同时将时间序列输入LSTM预测模型时， 输入当前时刻的前n个时刻的数据， 则t时刻 LSTM预测模型的输入 xt为： 式(5)中， xt为时间序列； t∈[n+1,L]， 输出为t时刻的T2或SPE。 5.根据权利 要求1所述的基于多元 时间序列的Attention ‑LSTM的青霉素发酵过程故障 预测方法， 其特 征在于， 步骤5)中， LSTM预测模型的结构如下： LSTM预测模型包括若干个LSTM单元； 每个LSTM单元具有输入层、 隐藏层和输出层； 隐藏 层内部有一个由遗忘门、 输入门和输出门构成的门结构； 每个LSTM单元的输入分别为t时刻 的输入xt、 t‑1时刻的LSTM单元状态Ct‑1以及t‑1时刻的隐藏层 状态ht‑1， 输出为t时刻的LSTM 单元状态Ct和t时刻的隐藏层状态ht；权　利　要　求　书 2/4 页 3 CN 113011102 B 3