(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111505344.4 (22)申请日 2021.12.10 (71)申请人 国能大渡河大 数据服务有限公司 地址 610095 四川省成 都市中国 （四川） 自 由贸易试验区成 都高新区天韵路7号 (72)发明人 罗玮　张建军　黄颖　周子祺　 (74)专利代理 机构 成都虹盛汇泉专利代理有限 公司 51268 代理人 王伟 (51)Int.Cl. G06F 30/20(2020.01) G06K 9/62(2022.01) (54)发明名称 基于自注意力机制的水电站水轮机顶盖长 序列水位预测系统及方法 (57)摘要 本发明公开了一种基于自注意力机制的水 电站水轮机顶盖长序列水位预测系统及方法， 基 于自注意力机制， 对嵌入表示进行处理得到注意 力特征矩阵； 然后使用池化操作对注 意力特征矩 阵进行处理， 生成编码隐藏表示； 进一步基于自 注意力机制， 对编码隐藏表示进行处理得到解码 隐藏表示； 最后基于神经网络ODE， 对解码隐藏表 示进行处理得到预测隐藏状态序列， 进一步经全 连接处理得到最终预测结果， 即水电站水轮机顶 盖长序列水位。 本发明可以更好地捕捉多种观测 值之间的关联和时间上较长的依赖， 因而具有更 高的水位预测准确率。 权利要求书2页 说明书13页 附图1页 CN 114186412 A 2022.03.15 CN 114186412 A 1.一种基于自注意力机制的水电站水轮机顶盖长序列水位预测系统， 其特征在于， 包 括： 数据预处 理模块， 用于对给定时间序列内的水轮机顶盖水位及相关数据进行 预处理； 嵌入表示 生成模块， 用于对预处 理数据进行 卷积和编码处 理生成神经网络嵌入表示； 编码器， 首先基于自注意力机制， 对嵌入表示进行处理得到注意力特征矩阵； 然后使用 池化操作对注意力特 征矩阵进行处 理， 生成编码隐藏表示； 解码器， 进一 步基于自注意力机制， 对编码隐藏表示进行处 理得到解码隐藏表示； 神经ODE模块， 用于对解码隐藏表示进行处理得到预测隐藏状态序列， 进一步经全连接 处理得到最终预测结果， 即水电站水轮机顶盖 长序列水位。 2.根据权利要求1所述的基于自注意力机制的水电站水轮机顶盖长序列水位预测系 统， 其特征在于， 数据预 处理模块包括用于剔除异常数据的孤立森林模型、 用于插补缺 失数 据的随机森林回归 模型和归一 化模块。 3.根据权利要求1所述的基于自注意力机制的水电站水轮机顶盖长序列水位预测系 统， 其特征在于， 所述嵌入表示生成模块包括卷积处理单元、 局部编码单元和全局编码单 元。 4.根据权利要求3所述的基于自注意力机制的水电站水轮机顶盖长序列水位预测系 统， 其特征在于， 卷积处 理单元、 局部编码单 元和全局编码单 元的具体 计算过程如下： UL＝Conv1d(XL； Θconv1)  (2) SE(pos)＝ WmEpos (4) 式中， Θconv1表示卷积处理单元的参数； pos表示当前变量值在时间序列样本中的位置； d表示该当前变量值对应的特征向量中的位置， d＝ 1， 2，…， D； L表示时间序列长度， D表 示特 征向量维度， Wm表示可学习的权重参数， 其初始值通过局部编码单元计算时间序列对应位 置得到， Epos表示全局时间戳的数字编码； Xen＝α UL+PE(L×(d‑1)+i)， d+∑p[SE(L×(d‑1)+i)]p (5) 式中， α 是平衡标量投影和局部或全局嵌入之间相对大小的因子， 如果 时间序列已经标 准化， 则α ＝1； L ×(d‑1)+i表示对应位置po s， PE(L×(d‑1)+i)， d表示遍历 整个时间序列 样本进行 位置编码得到的矩阵， d＝1， 2， …， D； SE(L×(d‑1)+i)表示遍历整个时间序列样本进行全局编码 得到的矩阵； p表示全局时间戳的种类数量。 5.根据权利要求1所述的基于自注意力机制的水电站水轮机顶盖长序列水位预测系 统， 其特征在于， 所述编 码器包括多组堆叠的第一多头注意力模块和池化模块； 所述第一多 头注意力模块由多个并行设置的自注意力子模块组成。 6.根据权利要求5所述的基于自注意力机制的水电站水轮机顶盖长序列水位预测系 统， 其特征在于， 自注意力子模块的计算主要由(query， key， v alue)组成； 其中， Q表示查询 query， K表示键key， V表示值value； Q、 K、 V是通过3个不同的权值矩阵与嵌入矩阵Xen相乘得 到的， 如(6) ‑(8)所示；权　利　要　求　书 1/2 页 2 CN 114186412 A 2Q＝WQXen (6) K＝WKXen (7) V＝WVXen (8) 进一步通过公式(9)得到注意力特 征向量矩阵H1： 式中， KT表示K的转置， D ′表示Q、 K、 V的维度。 7.根据权利要求6所述的基于自注意力机制的水电站水轮机顶盖长序列水位预测系 统， 其特征在于， 池化模块对第一多头注意力模块得到的特征矩阵 进行一维卷积处理， 然后使用RELU函数进行处理， 再进一步经最大池化操作得到池化模块的隐藏表示， 具体计 算过程如下： 8.根据权利要求5 ‑7任一项所述的基于自注意力 机制的水电站水轮机顶盖长序列 水位 预测系统， 其特征在于， 所述解码器由掩盖多头注意力模块和第二多头注意力模块堆叠而 成； 所述掩盖多头注 意力模块和 第二多头注意力模块与前面给出的第一多头注意力模块结 构相同。 9.根据权利要求1所述的基于自注意力机制的水电站水轮机顶盖长序列水位预测系 统， 其特征在于， 所述神经ODE模块包括隐藏状态序列预测单元和全连接层。 隐藏状态序列 预测单元按照公式(12)， 反复多次该过程， 可以得到预测隐藏状态序列[HL+1， HL+2， ...， HL +τ]； 将隐藏状态序列输入 全连接层进行最终的预测， 得到预测结果序列YL+τ， 具体过程如下： YL+τ＝FFN(HL+1， ...， HL+τ； ΘFFN)＝[yL+1， yL+2， ...， yL+τ] (13) 式中， Hde表示解码器输出的隐藏表示， f( ·)表示神经ODE中的全连接层， Θf是其中的 参数， ΘFFN是最终预测全连接层的参数， yL+1， yL+2， ...， yL+τ表示 τ 时间段内的τ个预测值。 10.一种基于自注意力 机制的水电站水轮机顶盖长序列 水位预测方法， 其特征在于， 包 括以下步骤： S1对给定时间序列内的水轮机顶盖水位及相关数据进行 预处理； S2对预处 理数据进行 卷积和编码处 理生成神经网络嵌入表示； S3首先基于自注意力机制， 对嵌入表示进行处理得到注意力特征矩阵； 然后使用池化 操作对注意力特 征矩阵进行处 理， 生成编码隐藏表示； S4基于自注意力机制， 对编码隐藏表示进行处 理得到解码隐藏表示； S5基于神经网络ODE， 对解码隐藏表示进行处理得到预测隐藏状态序列， 进一步经全连 接处理得到最终预测结果， 即水电站水轮机顶盖 长序列水位。权　利　要　求　书 2/2 页 3 CN 114186412 A 3