(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111411790.9 (22)申请日 2021.11.25 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 王鑫　宗珂　王霖　梁勇杰　 闫昆鹏　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 代理人 王兵 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于tran sformer模型的用户用电量预 测方法 (57)摘要 本发明公开了一种基于tran sformer模型的 用电量预测方法， 步骤如下： 步骤(1):确定用于 预测用电量的特征变量， 包括静态变量、 过去已 知的动态时变变量和未来可推测的变量动态时 不变变量； 步骤(2): 采用门控机制对输入的多个 变量依据信息贡献度进行权重计算， 以提高有用 变量的利用率； 步骤(3): 采用稀疏注意力对输入 数据进行特征提取； 步骤(4):采用门控残差网络 对数据集中的数据根据情况选择进行线性或者 非线性处理； 步骤(5): 采用多头稀疏注意力构建 解码器， 依据输入特征对用电量数据进行预测。 本发明提供的一种基于tran sformer的用电量预 测方法， 可以在输入端对训练数据中的不可靠数 据进行抑制， 对有用信息进行集中， 可 以在模型 训练过程中动态调节信息的利用率， 以此提高模 型的训练效果， 达 到较好的用电量预测效果。 权利要求书1页 说明书6页 附图3页 CN 114154700 A 2022.03.08 CN 114154700 A 1.一种基于t ransformer模型的用户用电量预测方法， 其特 征在于， 步骤如下： 步骤(1)输入层多变量输入， 具体包括： 在输入层采用多类型变量作为输入， 将输入的 用电量时序数据分为三类， 分别是静态变量、 过去已知输入和未来可推测的输入， 其中静态 变量包括地域变量和行业变量， 这部 分数据和时间无关； 过去已知时间序列输入， 属于动态 时变变量， 包括用电量、 负荷和温度； 未来已知的时间序列输入， 属于动态时不变变量， 包括 周末、 节假日等变量。 步骤(2)使用GRN门控机制对输入变量进行权重计算， 具体包括： 将所有静态的、 过去的 和将来的输入都使用不同的独立 门控机制， 计算出t 时刻所有历史输入变量的平面化向量 采用门控残差模块GRN对模型输入数据的各变量数据根据贡献度赋 予不同的权 重， 权重计算如下公式所示： 步骤(3)采用稀疏注意力进行特征提取， 具体包括： 基于传统自我注意力的缩放点积运 算， 对三元组输入(query， key， value)， 执 行点积运 算， 生成注意力得分如下 所示： 基于得分越高表明相关性越高的假设， 我们对得分P的值进行评估。 假设选取排名前k 个分数作为有效分数， 得到queryi和keyj的分数集合P， 对集合P进行排序， 排名前k的分数 保 留， 否则将分数设为无穷小， 如下 所示： 步骤(4)门控残差模块动态处理数据信息， 具体包括： 为了能获取到变量的信息， 采用 门控线性单 元GTU和标准化归一处 理构建门控残差GRN模块， 动态处 理数据信息， 公式如下： GRNω(x)＝LayerNorm(x+GT Uω( θ ))  (4) θ ＝ELU(xW ’ω+a)    (5) 步骤(5)使用门控残差模块和稀疏注意力构建三层解码器， 具体包括： 使用门控残差网 络和稀疏注意力构建三层解码器结构， 中间层应用稀疏注意力计算时间特征序列数据 注意 力， 上下两层 使用门控残差网络， 上层主要对静态数据进行信息集中， 下层网络对注意力 层 的输出进行非线性处 理， 简化得到模型输出φ～(t,n)： Φ(t,n)＝GRNφ(D(t,n))    (7) 。权　利　要　求　书 1/1 页 2 CN 114154700 A 2一种基于tr ansformer模型的用户用电量预测方 法 技术领域 [0001]本发明涉及电力计量行业数据管控的技术领域应用， 具体涉及一种基于 transformer模型的用户用电量预测方法。 背景技术 [0002]随着电力用户的不断增加和电网业务的不断扩展， 智能电网建设需要真正高效、 有效的智能技术应用才能得到实质性 发展。 用电量作为用户的主要用电信息是智能电网建 设的重要指标， 掌握用户的用电量规律， 对用电数据作出精 准预测可以帮助规划电力建设， 发挥智能电网的辅助决策作用。 [0003]目前常用的用电量预测方法例如使用自回归或者LSTM模型， 都是针对短期用电量 进行预测， 其 实用价值不高。 使用这些方法进行长期用电量预测， 存在长时序数据的信息丢 失问题。 [0004]Transformer模型是2017年Google提出的一种基于encoder ‑decoder和Self ‑ Attention的结构模 型， 取代了以往的RNN网络结构， 可以获得较好的长序列数据预测效果。 但用电量数据具有长序列、 多维度、 体量大的特点， 传统的tr ansformer模型对于这类数据 的处理往往会出现数据维度过高导 致计算量复杂且信息提取效果 瓶颈的问题。 发明内容 [0005]要克服现有技术的上述缺点， 提供一种基于transformer模型的用户用电量预测 方法。 [0006]本发明提出了一种基于稀疏注意力和门控机制的transformer用电量预测模型， 该模型对传统多头自注意力进 行稀疏计算， 只 将注意力分数排名前若干位的作为有效注意 力， 改变传统的使用全局注意力的方式， 输入层采用多类型用电量时序数据， 对每一种类型 数据分别采用门控机制， 为输入数据中的变量按照贡献度赋予不同的计算权重， 同时门控 机制还可以为模型中的数据进 行必要的非线性处理以充分利用数据信息， 实现对用户用电 量的精准预测。 [0007]本发明解决其 技术问题是采取以下技 术方案实现的： [0008]一种基于t ransformer模型的用户用电量预测方法， 包括以下步骤： [0009]步骤(1):输入层多变量输入： 用户用电量往往受多因素影响， 使用多种合适的变 量作为输入提取时间特征， 可以提高用电量预测的准确度。 本发明在输入层采用多类型变 量作为输入， 将 输入的用电量时序数据分为三类， 分别是静态变量、 过去已知输入和未来可 推测的输入， 其中静态变量包括地域变量和行业变量， 这部分数据和时间无关； 过去已知时 间序列输入， 属于动态时变变量， 包括用电量、 负荷和温度； 未来已知的时间序列输入， 属于 动态时不变 变量， 包括周末、 节假日等变量。 [0010]步骤(2):使用GRN门控机制对输入变量进行权重计算： 针对用电量预测模型训练 过程， 训练数据集采用变量较多， 理论上较为丰富的数据变量可以使得模型获得更为全面说　明　书 1/6 页 3 CN 114154700 A 3