(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641572.4 (22)申请日 2021.12.2 9 (71)申请人 国网福建省电力有限公司营销服 务 中心 地址 366200 福建省福州市晋安区茶园街 道沁园支路9号 (72)发明人 钱晓瑞　詹祥澎　陈筱珺　董美蓉　 肖恺　卢威　林女贵　沈一民　 (74)专利代理 机构 福州科扬专利事务所(普通 合伙) 35001 代理人 林朝熙 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 30/02(2012.01)G06N 20/00(2019.01) G06Q 50/06(2012.01) (54)发明名称 一种基于强化学习算法的交易电量优化方 法 (57)摘要 本发明涉及一种基于强化学习算法的交易 电量优化方法， 包括如下步骤： S1、 构建用电量预 测模型和售电收益模型； S2、 输入用户本月已用 电量数据至用电量预测模型， 得到用户本月用电 预测量数据； S3、 根据 售电收益模型， 构建基于强 化学习算法的交易电量优化模型； S4、 输入用户 本月用电预测量数据至交易电量优化模型， 得到 使售电收益 最大化的交易电量。 权利要求书2页 说明书9页 附图2页 CN 114399096 A 2022.04.26 CN 114399096 A 1.一种基于强化学习算法的交易电量优化方法， 其特 征在于， 包括以下步骤： S1、 构建用电量预测模型和售电收益模型； S2、 输入用户本月已用电量数据至用电量预测模型， 得到用户本月用电预测量数据； S3、 根据售电收益模型， 构建基于强化学习算法的交易电量优化模型； S4、 输入用户本月用电预测量数据至交易电量优化模型， 得到使售电收益最大化的交 易电量。 2.根据权利要求1所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 所 述构建用电量预测模型， 具体为： 根据用户历史月计划用电量数据和用户历史月实际用电量数据， 计算得到标幺值数 据； 对标幺值数据进 行离群值检测， 删除其中的离群值； 将标幺值数据转换为累计 分布函数 F(x)； 将累计分布函数 F(x)转换为标幺值数据拟合分位表。 3.根据权利要求2所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 所 述步骤S2， 具体为： 通过所述累计分布函数F(x)， 计算用户本月已用电量的累积分布值p＝F(x*)； 根据所 述累积分布值， 计算满足均匀分布U[p,1]的随机数y； 在所述标幺值数据拟合分位表中查找 与随机数y最接近的标幺值； 根据标幺值和用户本月计划用电量， 得到用户本月 用电预测 量。 4.根据权利要求1所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 所 述构建售电收益模型， 具体为： 根据年度长协电量、 年度以下电量， 计算年度长协售电价格 和年度以下售电价格， 确定售电成本； 根据年度长协售电价格、 年度以下售电价格和用户本 月预测用电量， 确定售电收入； 根据售电收入和售电成本， 得到售电收益。 5.根据权利要求1所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 所 述步骤S4， 具体为： 预设动作空间和环境空间； 在每个时间步内， 接收状态st∈S并在动作空间中选择一个 动作at∈A(s)； 根据动作at和环境空间， 得到数值奖励 并转到一个新的状态 st+1； 最终得到以收益 最大化为目标的交易电量。 6.根据权利要求5所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 所 述动作空间包括售电公司年度挂牌交易电量、 年度双边交易电量、 月度集中竞价交易电量、 月内转让交易电量和月内增量交易电量。 7.根据权利要求5所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 所 述环境空间包括年度挂牌交易电价、 年度双边交易电价、 月度集中竞价交易电价、 月内转让 交易电价和月内增量交易电价。 8.根据权利要求1所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 所 述步骤S4， 具体为： 预测月度集中交易电价与月内增量交易电价； 输入用户本月用电预测量数据至售电收 益模型， 将月度集中交易电价预测 值和月内增 量交易电价预测值作为环境变量， 得到月度 集中交易电量和月内增量交易电量保留值。 9.根据权利要求8所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 还权　利　要　求　书 1/2 页 2 CN 114399096 A 2包括： 预测月内转让交易电价； 输入用户本月用电预测量数据至售电收益模型， 将月内转让 交易电价预测值和月内增量交易电价预测值作为环境变量， 利用强化学习算法得到月度集 中交易电量和月内增量交易电量保留值。 10.根据权利要求9所述的一种基于强化学习算法的交易电量优化方法， 其特征在于， 还包括： 根据偏差考核机制与月度电量缺口， 重新预测月内增量交易电价； 输入用户本月用电 预测量数据至交易电量优化模型， 将月内增量交易电价预测值作为环境变量， 得到月内增 量交易电量。权　利　要　求　书 2/2 页 3 CN 114399096 A 3