(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211102713.X (22)申请日 2022.09.09 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市屯溪路193号 申请人 国网安徽省电力有限公司 (72)发明人 唐昊　梁硕哲　张莹杰　王正风　 程文娟　梁肖　高卫恒　栾喜臣　 (74)专利代理 机构 合肥晨创知识产权代理事务 所(普通合伙) 34162 专利代理师 康培培 (51)Int.Cl. H02J 3/00(2006.01) H02J 3/14(2006.01) H02J 3/46(2006.01) G06Q 10/04(2012.01)G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 基于深度强化学习的区域电网 日前-日内联 合调度方法 (57)摘要 本发明属于电力系统调度优化技术领域， 更 具体地， 涉及一种基于深度强化学习的区域电网 日前‑日内联合调度方法， 其建立了区域电网日 内滚动调度优化模型， 并提出了一种基于深度强 化学习的调度策略求解。 首先， 日前调度计划每 日根据日前风电及负荷预测曲线进行制定； 然 后， 针对区域电网建立日内滚动调度模型： 目标 函数和约束条件； 最后， 利用 深度强化学习算法 对日内滚动模 型进行求解。 该方法在日前调度计 划与AGC调控之间加入日内滚动计划， 使得调度 计划之间的衔接更加紧密、 过渡更加平稳。 深度 强化学习算法相较于传统基于数学模型与优化 求解器的调度优化方法更具有实时性， 极大提升 了求解效率。 权利要求书5页 说明书11页 附图3页 CN 115441437 A 2022.12.06 CN 115441437 A 1.基于深度强化学习的区域电网日前 ‑日内联合调度方法， 其特征在于， 包括以下步 骤： 步骤1： 日前调度计划每日根据日前风电及负荷预测曲线进行制定， 得到火电机组的启 停计划、 火电机组出力计划、 A类可削减负荷 补偿价格及削减量、 可平 移负荷运行起始时间； 步骤2： 日内滚动调度模型的目标函数为最小化系统运行成本与风险成本之和， 约束为 日内功率平衡约束、 线路传输容量约束、 火电机组出力上下限约束、 火电机组爬坡约束和B 类可削减负荷调用约束； 步骤3： 利用深度强化学习完成日内滚动调度模型求 解， 获得日内调度计划。 2.如权利要求1所述的基于深度强化学习的区域电网日前 ‑日内联合调度方法， 其特征 在于， 所述 步骤2中建立日内滚动调度模型目标函数： 其中， k为当前的时段， 要对未来M*ΔT时段的风电出力和负荷需求进行预测； Pi,t为火 电机组i的日前出力计划， 在日内滚动调度模型中为已知量； ΔPi,t为火电机组i在日内t时 段的出力调整量， 为模型的决策变量； 和 分 别为火电机组i在日内出力调整后的煤耗成本、 附加煤耗成本和寿命损耗成本； 为t时段 B类可削减负荷调度成本； 为t时段弃风风险成本； 为t时段火电机组i的失负荷风险 成本； δi,t为火电机组i的日前启停计划， 在日内滚动调度模 型中为已知量； ai、 bi和ci为机组 i的煤耗成本系数； 为机组i运行在深度调峰状态下的煤耗率系数； υi为机组i在常规最 小技术出力状态下的煤耗率系数； zi,t用来表示火电机组是否处于深度调峰状态， 当机组运 行于常规最小技术出力 之下时， 该值为1， 当机组运行于常规最小技术出力 之上时， 该值为 0； εi为火电机组在额定出力下的煤耗率； ρcoal为单位煤炭价格； Ni,t(Pi,t+ΔPi,t)为机组i的 转子致裂循环周次， 其取值与(Pi,t+ΔPi,t)密切相关； ωi为火电机组运行损耗系数； 为 机组i的购机成本； ΔT为t时段的时间长度； ΔPtB表示t时段B类可削减负荷的负荷 削减量； 为t时段B 类可削减负荷的补偿价格； λcw为单位电量的弃风风险成本系数； Nw为区域电网 内风电场数量； 为t时段风电出力和负荷需求极端场景下第j个风电场的弃风功率； λcl权　利　要　求　书 1/5 页 2 CN 115441437 A 2为单位电量的失负荷风险成本系数； 为t时段风电出力和负荷需求极端场景下区域电 网的失荷功率。 3.如权利要求2所述的基于深度强化学习的区域电网日前 ‑日内联合调度方法， 其特征 在于， 所述 步骤2中建立日内滚动调度模型约束条件： 所述约束条件主要包括日内功率平衡约束、 线路潮流约束、 火电机组出力上下限约束、 火电机组爬坡约束和B类可削减负荷调用约束如下式所示： 所述日内功率平衡约束： 其中， Ng为区域电网内火电机组数量， Nw为区域电网内风电场数量， i,j分别表示当前火 电机组i和风电机组j； 和 为日内超短期负荷预测及风电预测功率， ΔPtB为B类可削 减负荷备用调用量； ΔPtA为A类可削减负荷调用量； ΔPtcl为t时段切负荷量； Ptsh为可平移负 荷经调度后t时段用电功率； Ptsh*为可平移负荷经调度前t时段用电功率； 所述火电机组出力上 下限约束： 其中， Pimin和Pimax分别为火电机组i 的最大、 最小出力， 对于常规火电机组， Pimin为常规 最小技术出力， 对于经灵 活性改造后的深度调峰机 组， Pimin为机组改造后的最大调峰深度； 和 分别为区域电网在深度调峰机组i在t时段向上和向下 备用容量值； 所述火电机组爬坡约束： 其中， 和 分别为火电机组i向下和向上爬坡的速率， ΔT为t ‑1到t时段的时间间 隔； 所述线路潮流约束： 其中， Tl,g、 Tl,j和Tl,b为功率传输分配系数， 为经调度后区域电网t时段在节点k的 日内超短期预测负荷值， 且 Flmax为线路l潮流 上限； 所述B类可削减负荷备用调用约束： 0≤ΔPtB≤PtB。 4.如权利要求1所述的基于深度强化学习的区域电网日前 ‑日内联合调度方法， 其特征 在于， 所述 步骤3具体如下： 根据步骤2所建立的日内滚动调度模型， 建立马尔科夫决策模型， 决策过程的变量包 括：权　利　要　求　书 2/5 页 3 CN 115441437 A 3