(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211059578.5 (22)申请日 2022.08.31 (71)申请人 南京航空航天大 学 地址 210007 江苏省南京市秦淮区御道街 29号 (72)发明人 李超雄　周健豪　赵万忠　吴旭阳　 徐达　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 周宁 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/26(2012.01) G06Q 10/04(2012.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于PPO算法的混合动力系统能量管理 方法 (57)摘要 本发明公开了一种基于PPO算法的混合动力 系统能量管 理方法， 属于混合动力汽 车能量管理 领域， 在保证汽车动力性的前提下， 通过重要性 采样和小批次更新等方法可以在平衡采样效率 和调试难度的同时提升算法的表现性能， 减少次 优策略问题的产生， 可以实现在保证了稳定的 SOC控制目标的基础上， 实现神经网络的快速收 敛， 并获得良好的燃油经济性能。 本发明方法主 要包括： 建立PPO代理模型； 设置PPO代理模型的 状态、 动作和回报， 得到设置后的PPO代理模型； 获取相关训练数据集， 根据获得的相关训练数据 集训练所述PPO代理模型得到训练后的PPO代理 模型； 使用训练后的PPO代理模型进行并联式混 合动力车辆的能量管理。 权利要求书2页 说明书7页 附图3页 CN 115310858 A 2022.11.08 CN 115310858 A 1.一种基于P PO算法的混合动力系统能量管理方法， 其特 征在于， 包括以下步骤： 步骤1： 建立P PO代理模型； 步骤2： 设置P PO代理模型的状态、 动作和回报， 得到设置后的P PO代理模型； 步骤3： 获取相关训练数据集， 根据获得的相关训练数据集训练步骤2得到的所述PP O代 理模型得到训练后的P PO代理模型； 步骤4： 使用训练后的P PO代理模型进行混合动力车辆的能量管理。 2.根据权利要求1所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 步 骤1中所述P PO代理模型包括： Actor神经网络与Critic神经网络 。 3.根据权利要求2所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 所 述Actor神经网络使用策略函数； 所述Critic神经网络使用价 值函数。 4.根据权利要求1所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 步 骤2中所述状态量为： 汽车车速v， 汽车加速度Acc和动力电池SOC， 状态变量向量为s＝{v, Acc,SOC}T； 选取发动机转矩Te为动作变量， 动作变量向量为a＝{Te}T； 奖励函数被用于评价 在当前状态st下执行动作at的表现性能， 所述 奖励函数定义为成本 函数的负值， 奖励函 数如 公式(1)所示： r＝‑{fuel(t)+α [ SOCref‑SOC(t)]2}             (1) 其中， fuel(t)为当前时刻下汽车的燃油消耗， SOCref为期望SOC的参考值， SOC(t)为当 前时刻电池SOC值， α 为电池充电维持的权 重。 5.根据权利要求1所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 步 骤3具体包括以下步骤： 步骤A： 初始化所述设置后的P PO代理模型参数， 得到初始化后的P PO代理模型； 步骤B： 将初始化后的P PO代理模型应用于混合动力汽车模型， 在驾驶循环中进行交 互； 步骤C： 根据梯度更新法不断更新Actor和Critic网络参数， 直到达到能量管理最优策 略的训练要求， 收敛后最 新网络参数 下的模型即为 最终得到训练后的P PO代理模型。 6.根据权利要求5所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 步 骤A具体包括： 分别初始化所述设定后的PPO代理模型中的Actor网络参数与Critic网络参 数， 分别用 θ和ω表示； 累计梯度dθ ←0和dω←0， 最终得到初始化后的P PO代理模型。 7.根据权利要求5所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 步 骤B具体包括： Actor网络与驾驶环境进行交互， 将当前状态集合st＝{v,Acc,SOC}T输入 Actor神经网络， Actor网络通过激活函数输出一个正态分布的均 值 μ(st； θ )和标准差σ(st； θ )为策略π 的分布， 调用函数对策略π 随机取样， 得到动作at， 将当前动作at作用于混合动力 汽车得到当前回报rt以及下一时刻 的状态集合st+1； 最后根据上述的相关数据st， at， rt和 st+1， 得到训练数据集(st,at,rt)， 当存储量达到一个batch后， 计算折扣奖励R和优势函数 Adv， 然后将数据集清零。 8.根据权利要求5所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 步 骤C具体包括以下步骤： 步骤(Ⅰ)： 在运行步数达到一定步数N后， PPO开始进行N步更新， 将目标策略π的参数赋 值给行为策略πold； 步骤(Ⅱ)： 采用梯度上升更新Actor网络的参数， 更新公式为：权　利　要　求　书 1/2 页 2 CN 115310858 A 2其中， π和 πold分别表示两个Actor网络所生成的需要更新的目标策略和当前行为策略， 使用KL[ πold|π]即KL散度来衡量两种策略之间的差异， λ为动态调整的系数， 通过调整 λ从而 控制两个分布之间的距离； 步骤(Ⅲ)： 采用梯度下降法更新Critic网络策略参数， 更新公式为： 步骤(Ⅳ)： 为限制新旧策略差异程度， 根据不同KL散度范围对参数 λ进行 更改： KL[ πold| π ]>βhighKLtarget时， λ＝α * λ( α >1)； KL[ πold| π ]<βlowKLtarget时， λ＝ λ/α( α >1)。 其中， KLtarget为期望达到的KL值， βhigh和βlow分别表示判断实时KL值偏离期望达到的KL 值的幅度时所设置的增益系数； 步骤(Ⅴ)： 如此重复步骤( Ⅰ)至步骤(IV)， 直到驾驶循环最后时间步， 完成一次Episode 训练， 进入下一个Episode， 继续训练； 步骤(Ⅵ)： 记录每次Episode结束后的数据， 重复Episode训练， 直至多个Episode结果 收敛， 表明达 到训练要求， 最后得到训练后的P PO代理模型。 9.根据权利要求1所述的基于PPO算法的混合动力系统能量管理方法， 其特征在于， 步 骤4中使用训练后的PPO代理模型进行并联式混合动力车辆的能量管理， 具体包括 以下步 骤： 第一步： 通过相关传感器获取汽车当前状态量 集合st＝{v,Acc,SOC}T； 第二步： 将获取的汽车当前状态量集合st＝{v,Acc,SOC}T输入训练后的PPO代理模型， 进而输出控制量发动机转矩Te； 第三步： 将所获得的控制量发动机转矩Te作用于汽车， 驱动汽车行驶， 进而得到下一时 刻汽车状态量 集合st+1＝{v,Acc,SOC}T； 第四步： 如此重复第一 步至第三 步， 直至汽车完成行驶任务。 10.根据权利要求1 ‑9任一项所述的基于PPO算法的混合动力系统能量管理方法应用于 并联式混合动力系统。权　利　要　求　书 2/2 页 3 CN 115310858 A 3