(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111333491.8 (22)申请日 2021.11.11 (71)申请人 西安工业大 学 地址 710000 陕西省西安市新城区金花北 路4号 (72)发明人 曹子建　贾浩文　傅妍芳　容晓峰　 杜志强　王振雨　李骁　李建　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 代理人 王萌 (51)Int.Cl. G06N 3/12(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于差分演化的智能体训练方法 (57)摘要 本发明涉及一种基于差分演化的智能体训 练方法， 包括： 随机初始化Q表参数， 得到若干Q 表， 若干Q表构成初始演化种群， 其中， 一个Q表作 为种群中的一个个体； 对初始演化种群进行差分 演化操作， 得到新一代Q表种群， 并将新一代Q表 种群作为下一代的初始演化种群重复差分演化 操作， 直至达到预设的演化条件， 得到最终Q表种 群； 利用预设的适应度函数对最终Q表种群中每 个个体进行评价， 输出最优个体； 对最优个体进 行强化学习训练， 得到智 能体。 本发明的智 能体 训练方法， 首先， 采用演化算法得到最优Q表， 然 后， 基于该最优Q表进行 强化学习训练， 进而在智 能体训练过程中， 加快了收敛速度， 减少了训练 所需的时间资源， 提高了智能体训练的即时性。 权利要求书2页 说明书6页 附图2页 CN 114065932 A 2022.02.18 CN 114065932 A 1.一种基于 差分演化的智能体训练方法， 其特 征在于， 包括： 随机初始化Q表参数， 得到若干Q表， 若干Q表构成初始演化种群， 其中， 一个Q表作为种 群中的一个 个体； 对所述初始演化种群进行差分演化操作， 得到新一代Q表种群， 并将新一代Q表种群作 为下一代的初始演化种群重复差分演化操作， 直至达到预设的演化条件， 得到最终Q表种 群； 利用预设的适应度函数对所述 最终Q表种群中每 个个体进行评价， 输出最优个 体； 对所述最优个体进行强化学习训练， 得到智能体。 2.根据权利要求1所述的基于差分演化的智能体训练方法， 其特征在于， 所述Q表参数 包括状态参数和动作参数。 3.根据权利要求1所述的基于差分演化的智能体训练方法， 其特征在于， 所述差分演化 操作， 包括： 利用变异算子对所述初始种群进行变异处 理， 得到变异种群； 利用二项式交叉 方式对所述变异种群进行交叉操作， 得到交叉种群； 比较所述交叉种群中每个个体的适应度值与其初始演化种群中相应的个体的适应度 值， 根据比较结果选择 更优秀的个 体， 组成所述 新一代Q表种群。 4.根据权利要求1所述的基于差分演化的智能体训练方法， 其特征在于， 按照下式对所 述初始演化种群中每 个个体进行变异处 理， 得到变异种群v， 其中， g表示种群的演化代数， i表示种群中的个体索引值， i＝1,2,...,NP， NP表示种群 中个体的数目， r1,r2， r3分别表示从NP个个体中随机采样得到的索引值， 并且r1≠r2≠r3， F 表示缩放因子， F∈[0,1]， 表示在演化第g代种群x中第r1个个体， Vig表示在演化第g代变 异种群v中第i个 个体。 5.根据权利要求4所述的基于差分演化的智能体训练方法， 其特征在于， 按照下式对所 述变异种群中每 个个体进行交叉操作， 得到交叉种群u， 其中， CR表示交叉概率， CR∈[0,1]， rand为[0,1]之间的随机数， jrand为[0,D]之间的 随机整数， D表示问题的维数， 表示在演化第g代交叉种群u中第i个个体 的第j维， 表 示在演化第g代种群x中第i个个体的第j维， 表示在演化第g代变异种群v中第i个个体的 第j维。 6.根据权利要求5所述的基于差分演化的智能体训练方法， 其特征在于， 按照如下选择 方式， 选择 更优秀的个 体， 组成所述 新一代Q表种群， 其中， f表示适应度函数， 表示在差分演化进行到第g代时， 其初始演化种群x中第权　利　要　求　书 1/2 页 2 CN 114065932 A 2i个个体的适应度值， 表示在差分演化进行到第g代时， 交叉种群u中第i个个体的适 应度值， 表示新一代Q表种群中第i个 个体。 7.根据权利要求1所述的基于差分演化的智能体训练方法， 其特征在于， 所述适应度函 数为基于指定步长下目标状态命中次数： 其中， i∈{1,2,. ..,NP}, 表示第t代的第i个 个体的适应度值。权　利　要　求　书 2/2 页 3 CN 114065932 A 3