(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211148225.2 (22)申请日 2022.09.21 (65)同一申请的已公布的文献号 申请公布号 CN 115237581 A (43)申请公布日 2022.10.25 (73)专利权人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 朱世强　潘爱民　高丰　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 9/455(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114116183 A,202 2.03.01 CN 114741207 A,202 2.07.12US 2021081787 A1,2021.0 3.18 CN 114461355 A,2022.05.10 CN 113867944 A,2021.12.31 WO 2022110446 A1,202 2.06.02 CN 114443249 A,202 2.05.06 US 2022269536 A1,202 2.08.25 CN 114610474 A,202 2.06.10 WO 2021179588 A1,2021.09.16 US 2018082 210 A1,2018.0 3.22 CN 112839048 A,2021.0 5.25 US 2020257968 A1,2020.08.13 CN 114911613 A,202 2.08.16 CN 114401532 A,202 2.04.26 CN 103955397 A,2014.07.3 0 CN 114757352 A,202 2.07.15 CN 114638167 A,202 2.06.17 CN 110737529 A,2020.01.31 US 2018246758 A1,2018.08.3 0 (续) 审查员 吴海旋 (54)发明名称 一种面向异构算力的多策略智能调度方法 和装置 (57)摘要 本发明属于智能计算技术领域， 涉及一种面 向异构算力的多策略智能调度方法和装置， 该方 法包括： 步骤一， 基于计算集群的异构性、 计算任 务的差异和用户需求， 设定任务的执行策略， 采 用强化学习方法并结合所述执行策略， 构建马尔 可夫决策过程模型； 步骤二， 基于构建的马尔可 夫决策过程模 型， 采用近端策略优化算法求解用 户计算任务的最优任务调度策略； 步骤三， 基于 最优任务调度策略， 将任务调度到所对应的集群 上执行。 本发明是通过强化学习的方法， 以用户 为中心设计异构算力构建多策略的调度方法， 能 根据不同算力中心异构算力集群的状态自学习式地找出最优任务调度方案， 从而以成本划算的 方式提升算力的利用率， 满足用户计算任务的需 求。 [转续页] 权利要求书4页 说明书10页 附图3页 CN 115237581 B 2022.12.27 CN 115237581 B (56)对比文件 Y. M. Lam 等.Map ping and sc heduling with task clusteri ng for heterogeneous computing systems. 《2008 Internati onal Conference o n Field Program mable Logic and Applications》 .2008,第275 -280页. 陈思颖等.移动云计算随机任务序列的执 行调度. 《电脑知识与技 术》 .2018,(第21期), 卢海峰等.基 于深度强化学习的移动边 缘计 算任务卸载研究. 《计算机 研究与发展》 .2020, (第07期), 郑守建 等.一种基 于综合匹配度的边 缘计 算系统任务调度方法. 《计算机学报》 .202 2,第45 卷(第3期),第485 -498页.2/2 页 2[接上页] CN 115237581 B1.一种面向异构算力的多策略智能调度方法， 其特 征在于， 包括以下步骤： 步骤一， 基于计算集群的异构性、 计算任务的差异和用户需求， 设定任务的执行策略， 采用强化学习方法并结合所述执 行策略， 构建马尔可 夫决策过程模型； 所述计算集群包括智能计算集群、 高性能计算集群、 终端闲散计算集群， 设所述计算集 群为虚拟化的容器集群， 则计算集群的集合记为 ， 其中 表示计算资源 调度集群， 表示执行计算任务的集群， 表示计算集群的数量， 每个集群 包括有限的容器数量 ， 即 中可用的资源可以配置的容器的集 合； 所述任务的集合为 ， 其中N为时间周期内的任务总数， 对于任意任务 且位于集群 的容器 ， 有 ， 表明任务 由容器 执行， 如果容器 已经被部署， 则任务 直接执行， 反之则 ， 则从容器的镜像仓库获取对应的镜像文 件并启动容器； 所述任务 记为： ， 其中 是任务 的到达时间， 是任务等 待时间， 是任务 的执行期限， 如果没有期限其值为 ‑1； 是任务 所需要处理的数据， 是任务 所需要的在第k个集群上的容器集； 任务 的执行时间为： 其中 是任务对应的数据量除以容器集 中的算法对 数据 的总处理速率 ， 得 到任务 的执行时间； 对于 的情况， 约束为： ； 所述马尔可夫决策过程模型， 结合所述的执行策略， 采用强化学习方法的五元组 来表示， 其中S表示状态空间， A表示动作空间， P表示状态转移矩阵， R表示奖 励函数， 表示折扣因子； 所述状态空间用于反应集群的状态； 动作空间用于表示对当前任 务进行调度； 状态转移矩阵是在马尔可夫决策过程模型中根据动作空间的动作， 由状态空 间的所有状态转移的概率组成； 奖励函数用于体现不同任务的执行策略， 基于所述执行策 略进行设置； 折扣因子取值范围在0到1之间， 马尔可夫决策过程模型既考虑当前的奖励， 也 考虑将来的奖励， 折扣因子表示越是将来的奖励， 其 折扣越大， 相应的权 重越小； 所述执行策略包括： 费用最少策略、 执 行时间最短策略、 能耗 最优策略、 带宽最优策略；权　利　要　求　书 1/4 页 2 CN 115237581 B 3