(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111443775.2 (22)申请日 2021.11.30 (71)申请人 上海阵量智能科技有限公司 地址 200235 上海市徐汇区永嘉路698号 518室 (72)发明人 冷祥纶　周琳　张国栋　赵月新　 李冰　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 代理人 袁忠林 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06N 20/00(2019.01) (54)发明名称 调度系统、 方法、 装置、 芯片、 计算机设备及 存储介质 (57)摘要 本公开提供了一种调度系统、 调度方法、 装 置、 计算机设备及存储介质， 其中， 该调度系统包 括： 所述主机， 用于对深度学习模型进行解析， 得 到所述深度学习模型中的多个算子； 基于多个所 述算子分别对应的运算信息以及算子执行设备 的算力信息， 确定在执行多个所述算子时对所述 算子执行设备中的运算单元的调度策略； 所述算 子执行设备， 用于基于所述主机的调度执行多个 所述算子。 权利要求书3页 说明书19页 附图3页 CN 114090219 A 2022.02.25 CN 114090219 A 1.一种调度系统， 其特 征在于， 包括： 主机以及算子执 行设备； 所述主机， 用于对深度 学习模型进行解析， 得到所述深度学习模型中的多个算子； 基于 多个所述算子 分别对应的运算信息以及算子执行设备的算力信息， 确定在执行多个所述算 子时对所述 算子执行设备中的运 算单元的调度策略； 所述算子执行设备， 用于基于所述主机的调度策略执 行多个所述 算子。 2.根据权利要求1所述的调度装置， 其特征在于， 所述多个算子分别对应的运算信 息包 括多个所述 算子分别对应的任务 块的执行时长、 及多个所述 算子之间的并行度； 其中， 每个任务块包括对应算子中的多个子任务。 3.根据权利要求1或2所述的调度系统， 其特征在于， 所述主机， 在获取多个所述算子分 别对应的任务 块的执行时长时， 用于： 基于所述任务块在执行时需要占用的内存、 以及所述运算单元的算力信息， 估算执行 所述任务 块所需要的执 行时长。 4.根据权利要求3所述的调度系统， 其特征在于， 所述主机， 在基于所述任务块在执行 时需要占用的内存、 以及所述运算单元 的算力信息， 估算执行所述任务块所需要的执行时 长时， 用于： 基于所述算子在执行时所需要占用的内存、 以及所述运算单元对所述内存的访存带 宽， 确定访存时长； 以及 基于所述任务块中的每个子任务中的各计算步骤所需要的算力信 息， 以及所述每个运 算单元的算力 信息， 确定所述任务 块的计算时长； 基于所述访存时长以及所述计算时长， 确定执 行所述任务 块所需要的执 行时长。 5.根据权利要求1或2所述的调度系统， 其特征在于， 所述主机， 在获取多个所述算子分 别对应的任务 块的执行时长时， 用于： 基于所述 算子， 确定与所述 算子对应的仿真模型； 运行所述仿真模型， 并基于所述仿真模型的运行时长， 确定所述算子的各个任务块所 需要的执 行时长。 6.根据权利要求5所述的调度系统， 其特征在于， 所述主机， 在基于所述仿真模型的运 行时长， 确定所述 算子的各个任务 块所需要的执 行时长时， 用于： 根据运行所述仿真模型的算子执行设备中运算单元的尺寸、 以及所述算子在执行时需 要处理的数据量， 确定在仿真过程中将所述 算子划分得到的任务 块的数量； 根据仿真过程中将所述算子划分得到的任务块的数量、 以及运行所述仿真模型的算子 执行设备中运 算单元的数量， 确定需要处 理的批次； 基于所述批次、 以及所述仿真模型的运行时长， 确定多个所述算子分别对应的任务块 的执行时长。 7.根据权利要求2 ‑6任一项所述的调度系统， 其特征在于， 所述主机， 在基于多个所述 算子分别对应的运算信息以及算子执行设备的算力信息， 确定在执行多个所述算子时对所 述算子执行设备中的运 算单元的调度策略时， 用于： 构建多个所述算子分别对应任务块的执行时长、 多个所述算子分别对应的任务块数 量、 多个所述算子之间的并行度、 所述算子执行设备的算力信息、 调度策略参数， 与多个所 述算子的执 行总时长之间的关联关系；权　利　要　求　书 1/3 页 2 CN 114090219 A 2以降低所述执行总时长为目标， 基于所述关联关系， 对所述调度 策略参数进行调整， 得 到目标调度策略。 8.根据权利要求7所述的调度系统， 其特征在于， 所述主机， 在构建多个所述算子分别 对应任务块的执行时长、 多个所述算子分别对应的任务块数量、 多个所述算子之间的并行 度、 所述算子执行设备的算力信息、 调 度策略参数， 与多个所述算子的执行总时长之 间的关 联关系时， 用于： 以多个所述算子分别对应的任务块的执行时长、 多个所述算子分别对应的任务块数 量、 所述算子执行设备的算力信息为参数， 以所述调 度策略参数为自变量， 以多个所述算子 的执行总时长为因变量， 以算子之间的并行度为约束条件， 构建 关系方程。 9.根据权利要求7或8所述的调度系统， 其特征在于， 所述调度策略参数包括下述至少 一项： 与多个所述算子分别对应的至少一个执行时刻、 在所述至少一个执行时刻中的每个执 行时刻对应的起始任务块的任务块标识、 所需运算单元 的数量、 以及执行所述算子的运算 单元的标识。 10.根据权利要求7 ‑9任一项所述的调度系统， 其特征在于， 所述主机， 在基于所述调度 策略调度所述 运算单元执行多个所述 算子， 包括： 基于所述调度策略， 生成算子启动指令； 向所述算子执行设备发送所述 算子启动指令； 所述算子执行设备， 在基于所述主机的调度 执行多个所述算子时， 用于： 响应于接收到 所述主机发送的所述算子启动指令， 按照与所述算子启动指令所指示的方式， 执行与所述 算子启动指令对应的算子 。 11.根据权利要求10所述的调度系统， 其特征在于， 所述调度策略参数包括： 与多个所 述算子分别对应的算子执行时刻； 所述算子启动 指令， 包括： 与多个算子 分别对应的算子启 动指令； 所述主机， 在向所述算子执行设备发送所述算子启动指令时， 用于： 响应于任一算子启 动指令对应的指 令发送时刻到达， 向所述算子执行设备发送该任一算子启动指 令； 其中， 所 述指令发送时刻是基于该任一 算子启动指令对应的指令执 行时刻确定的。 12.一种调度方法， 其特 征在于， 包括： 对深度学习模型进行解析， 得到所述深度学习模型中的多个算子； 基于多个所述算子分别对应的运算信息、 以及算子执行设备的算力信息， 确定在执行 多个所述算子时对所述算子执行设备中的运算单元 的调度策略； 其中， 每个任务块包括对 应算子中的多个子任务； 基于所述调度策略调度所述 运算单元执行多个所述 算子。 13.一种调度装置， 其特 征在于， 包括： 解析模块， 用于对深度学习模型进行解析， 得到所述深度学习模型中的多个算子； 生成模块， 用于基于多个所述算子分别对应的运算信息以及算子执行设备的算力信 息， 确定在执行多个所述算子时对所述算子执行设备中的运算单元的调 度策略； 其中， 每个 任务块包括对应算子中的多个子任务； 调度模块， 用于基于所述调度策略调度所述 运算单元执行多个所述 算子。权　利　要　求　书 2/3 页 3 CN 114090219 A 3