(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210966814.5 (22)申请日 2022.08.10 (71)申请人 西安邮电大 学 地址 710121 陕西省西安市长安区西长安 街西安邮电大 学 (72)发明人 朱筠　谢晓燕　许浩　何婉琪　 (74)专利代理 机构 北京易捷胜知识产权代理有 限公司 1 1613 专利代理师 李丽敏 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06N 3/04(2006.01) (54)发明名称 基于计算图优化的算子间并行调度方法、 设 备和介质 (57)摘要 本申请属于计算机技术领域， 具体涉及一种 基于计算图优化的算子间并行调度方法、 设备和 介质。 其中方法包括： 将待调度的卷积神经网络 转换为计算图； 将计算图分割为多个不相交的子 图； 通过动态模板调度算法对子图内的算子进行 并行调度， 并在调度过程中针对子图中的算子选 择算子替换或算子并行的调度策略， 得到各子图 的最优调度方式； 基于各个子图的最优调度方 式， 通过子图拼接得到计算图的整体调度策略， 根据整体调度策略执行卷积神经网络中算子的 运算。 该方法可大幅度减少搜索范围， 提高了算 法收敛时间， 在保证全局最优解的情况下， 对子 调度进行了充分的利用， 为特定硬件设备输出并 行化调度， 提高了神经网络模型的调度推理速度 和硬件资源利用率。 权利要求书2页 说明书12页 附图3页 CN 115357356 A 2022.11.18 CN 115357356 A 1.一种基于计算图优化的算子间 并行调度方法， 其特 征在于， 该 方法包括： 将待调度的卷积神经网络转换为计算图； 将所述计算图分割为多个不相交 的子图， 所述子图中包含算子的数量为并行过程中一 个线程可最大并行的算子数量； 通过动态模板调度算法对所述子图内的算子进行并行调度， 并在调度过程中针对子图 中的算子选择算子替换或算子并行的调 度策略， 得到各子图的最优调 度方式； 其中， 所述动 态模板调度算法在优化调度搜索时， 保存当前调度的最优子调度供后续调度搜索时调用； 基于各个子 图的最优调度方式， 通过子 图拼接得到所述计算图的整体调度策略， 根据 所述整体调度策略执 行所述卷积神经网络中算子的运 算。 2.根据权利要求1所述的基于计算图优化的算子间并行调度方法， 其特征在于， 所述算 子替换包括： 基于算子类型对所述子图中的算子进行算子替换； 和/或 根据预设的卷积核尺寸约束规则， 对所述子图中的算子进行算子替换。 3.根据权利要求2所述的基于计算图优化的算子间并行调度方法， 其特征在于， 所述卷 积核尺寸约束规则包括： 将同一子 图中最大的卷积核尺寸作为替换后卷积核尺寸， 针对子 图中每个卷积算子， 将卷积核尺寸小于所述替换后卷积核尺寸的卷积算子的卷积核尺寸扩充为所述替换后卷 积核尺寸。 4.根据权利要求2所述的基于计算图优化的算子间并行调度方法， 其特征在于， 基于算 子类型对所述子图中的算子进行算子替换， 包括： 将源算子替换为相同类型的目标算子， 所述目标算子的参数和权重基于源算子 中的参 数和权重确定； 当源算子为 通用符节点时， 将源算子替换为任一基本的神经网络算子 。 5.根据权利要求4所述的基于计算图优化的算子间并行调度方法， 其特征在于， 当算子 为卷积算子时， 所述目标算子的参数和权 重基于源算子中的参数和权 重确定的方法， 包括： 所述目标算子的卷积核尺寸、 卷积步长、 特 征图填充宽度与所述源算子相等； 所述目标算子的输出通道大小为两个源算子的输出通道之和； 所述目标算子的权 重为将两个源算子中的权 重信息做连接操作。 6.根据权利要求1所述的基于计算图优化的算子间并行调度方法， 其特征在于， 通过动 态模板调度算法对所述子图内的算子进行并行调度， 包括： 对算子集的子集时延初始化为无穷大， 调度策略为空， 其中子集为子 图算子构成的集 合； 对子集合中的算子进行遍历， 采用动态规划算法对子 图进行调度， 得到子集的最小时 延和最优调度方式； 其中， 在调度搜索过程中： 将子集的调度延迟、 调度 方式和子集的算子列表保存为模板， 在后续搜索过程中， 将当 前子集算子列表与模板匹配， 若匹配成功， 则将模板中的调度延迟、 调 度方式作为当前子集 的调度延迟和调度方式； 分别计算算子替换的延迟与算子并行的延迟， 选择当前延迟较小的调度方式作为当前 搜索得到的调度方式。权　利　要　求　书 1/2 页 2 CN 115357356 A 27.根据权利要求1所述的基于计算图优化的算子间并行调度方法， 其特征在于， 将所述 计算图分割为多个不相交的子图， 包括： 采用基于最大块的计算图拆分算法， 递归地将所述计算图分割为子图。 8.根据权利要求1所述的基于计算图优化的算子间并行调度方法， 其特征在于， 在根据 优化后的计算图得到待调度的卷积神经网络的调 度方式之前还包括： 围绕每个拆分点执行 局部回溯搜索， 以获得跨越拆分点的算子替换。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行 的计算机程序， 所述计算机程序被所述处理器执行时实现如上权利要求1 至8任一项所述的基于计算图优化的算子间 并行调度方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如上权利要求 1至8任一项 所述的基于计算图优 化的算子间 并行调度方法的步骤。权　利　要　求　书 2/2 页 3 CN 115357356 A 3