(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111646797.9 (22)申请日 2021.12.2 9 (71)申请人 鹏城实验室 地址 518000 广东省深圳市南 山区兴科一 街2号 申请人 北京大学深圳研究生院 (72)发明人 王进　易泽轩　李革　张叶红　 张艳　王晖　曾炜　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专 (51)Int.Cl. G06F 30/27(2020.01) G06K 9/62(2022.01) G06F 111/08(2020.01) (54)发明名称 基于多面体模型建模的自动并行策略搜索 方法及相关 设备 (57)摘要 本发明公开了基于多面体模型建模的自动 并行策略搜索方法及相关设备， 所述方法包括： 根据用户输入的模型对象得到深度学习算法的 模型计算图； 对模型计算图进行转换， 得到转换 后的模型计算图； 将转换后的模 型计算图进行均 衡处理， 得到均衡计算图； 根据所述均衡计算图， 创建多面体模型实例， 并根据多面体模型实例输 出并行策略； 调用底层框架执行并行策略。 本发 明中通过将模 型计算图进行转换及均衡处理， 并 在多面体模 型的框架下创建多面体模 型实例后， 自动输出并行策略， 实现了在 多面体模型下将不 同的算法逻辑进行建模， 并自动输出并行策略过 程， 提升了并行策略搜索的效率， 降低了深度学 习算法的分布式训练开发和效率调优 难度。 权利要求书2页 说明书10页 附图5页 CN 114925591 A 2022.08.19 CN 114925591 A 1.一种基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述基于多面体 模型建模的自动并行 策略搜索方法包括： 根据用户输入的模型对象得到深度学习算法的模型计算图； 对所述模型计算图进行转换， 得到转换后的模型计算图； 将转换后的模型计算图进行均衡处 理， 得到均衡 计算图； 根据所述均衡计算图， 创建多面体模型实例， 并根据所述多面体模型实例输出并行策 略； 调用底层框架执 行所述并行 策略。 2.根据权利要求1所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述根据用户输入的模型对象得到深度学习算法的模型计算图的步骤具体包括： 根据用户输入的模型对象得到一个算法模型； 随机输入一个数值至所述算法模型后， 记录所述算法模型的计算过程， 得到所述模型 计算图； 或通过python解释器对所述模型对象解析后生成语法树， 再对所述语法树进行分析， 得到所述模型计算图。 3.根据权利要求2所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述对所述模型计算图进行转换， 得到转换后的模型计算图的步骤具体包括： 用预先定义的中间表示法对所述模型计算图重新进行表示， 得到转换后的模型计算 图。 4.根据权利要求3所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述将转换后的模型计算图进行均衡处 理， 得到均衡 计算图的步骤具体包括： 设定节点的平均计算量阈值， 将转换后的模型计算图中的计算量节点与所述平均计算 量阈值进行比较； 将小于所述平均计算阈值的相邻 计算量节点进行融合， 并将大于所述平均计算阈值的 计算量节点进行拆分， 得到均衡 计算图。 5.根据权利要求4所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述根据所述均衡计算图， 创建多面体模型实例， 并根据所述多面体模型实例 输出并行策 略的步骤具体包括： 创建一个多面体优化模型； 根据所述均衡 计算图初始化所述多面体优化模型， 得到一个多面体模型实例； 根据所述多面体模型实例和用户输入的计算资源数量， 输出并行 策略。 6.根据权利要求3所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述调用底层框架执 行所述并行 策略的步骤具体包括： 调用底层框架的执 行API来执行所述并行 策略。 7.根据权利要求1所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述模型对象是指用户预 先定义的深度学习算法的单机训练代码。 8.根据权利要求3所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于， 所述预先定义的中间表示法包括： IRType、 IRValue、 IRN ode和IRGraph 。 9.根据权利要求5所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114925591 A 2所述并行 策略包括数据并行切分维度和流水线并行切分维度。 10.根据权利要求6所述的基于多面体模型建模的自动并行策略搜索方法， 其特征在 于， 所述执 行API为底层AI框架中的运行 管理器。 11.一种自动并行 策略搜索系统， 其特 征在于， 所述自动并行 策略搜索系统包括： 计算图生成模块， 用于根据用户定义的深度学习算法逻辑得到模型计算图； 计算图转换模块， 用于对所述模型计算图进行转换， 得到转换后的模型计算图； 计算图均衡模块， 用于将转换后的模型计算图进行均衡处 理， 得到均衡 计算图； 并行策略搜索模块， 用于根据 所述均衡计算图， 创建多面体模型实例， 并根据所述多面 体模型实例输出并行 策略； 并行策略执行模块， 用于调用底层框架执 行所述并行 策略。 12.一种控制器， 其特征在于， 所述控制器包括： 存储器、 处理器及存储在所述存储器上 并可在所述处理器上运行的基于多面体模型建模的自动并行策略搜索程序， 所述基于多面 体模型建模的自动并行策略搜索程序被所述处理器执行时实现如权利要求 1‑9任一项所述 的基于多面体模型建模的自动并行 策略搜索方法的步骤。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有基于多面 体模型建模的自动并行策略搜索程序， 所述基于多面体模型建模的自动并行策略搜索程序 被处理器执行时实现如权利要求 1‑9任一项所述的基于多面体模型建模的自动并行策略搜 索方法的步骤。权　利　要　求　书 2/2 页 3 CN 114925591 A 3