(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210888391.X (22)申请日 2022.07.26 (71)申请人 北京旷视科技有限公司 地址 100089 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 (72)发明人 高华佐　丁劭华　王彪　许欣然　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 郭栋梁 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 计算资源分配方法、 电子设备、 存储介质及 程序产品 (57)摘要 本申请公开了一种计算资源分配方法、 电子 设备、 存储介质及程序产品， 涉及人工智能技术 领域， 具体涉及模型训练技术领域。 该方法用于 神经网络模型的训练， 该方法包括： 获得训练节 点上子模型执行计算任务的计算时间和执行通 信任务的通信时间； 根据计算时间和所述通信时 间得到延迟步数； 根据延迟步数、 数据样本的大 小和多个训练节点的数量， 获得训练节点上执行 的多个计算任务和多个通信任务的调度方案； 根 据调度方案为多个计算任务和多个通信任务生 成调度指令序列； 根据调度指令序列控制训练节 点依据数据样本对部署在训练节点上的子模型 进行训练。 可以提升神经网络模 型进行分布式训 练的训练效率。 权利要求书2页 说明书10页 附图3页 CN 115437760 A 2022.12.06 CN 115437760 A 1.一种计算资源分配方法， 其特征在于， 所述计算资源分配方法用于神经网络模型的 训练， 所述神经网络模型包括多个子模型， 所述多个子模型一一对应地部署在多个训练节 点上， 所述方法包括： 获得训练节点上子模型 执行计算任务的计算时间和执 行通信任务的通信时间； 根据所述计算时间和所述 通信时间得到延迟步数； 根据所述延迟步数、 数据样本的大小和所述多个训练节点的数量， 获得所述训练节点 上执行的多个计算任务和多个通信任务的调度方案， 其中， 所述数据样本的大小包括所述 数据样本的总大小和由所述数据样本拆分的子数据的大小； 根据所述调度方案为所述多个 计算任务和多个通信任务 生成调度指令序列； 根据所述调度指令序列控制所述训练节点依据所述数据样本对部署在所述训练节点 上的子模型进行训练。 2.根据权利要求1所述的计算资源分配方法， 其特征在于， 所述根据所述计算 时间和所 述通信时间得到延迟步数， 包括： 比较所述计算时间和所述 通信时间； 如果所述通信时间小于所述计算 时间， 将所述延迟步数设为第一延迟步数， 否则， 将所 述延迟步数设为第二延迟步数， 其中， 所述第一延迟步数小于所述第二延迟步数。 3.根据权利要求2所述的计算资源分配方法， 其特征在于， 所述第一延迟步数为2， 所述 第二延迟步数为3 。 4.根据权利要求1 ‑3任一项所述的计算资源分配方法， 其特征在于， 所述根据所述延迟 步数、 数据样本的大小和所述多个训练节点的数量， 获得所述训练节点上执行 的多个计算 任务和多个通信任务的调度方案， 包括： 根据所述延迟步数、 数据样本的大小和所述多个训练节点的数量， 获得所述训练节点 上执行的多个 计算任务， 对所述多个 计算任务进行排序； 为所述多个计算任务中每个计算任务设置通信任务， 得到所述多个计算任务和所述多 个通信任务的排序； 根据所述多个计算任务和所述多个通信任务的排序得到所述多个计算任务和多个通 信任务的调度方案 。 5.根据权利要求4所述的计算资源分配方法， 其特征在于， 所述根据所述调度方案为所 述多个计算任务和多个通信任务 生成调度指令序列， 包括： 根据所述调度 方案中所述多个计算任务和多个通信任务的排序， 对所述多个计算任务 和多个通信任务中每一任务 转换为一个调度指令， 根据每一任务 转换的调度指令， 得到所述调度指令序列。 6.根据权利要求4所述的计算资源分配方法， 其特征在于， 所述为所述多个计算任务中 每个计算任务设置通信任务， 得到所述多个 计算任务和所述多个通信任务的排序， 包括： 判断所述 通信任务是否与所述计算任务存在依赖关系； 如果所述通信任务与 所述计算任务不存在依赖关系， 将所述通信任务与所述计算任务 进行并行排列； 如果所述通信任务与 所述计算任务存在依赖关系， 将所述通信任务与 所述计算任务进 行串行排列。权　利　要　求　书 1/2 页 2 CN 115437760 A 27.根据权利要求6所述的计算资源分配方法， 其特征在于， 所述判断所述通信任务是否 与所述计算任务存在依赖关系， 包括： 如果所述通信任务待通信的数据由所述计算任务执行后产生的数据， 或者， 所述计算 任务是依据所述通信任务待通信的数据进 行执行的， 则所述通信任务与所述计算任务存在 所述依赖关系， 否则， 所述 通信任务与所述计算任务 不存在所述依赖关系。 8.一种计算机设备， 其特征在于， 所述计算机设备包括存储器、 处理器以及存储在存储 器上并可在处理器上运行的计算机程序， 所述处理器用于执行所述程序时实现根据权利要 求1‑7任一项所述的计算资源分配方法。 9.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 所述计算机程序用 于实现根据权利要求1 ‑7任一项所述的计算资源分配方法。 10.一种计算机程序产品， 其特征在于， 其上存储有计算机程序， 所述计算机程序用于 实现根据权利要求1 ‑7任一项所述的计算资源分配方法。权　利　要　求　书 2/2 页 3 CN 115437760 A 3