(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211177786.5 (22)申请日 2022.09.27 (65)同一申请的已公布的文献号 申请公布号 CN 115269205 A (43)申请公布日 2022.11.01 (73)专利权人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 王宏升　陈光　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06F 9/50(2006.01) G06F 12/02(2006.01)G06N 3/04(2006.01) (56)对比文件 CN 105653472 A,2016.0 6.08 CN 107609641 A,2018.01.19 US 2021182077 A1,2021.0 6.17 审查员 牛洪波 (54)发明名称 一种面向神经网络计算的内存优化方法和 装置 (57)摘要 本发明公开了一种面向神经网络计算的内 存优化方法和装置， 包括以下步骤： 步骤S1： 将计 算图重构为拓扑结构计算图； 步骤S2： 构建关于 张量变量的生命周期区间； 步骤S3： 构建关于生 命周期区间的扫描线； 步骤S4： 将张量变量分配 到空闲寄存器； 步骤S5： 分配给超出寄存器需求 数量的张量变量； 步骤S6： 将已过期的所述生命 周期区间所分配的寄存器分配给超出寄存器需 求数量的张量变量； 步骤S7： 将转移到内存中的 张量变量添加回处于激活状态的所述生命周期 区间并为其 分配空闲寄存器。 本发 明优化用于神 经网络计算的计算图的数据流的内存， 减少数据 流中张量变量所需的内存开销， 降低大模型对于 硬件内存资源的要求。 权利要求书2页 说明书8页 附图12页 CN 115269205 B 2022.12.27 CN 115269205 B 1.一种面向神经网络计算的内存 优化方法， 其特 征在于， 包括以下步骤： 步骤S1： 将计算图重构为拓扑 结构计算图； 步骤S2： 构建 关于张量变量的生命周期区间； 步骤S3： 构建关于生命周期区间的扫描线； 在所述拓扑结构计算图的起始节点处， 构建 一条与所述生命周期区间平行的扫描线， 所述扫描线用于从所述生命周期区间的起始端向 所述生命周期区间的终止端移动过程中， 观察是否存在空闲寄存器可以分配给数据流执行 过程中的张量变量； 步骤S4： 将张量变量分配到空 闲寄存器； 步骤S5： 将最远终点的所述生命周期区间对应张量变量的寄存器分配给超出寄存器需 求数量的张量变量； 步骤S6： 将已过期的所述生命周期区间所分配的寄存器分配给超出寄存器 需求数量的 张量变量； 步骤S7： 将转移到内存中的张量变量添加回处于激活状态的所述生命周期区间并为其 分配空闲寄存器。 2.如权利要求1所述的一种面向神经网络计算的内存优化方法， 其特征在于， 所述步骤 S1具体包括以下子步骤： 步骤S11： 后序顺序遍历计算图， 得到 子图访问列表； 步骤S12： 逆序后序所述子图访问列表， 得到计算图的拓扑 结构顺序； 步骤S13： 根据所述拓扑 结构顺序重构计算图， 得到 拓扑结构计算图。 3.如权利要求2所述的一种面向神经网络计算的内存优化方法， 其特征在于， 所述后序 顺序为当访问所述计算图的某个节点时， 则优先递归地访问所述节点的后继节点。 4.如权利要求1所述的一种面向神经网络计算的内存优化方法， 其特征在于， 所述步骤 S2具体为构建关于每个节点中包含张量变量的生命周期区间， 所述节点包含的张量变量对 应的关于生命周期区间起始于所述张量变量处于存活状态的第一个节点的位置， 终止于所 述张量变量处于存活状态的最后一个节点的位置 。 5.如权利要求1所述的一种面向神经网络计算的内存优化方法， 其特征在于， 所述步骤 S5具体为执行流位于某个节点的位置时， 当所述节点既没有空闲寄存器， 也没有可以从处 于激活状态的所述生命周期区间中移除的已经被扫描过期的所述生命周期区间， 则将最远 终点的所述生命周期区间对应的张量变量所分配的寄存器中的张量变量转移到内存中， 然 后将所释放的寄存器分配给超出寄存器需求数量的张量变量。 6.如权利要求1所述的一种面向神经网络计算的内存优化方法， 其特征在于， 所述步骤 S6具体为执行流位于某个节 点的位置时， 当所述扫描线已经穿过张量变量所分配 寄存器对 应的所述生命周期区间， 将张量变量从处于激活状态的所述生命周期区间中移除， 对应分 配的寄存器回收到空闲寄存器列 表中， 将所述空闲寄存器分配给超出寄存器需求数量的张 量变量。 7.如权利要求1所述的一种面向神经网络计算的内存优化方法， 其特征在于， 所述步骤 S7具体为执行流位于某个节点的位置时， 当存在空闲寄存器， 则将转移到内存中的张量变 量添加回处于激活状态的所述生命周期区间， 并且将空闲寄存器分配给对应的所述生命周 期区间。权　利　要　求　书 1/2 页 2 CN 115269205 B 28.一种面向神经网络计算的内存优化装置， 其特征在于， 包括存储器和一个或多个处 理器， 所述存储器中存储有可执行代码， 所述一个或多个处理器执行所述可执行代码时， 用 于实现权利要求1 ‑7中任一项所述的一种面向神经网络计算的内存 优化方法。 9.一种计算机可读存储介质， 其特征在于， 其上存储有程序， 该程序被处理器执行时， 实现权利要求1 ‑7中任一项所述的一种面向神经网络计算的内存 优化方法。权　利　要　求　书 2/2 页 3 CN 115269205 B 3