(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211052493.4 (22)申请日 2022.08.30 (71)申请人 深圳鲲云信息科技有限公司 地址 518000 广东省深圳市福田区福保街 道福保社区市花路南侧长富金茂 大厦 1号楼1408 (72)发明人 黄雪辉　熊超　牛昕宇　 (74)专利代理 机构 深圳市道臻知识产权代理有 限公司 4 4360 专利代理师 陈琳 (51)Int.Cl. G06F 9/50(2006.01) G06F 11/30(2006.01) G06N 3/02(2006.01) (54)发明名称 一种神经网络模 型的计算方法、 计算机设备 和存储介质 (57)摘要 本发明公开了一种神经网络模型的计算方 法、 计算机设备和存储介质。 该方法应用于计算 系统， 计算系统包括能够相互通信的主机设备和 异构设备， 主机设备上存储有神经网络模型； 包 括如下步骤： 监测所述神经网络模 型与所述异构 设备进行异构计算中指令转换的第一数据， 从所 述第一数据中确定出不会被再次使用的数据作 为第二数据； 删除与所述第二数据对应的原始数 据和/或用于将所述原始数据部署 至所述异构设 备上的配置指令。 本发明能够及时清理主机内 存， 有效提升算法应用的运行效率， 能够支持更 多个算法模型的同时运行。 权利要求书2页 说明书8页 附图4页 CN 115454627 A 2022.12.09 CN 115454627 A 1.一种神经网络模型的计算方法， 其特征在于， 应用于计算系统， 所述计算系统包括通 信连接的主机设备和异构设备， 所述主机设备上存储有神经网络模型； 所述神经网络模型 的计算方法包括： 监测所述神经网络模型与 所述异构设备进行异构计算中指令转换的第 一数据， 从所述 第一数据中确定出不会被再次使用的数据作为第二数据； 删除与所述第二数据对应的原始数据和/或用于将所述原始数据部署至所述异构设备 上的配置指令 。 2.根据权利要求1所述的神经网络模型的计算方法， 其特征在于， 从所述第 一数据中确 定出不会被再次使用的数据作为第二数据， 包括如下步骤： 获取所述神经网络模型待部署至所述异构设备上的原始数据和用于将所述原始数据 部署至所述异构设备 上的配置指令； 将所述配置指令和所述原始数据传输并部署至所述异构设备上， 以使得所述异构设备 根据所述配置指令获取 所述原始数据， 并根据所述原 始数据进行推理运 算； 接收所述异构设备的反馈信 息， 所述反馈信 息是所述异构设备接收到所述原始数据和 所述配置指令后生成的， 基于所述反馈信息从所述第一数据中确定出不会被再次使用的数 据作为第二数据。 3.根据权利要求2所述的神经网络模型的计算方法， 其特征在于， 删除与所述第 二数据 对应的原 始数据和/或用于将所述原 始数据部署至所述异构设备 上的配置指令， 包括： 当所述反馈信息显示所述异构设备接收到的所述神经网络模型的所有所述配置指令 和/或所述原 始数据完整时， 删除所述神经网络的所有所述配置指令和所述原 始数据。 4.根据权利要求2所述的神经网络模型的计算方法， 其特征在于， 删除与所述第 二数据 对应的原 始数据和/或用于将所述原 始数据部署至所述异构设备 上的配置指令， 包括： 获取当前接收到的反馈信息对应的已被所述异构设备接收的所述原始数据和所述配 置指令， 删除所述当前接收到的反馈信息对应的已被所述异构设备接收的所述原始数据和 所述配置指令 。 5.根据权利要求2所述的神经网络模型的计算方法， 其特征在于， 删除与所述第 二数据 对应的原 始数据和/或用于将所述原 始数据部署至所述异构设备 上的配置指令， 包括： 当所述反馈信息显示所述异构设备接收到的所述神经网络模型的一层的所述配置指 令和/或所述原始数据完整时， 删除所述神经网络的所述层的所述配置指令和所述原始数 据。 6.根据权利要求2所述的神经网络模型的计算方法， 其特征在于， 所述原始数据包括所 述神经网络模型的参数 数据和算子； 所述配置指令包括用于配置所述参数数据在所述异构设备的寄存器中的存储位置的 直接存储器访问指令和用于指示与所述 算子对应的计算操作的引擎计算指令； 获取所述神经网络模型待部署至所述异构设备上的原始数据和用于将所述原始数据 部署至所述异构设备 上的配置指令， 包括： 根据多个所述算子之间的关系 对所述多个算子进行融合， 将融合后的算子进行组合变 换获取所述引擎计算指令， 将所述引擎计算指令发送至所述异构设备。 7.根据权利要求6所述的神经网络模型的计算方法， 其特征在于， 所述获取所述神经网权　利　要　求　书 1/2 页 2 CN 115454627 A 2络模型需要复制至所述异构设备上的原始数据和用于将所述原始数据复制至所述异构设 备上的配置指令的步骤， 包括： 根据所述参数数据生成直接存储器访问指令， 将所述参数数据按照所述直接存储器访 问指令的指示位置存储于所述异构设备的寄存器中， 所述异构设备能够根据所述直接存储 器访问指令从所述指示 位置读取 所述参数数据。 8.根据权利要求7所述的神经网络模型的计算方法， 其特征在于， 删除与所述第 二数据 对应的原 始数据和/或用于将所述原 始数据部署至所述异构设备 上的配置指令， 包括： 当所述引擎计算指令、 所述参数数据和所述直接存储器访问指令传输至所述异构设备 后， 删除所述主机设备上的所述参数数据、 所述算子、 所述引擎计算指令和所述直接存储器 访问指令 。 9.一种计算机可读存储介质， 其特征在于， 存储有计算机程序， 所述计算机程序被处理 器执行时， 使得 所述处理器执行如权利要求1至8中任一项所述方法的步骤。 10.一种智能设备， 其特征在于， 包括存储器和处理器， 所述存储器存储有计算机程序， 所述计算机程序被所述处理器执行时， 使 得所述处理器执行如权利要求 1至8中任一项所述 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115454627 A 3