(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675314.8 (22)申请日 2021.12.31 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中区吴中经 济开发区郭巷街道官浦路1号9幢 (72)发明人 徐天赐　景璐　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张乐 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种深度学习模型推理方法、 系统、 设备及 计算机介质 (57)摘要 本申请公开了一种深度学习模 型推理方法、 系统、 设备及计算机介质， 确定目标深度学习模 型中各通道的通道量化参数； 根据目标深度学习 模型中通道与模 型分支间的关系， 基于通道量化 参数确定模 型分支的分支量化参数； 基于分支量 化参数对目标深度学习模型进行量化， 得到量化 后深度学习模 型； 基于量化后深度学习模型进行 推理， 得到推理结果。 本申请中， 确定了目标深度 学习模组 中各个通道的通道量化参数， 实现了细 粒度的量化参数确定， 并基于通道 量化参数确定 模型分支的分支量化参数， 基于量化后深度学习 模型进行推理， 得到推理结果， 实现了基于细粒 度的通道 量化参数进行深度学习模 型推理， 提高 了深度学习模型的推理精度。 权利要求书2页 说明书8页 附图2页 CN 114444658 A 2022.05.06 CN 114444658 A 1.一种深度学习模型推理方法， 其特 征在于， 包括： 确定目标深度学习模型中各通道的通道量 化参数； 根据所述目标深度学习 模型中通道与模型分支间的关系， 基于所述通道量化参数确定 所述模型分支的分支量 化参数； 基于所述分支量化参数对所述目标深度学习模型进行量化， 得到量化后深度学习模 型； 基于所述 量化后深度学习模型进行推理， 得到推理结果。 2.根据权利要求1所述的方法， 其特征在于， 所述确定目标深度 学习模型中各通道的通 道量化参数， 包括： 确定所述目标深度学习模型的所述 通道的绝对极大值； 基于所述 通道的所述 绝对极大值确定所述 通道对应的所述 通道量化参数。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述通道的所述绝对极大值确定 所述通道对应的所述 通道量化参数， 包括： 将所述通道的所述绝对极大值与预设值的和值作为所述通道对应的所述通道量化参 数。 4.根据权利要求1至3任一项所述的方法， 其特征在于， 所述基于所述通道量化参数确 定所述模型分支的分支量 化参数， 包括： 若两个所述通道量化参数均为标量， 则将值较小的所述通道量化参数作为所述模型分 支的所述分支量 化参数。 5.根据权利要求1至3任一项所述的方法， 其特征在于， 所述基于所述通道量化参数确 定所述模型分支的分支量 化参数， 包括： 若两个所述通道量化参数均为向量， 则逐通道对比两个所述通道量化参数， 并将两个 所述通道中均较小的所述 通道量化参数作为所述模型分支的所述分支量 化参数。 6.根据权利要求1至3任一项所述的方法， 其特征在于， 所述基于所述通道量化参数确 定所述模型分支的分支量 化参数， 包括： 若两个所述通道量化参数分别为标量和向量， 则将向量的所述通道量化参数的元素与 标量的所述通道量化参数的和值作为所述模型分支的分支量化参数的对应元素， 以得到所 述分支量 化参数。 7.根据权利要求1至3任一项所述的方法， 其特征在于， 所述基于所述通道量化参数确 定所述模型分支的分支量 化参数， 包括： 若两个所述通道的量化参数既非向量也非标量， 则将有卷积操作的所述通道的所述通 道量化参数作为所述模型分支的所述分支量 化参数。 8.一种深度学习模型推理系统， 其特 征在于， 包括： 第一确定模块， 用于确定目标深度学习模型中各通道的通道量 化参数； 第二确定模块， 用于根据所述目标深度学习模型中通道与模型分支间的关系， 基于所 述通道量化参数确定所述模型分支的分支量 化参数； 第一量化模块， 用于基于所述分支量化参数对所述目标深度学习模型进行量化， 得到 量化后深度学习模型； 第一推理模块， 用于基于所述 量化后深度学习模型进行推理， 得到推理结果。权　利　要　求　书 1/2 页 2 CN 114444658 A 29.一种深度学习模型推理设备， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述深度学习模型推 理方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述深度学习模型推理 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114444658 A 3