(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111643121.4 (22)申请日 2021.12.2 9 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 苏政鹏　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 代理人 杜晶 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06N 5/04(2006.01) (54)发明名称 一种模型压缩方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种模型压缩方法、 装置、 设 备及介质， 用以保证模型压缩精度的同时提高模 型压缩的通用性。 由于在本申请中， 电子设备可 以对训练完成的模型进行模型压缩， 无需在训练 过程中对模 型进行压缩， 保证了训练过程中模型 的收敛速度和训练效率， 并且该模 型压缩方法在 保证模型精度的同时通用性更高。 权利要求书2页 说明书12页 附图4页 CN 114358281 A 2022.04.15 CN 114358281 A 1.一种模型压缩方法， 其特 征在于， 所述方法包括： 对待压缩的第一模型进行解析， 确定模型解析结果， 所述模型解析结果包括所述第一 模型中的网络层和所述网络层对应的参数； 采用稀疏化策略， 对所述参数进行稀疏化处理， 确定稀疏化后得到的第二模型以及所 述第二模型的精度； 在所述第二模型的精度满足预设条件时， 保存所述第 二模型以及所述第 二模型中的参 数。 2.如权利要求1所述的方法， 其特征在于， 所述采用稀疏化策略， 对所述参数进行稀疏 化处理， 确定稀疏化后得到的第二模型以及所述第二模型的精度包括： 针对每个稀疏化策略， 将所述稀疏化策略作为当前稀疏化策略， 对所述参数进行稀疏 化处理， 确定稀疏化后得到的第二模型以及所述第二模型 的精度； 判断稀疏化后得到的第 二模型的精度是否满足预设条件； 如果否， 将下一个稀疏化策略作为当前稀疏化策略， 继续 对所述参数进行稀疏化处 理， 直至稀疏化后得到的第二模型的精度满足所述预设条件。 3.如权利要求2所述的方法， 其特征在于， 所述对所述参数进行稀疏化处理包括以下至 少一种方式： 对所述当前稀疏化策略中包括的参数进行稀疏化处 理； 或 对所述当前稀疏化策略中包括的网络层对应的参数进行稀疏化处 理； 或 根据所述当前稀疏化策略， 对上一个稀疏化策略对应的参数进行更新， 确定所述当前 稀疏化策略对应的参数， 对所述当前稀疏化策略对应的参数进行稀疏化处 理。 4.如权利要求3所述的方法， 其特征在于， 所述根据所述当前稀疏化策略， 对上一个稀 疏化策略对应的参数进行 更新， 确定所述当前稀疏化策略对应的参数包括： 对上一个稀疏化策略对应的参数进行随机化处理， 得到所述当前稀疏化策略对应的参 数； 或者 根据所述第一模型的参数分布规律， 确定参数范围， 将位于所述参数范围内的参数确 定为所述当前稀疏化策略对应的参数。 5.如权利要求4所述的方法， 其特征在于， 所述根据所述第一模型的参数分布规律， 确 定参数范围， 将位于所述 参数范围内的参数确定为所述当前稀疏化策略对应的参数包括： 统计所述第一模型中的参数分布规 律； 如果所述 参数分布规 律符合正态分布， 确定参数阈值； 将大于所述 参数阈值的参数确定为所述当前稀疏化策略对应的参数。 6.如权利要求3所述的方法， 其特征在于， 所述根据所述当前稀疏化策略， 对上一个稀 疏化策略对应的参数进行 更新， 确定所述当前稀疏化策略对应的参数包括： 根据所述当前稀疏化策略中的权重因子， 对上一个稀疏化策略对应的参数进行更新， 确定所述当前稀疏化策略对应的参数。 7.如权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 在每次稀疏化后得到的第 二模型的精度均不满足所述预设条件时， 保存稀疏化后得到 的精度最高的第二模型以及所述第二模型中的参数。 8.如权利要求1 ‑7任一项所述的方法， 其特征在于， 所述稀疏化后得到的第 二模型的精 度满足预设条件 包括：权　利　要　求　书 1/2 页 2 CN 114358281 A 2根据所述第 一模型输出的第 一推理结果和所述第 二模型输出的第 二推理结果， 计算所 述第一模型和所述第二模型之间的散度； 如果所述散度小于设定 散度阈值， 确定所述第二模型的精度满足预设条件。 9.一种模型压缩 装置， 其特 征在于， 所述装置包括： 确定单元， 用于对待压缩的第 一模型进行解析， 确定模型解析结果， 所述模型解析结果 包括所述第一模型中的网络层和所述网络层对应的参数； 处理单元， 用于采用稀疏化策略， 对所述参数进行稀疏化处理， 确定稀疏化后得到的第 二模型以及所述第二模型的精度； 保存单元， 用于在所述第二模型的精度满足预设条件时， 保存所述第二模型以及所述 第二模型中的参数。 10.一种电子设备， 其特征在于， 所述电子设备包括处理器和存储器， 所述处理器用于 执行存储器中存 储的计算机程序时实现如权利要求1 ‑8任一所述模型压缩方法的步骤。 11.一种计算机可读存储介质， 其特征在于， 其存储有计算机程序， 所述计算机程序被 处理器执行时实现上述权利要求1 ‑8中任一所述模型压缩方法的步骤。权　利　要　求　书 2/2 页 3 CN 114358281 A 3