(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675970.8 (22)申请日 2021.12.31 (71)申请人 交叉信息核心技 术研究院 （西安） 有 限公司 地址 710077 陕西省西安市雁塔区天谷八 路软件新城二期B2座1 1层 (72)发明人 董润沛　马恺声　 (74)专利代理 机构 北京中巡通大知识产权代理 有限公司 1 1703 代理人 张弘 (51)Int.Cl. G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 模型压缩 方法、 系统、 部署方法、 设备及 存储 介质 (57)摘要 本发明提供一种模型压缩方法、 系统、 部署 方法、 设备及存储介质， 包括： 获取数据集以及已 经预训练的待压缩的神经网络， 设置DGMS算法的 相关参数； 根据待压缩的神经网络， 使用k ‑means 算法初始化 混合高斯模型的系数， 得到参数化的 混合高斯模 型的权重， 根据权重分配产生最初的 量化划分集合； 基于量化划分集合， 使用DGMS算 法对待压缩的神经网络进行量化训练， 使用随机 梯度下降方法优化神经网络参数和用于量化的 相关参数； 训练完毕后， 使用最终获得的神经网 络参数以及量化相关参数， 获得量化后的神经网 络模型， 并使用量化后的神经网络模 型进行模型 推理。 本发 明采用量化技术对神经网络模型进行 压缩， 减少模型 大小， 提高模型推理速度。 权利要求书3页 说明书13页 附图2页 CN 114418089 A 2022.04.29 CN 114418089 A 1.一种基于可微分 混合高斯权 重共享的模型压缩方法， 其特 征在于， 包括： 获取数据集以及已经 预训练的待压缩的神经网络， 设置DGMS算法的相关参数； 根据待压缩的神经网络， 使用k ‑means算法初始化混合 高斯模型的系数， 得到参数化的 混合高斯模型的权 重， 根据权 重分配产生 最初的量 化划分集 合； 基于量化划分集合， 使用DGMS算法对待压缩的神经网络进行量化训练， 使用随机梯度 下降方法优化神经网络参数和用于量 化的相关参数； 训练完毕后， 使用最终获得的神经网络参数以及量化相关参数， 获得量化后的神经网 络模型， 并使用量 化后的神经网络模型进行模型推理。 2.根据权利要求1所述的基于可微分 混合高斯权 重共享的模型压缩方法， 其特 征在于， 所述获取数据集以及已经预训练的待压缩的神经网络， 设置DGMS算法的相关参数， 具 体包括： 获取数据集 和L层深度神经网络F， 权重为 GM分量数量K+1 以及初始化温度系数 3.根据权利要求1所述的基于可微分 混合高斯权 重共享的模型压缩方法， 其特 征在于， 所述根据待压缩的神经网络， 使用k ‑means算法初始化混合 高斯模型的系数， 得到参数 化的混合高斯模型的权 重； 具体包括： 基于参数估计， 使用最大似然估计对统计信 息进行分析； 将K+1单峰高斯分量的混合作 为全精度网络的平滑子分布近似估计， 由 参数化的高斯混合近似GMθ 形成任意形状的分布密度的有效表征； 使用k‑means算法初始化高斯混合近似， 将高斯混合作为权重 的统计先 验， 则有： 上式作为高斯模型GMθ的参数化似然； 其中， 是混合高斯模 型的参数表征， 且πk表示第k个高斯模型分量 权重， μk和γk分别表示第k个混合高斯模型分量的均值和方差 。 4.根据权利要求1所述的基于可微分 混合高斯权 重共享的模型压缩方法， 其特 征在于， 所述根据权重分配产生 最初的量 化划分集 合， 具体包括： 使用参数化的高斯混合将权重划分为几个区域； 每个区域都与一个高斯分量相关联， 其中平均值用作权重分配的区域显着性， 即自适应 量化集合QA＝{ μ0, μ1,…, μK}， 其中 μ0＝0； 定义基于GM子分布估计的区域决策指示器IS:RM→{0,1}K×M， 用于所有K+1个区域； 然后， 对 于每个数据点 wj， 量化的低位宽表示Ψ(wj； θ )～DQ的公式为权　利　要　求　书 1/3 页 2 CN 114418089 A 2其中， 表示在给定区域k的情况下wj的后验概率， k由θk＝{ πk, μk,γk} 参数化， 表示 为： 上式是根据GM子分布计算的的软标准化 区域置信度， 将其视为基于加权径向基函数核 的最近邻聚类， 基于加权径向基函数核计算了权重wj与相应区域显着性之间的软对称距 离。 5.根据权利要求 4所述的基于可微分 混合高斯权 重共享的模型压缩方法， 其特 征在于， 所述基于量 化划分集 合， 使用DGMS算法对待压缩的神经网络进行量 化训练， 具体包括： 采用基于温度的softmax使得分布采样过程变得可微， 并且估计 的区域置信 度预测： 其中τ被设置为可调整离 散化估计级别的可 学习温度超参数； 基于所述可微分区域显着性采样过程， 重新构造 压缩表征Φk(wj； θ, τ )～DS如下： 式中， θ为前述定义的混合高斯模型的参数表示， τ是可调整离散化估计级别的可学习 温度超参数。 6.根据权利要求5所述的基于可微分 混合高斯权 重共享的模型压缩方法， 其特 征在于， 所述使用随机梯度下降方法优化神经网络参数和用于量 化的相关参数， 具体包括： 使用任务损失函数对训练结构进行评估； 反向传播并使用随机梯度下降算法更新 参数。 7.一种基于可微分 混合高斯权 重共享的模型压缩系统， 其特 征在于， 包括： 获取输入模块， 用于获取数据集以及已经预训练的待压缩的神经网络， 设置DGMS算法 的相关参数； 算法初始化模块， 用于根据待压缩的神经网络， 使用k ‑means算法初始化混合 高斯模型 的系数， 得到参数化的混合高斯模型的权 重， 根据权 重分配产生 最初的量 化划分集 合； 逐层量化训练模块， 用于基于量化划分集合， 使用DGMS算法对待压缩的神经网络进行权　利　要　求　书 2/3 页 3 CN 114418089 A 3