(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111493718.5 (22)申请日 2021.12.08 (71)申请人 北京奕斯伟计算 技术有限公司 地址 100176 北京市北京经济技 术开发区 科创十街18号院3号楼1层101室 (72)发明人 邓帆　朱思　胡可飞　李锐峰　 王继铭　邱亮　 (74)专利代理 机构 北京市立方律师事务所 11330 代理人 张筱宁 (51)Int.Cl. G06F 30/20(2020.01) G06F 119/02(2020.01) (54)发明名称 模型量化方法、 装置及存 储介质 (57)摘要 本申请提供了一种模 型量化方法、 装置及存 储介质， 涉及计算机技术领域。 该方法包括： 从预 设的阈值范围中确定搜索中心； 根据搜索中心确 定搜索范围； 根据搜索范围内的各个阈值对应的 第二KL散度值， 从搜索范围内的阈值中确定 出目 标阈值， 以作为模型量化后的映射范围的最大 值； 根据目标阈值进行模型量化。 本申请实施例 的方法中， 先对搜索范围通过锚定法进行粗搜 索， 确定最优锚点， 再对最优锚点的邻域范围进 行精确搜索， 得到领域最优点， 以领域最优点作 为全局最优点使用， 可以大大降低计算耗时， 提 升模型量 化速度。 权利要求书1页 说明书8页 附图6页 CN 114201869 A 2022.03.18 CN 114201869 A 1.一种模型量 化方法， 其特 征在于， 包括： 从预设的阈值范围中确定 搜索中心； 根据所述搜索中心确定 搜索范围； 根据所述搜索范围内的各个 阈值对应的第二KL散度值， 从所述搜索范围内的阈值中确 定出目标阈值， 以作为模型量 化后的映射范围的最大值； 根据所述目标阈值进行模型量 化。 2.根据权利要求1所述的方法， 其特征在于， 所述从预设的阈值范围中确定搜索中心， 包括： 从预设的所述阈值范围内获取多个锚点； 根据各个所述锚点对应的第一KL散度值， 从多个所述锚点中确定 搜索中心。 3.根据权利要求2所述的方法， 其特征在于， 所述从预设的所述阈值范围内获取多个锚 点， 包括： 按照预设步长， 从预设的所述阈值范围内获取多个锚点。 4.根据权利要求2所述的方法， 其特征在于， 所述根据多个所述锚点的KL散度值， 从多 个所述锚点中确定 搜索中心， 包括： 计算各个锚点对应的第一KL散度值； 将多个所述第一KL散度值中的最小值对应的锚点确定为所述搜索中心。 5.根据权利要求1至4中任一项所述的方法， 其特征在于， 根据所述搜索中心确定搜索 范围， 包括： 将与所述搜索中心相邻的锚点之间的阈值， 确定为所述搜索范围。 6.根据权利要求1至4中任一项所述的方法， 其特征在于， 所述根据所述搜索范围内的 各个阈值对应的第二KL散度值， 从所述搜索范围内的阈值中确定出目标阈值， 以作为模型 量化后的映射范围的最大值， 包括： 针对所述搜索范围内的阈值， 逐个 计算对应的第二KL散度值； 将多个第二KL散度值中的最小值对应的阈值， 确定为所述目标阈值， 以作为模型量化 后的映射范围的最大值。 7.一种模型量 化装置， 其特 征在于， 包括： 确定模块， 用于从预设的阈值范围中确定搜索中心； 还用于根据所述搜索中心确定搜 索范围； 还用于根据所述搜索范围内的各个阈值对应的第二KL散度值， 从所述搜索范围内 的阈值中确定出目标阈值， 以作为模型量 化后的映射范围的最大值； 量化模块， 用于根据所述目标阈值进行模型量 化。 8.一种电子设备， 包括存储器、 处理器及存储在存储器上的计算机程序， 其特征在于， 所述处理器执行所述计算机程序以实现权利要求1 ‑6任一项所述的模型量 化方法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1 ‑6任一项所述的模型量 化方法的步骤。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现权利要求1 ‑6任一项所述的模型量 化方法的步骤。权　利　要　求　书 1/1 页 2 CN 114201869 A 2模型量化方 法、 装置及存储介质 技术领域 [0001]本申请涉及计算机技术领域， 具体而 言， 本申请涉及一种模型量化方法、 装置及计 算机可读存 储介质。 背景技术 [0002]在模型量化过程中， 一般不选用最大值映射数据， 而是通过计算得出合适的映射 最大值。 要获得合适的映射最大值， 可以通过计算原始数据与映射数据的分布相似性来判 断映射最大值的取值是否合理， 其中， 数据的分布相似度就是Kullback ‑Leibler散度值(简 称KL散度值)， KL散度值越小说明两个分布越相似。 [0003]现有技术中， 在计算KL时通常会遍历从128到2048个阈值， 这样计算耗时较多， 严 重影响模型量 化速度。 发明内容 [0004]本申请实施例提供了一种模型量化方法、 装置及计算机可读存储介质， 旨在解决 现有技术中的至少一个技 术问题。 [0005]根据本申请实施例的一个方面， 提供了一种模型量 化方法， 该 方法包括： [0006]从预设的阈值范围中确定 搜索中心； [0007]根据所述搜索中心确定 搜索范围； [0008]根据所述搜索范围内的各个阈值对应的第二KL散度值， 从所述搜索范围内的阈值 中确定出目标阈值， 以作为模型量 化后的映射范围的最大值； [0009]根据所述目标阈值进行模型量 化。 [0010]在一个可能的实现方式 中， 所述从预设的阈值范围中确定 搜索中心， 包括： [0011]从预设的所述阈值范围内获取多个锚点； [0012]根据各个所述锚点对应的第一KL散度值， 从多个所述锚点中确定 搜索中心。 [0013]在另一个可能的实现方式 中， 所述从预设的所述阈值范围内获取多个锚点， 包括： [0014]按照预设步长， 从预设的所述阈值范围内获取多个锚点。 [0015]在另一个可能的实现方式中， 所述根据多个所述锚点的KL散度值， 从多个所述锚 点中确定 搜索中心， 包括： [0016]计算各个锚点对应的第一KL散度值； [0017]将多个所述第一KL散度值中的最小值对应的锚点确定为所述搜索中心。 [0018]在又一个可能的实现方式 中， 根据所述搜索中心确定 搜索范围， 包括： [0019]将与所述搜索中心相邻的锚点之间的阈值， 确定为所述搜索范围。 [0020]在又一个可能的实现方式中， 所述根据所述搜索范围内的各个阈值对应的第二KL 散度值， 从所述搜索范围内的阈值中确定出目标阈值， 以作为模型量化后的映射范围的最 大值， 包括： [0021]针对所述搜索范围内的阈值， 逐个 计算对应的第二KL散度值；说　明　书 1/8 页 3 CN 114201869 A 3