(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111605385.0 (22)申请日 2021.12.25 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 毛佳丽　陈波扬　朱磊光　刘建强　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种提高嵌入式设备运行机器学习模型的 速度的方法 (57)摘要 本申请公开了一种提高嵌入式设备运行机 器学习模型的速度的方法， 该方法包括： 获取训 练完成的机器学习模型； 基于机器学习模型生成 在嵌入式设备中运行对应的运行模 型， 运行模型 包括多个子运行模型； 获取每个子运行模型在嵌 入式设备中运行的运行耗时， 生成运行耗时列 表； 基于当前待处理数据的数量与运行耗时列表 制定当前运行模 型， 并将当前运行模 型发送至嵌 入式设备， 以使得嵌入式设备运行当前运行模 型， 当前运行模型包括子运行模型， 当前运行模 型的功能与机器学习模型的功能相同。 通过上述 方式， 本申请能够提高嵌入式设备运行机器学习 模型的速度。 权利要求书2页 说明书8页 附图5页 CN 114519432 A 2022.05.20 CN 114519432 A 1.一种提高嵌入式设备运行机器学习模型的速度的方法， 其特 征在于， 包括： 获取训练完成的机器学习模型； 基于所述机器学习模型生成在嵌入式设备中运行对应的运行模型， 所述运行模型包括 多个子运行模型； 获取每个所述子运行模型在所述嵌入式设备中运行的运行耗时， 生成运行耗时列表； 基于当前待处理数据的数量与所述运行耗 时列表制定当前运行模型， 并将所述当前运 行模型发送至所述嵌入式设备， 以使得所述嵌入式设备运行所述当前运行模型， 所述当前 运行模型包括所述子运行模型， 所述当前运行模型的功能与所述机器学习模型的功能相 同。 2.根据权利要求1所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 所述基于当前待处 理数据的数量与所述 运行耗时列表制定当前运行模型的步骤， 包括： 基于所述 运行耗时列表在所述多个子运行模型中筛 选出至少一个优选 子运行模型； 基于当前待处理数据的数量对所述至少一个优选子运行模型进行组合， 生成至少一个 待选运行模型； 将所有所述待选运行模型中总运行耗时最小的待选运行模型作为所述当前运行模型。 3.根据权利要求2所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 所述基于所述运行耗时列表在所述多个子运行模型中筛选出至少一个优选子运行模型 的步骤， 包括： 从所述多个子运行模型中选择一个子运行模型作为待选模型； 将所述待选模型依次与所述多个子运行模型中的其他子运行模型进行比较， 得到比较 结果； 基于所述比较结果， 生成所述优选 子运行模型。 4.根据权利要求3所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 每个所述子运行模型对应不同的维度， 所述方法还 包括： 如果所述待选模型的维度小于所述其他子运行模型的维度， 且所述待选模型的运行耗 时大于所述其他子运行模型 的运行耗时， 则在所述运行耗时列表中删除所述待选模型， 并 返回所述从所述多个子运行模型中选择一个子运行模型作为待选模型的步骤， 直至对所述 多个子运行模型遍历完毕， 生成中间运行耗时列表。 5.根据权利要求4所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 所述比较结果包含最终运行耗时列表， 所述优选子运行模型为所述最终运行耗时列表 中包含的子运行模型； 所述方法还 包括： 在所述中间运行耗时列表中选择一个所述子运行模型作为 候选模型； 计算剩余模型的维度与所述候选模型的维度的比值， 得到维度比值， 所述剩余模型为 所述中间运行耗时列表中除所述 候选模型以外的子运行模型； 将所述候选模型的运行耗时与所述维度比值相乘， 得到乘积数值； 判断所述乘积数值是否小于所述剩余模型的运行耗时； 若是， 则在所述中间运行耗时列表中删除所述剩余模型， 并返回所述在所述中间运行 耗时列表中选择一个所述子运行模型作为所述候选模型的步骤， 直至对所述中间运行耗时 列表遍历完毕， 生成包 含至少一个所述子运行模型的所述 最终运行耗时列表。权　利　要　求　书 1/2 页 2 CN 114519432 A 26.根据权利要求5所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 所述方法还 包括： 判断所述维度比值是否大于预设数值； 若是， 则执 行所述判断所述乘积数值是否小于对应的子运行模型的运行耗时的步骤； 若否， 则返回所述在所述中间运行耗 时列表中选择一个所述子运行模型作为所述候选 模型的步骤。 7.根据权利要求2所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 所述方法还 包括： 所述待选运行模型包括至少一个所述优选子运行模型以及所述优选子运行模型的运 行次数， 所有 所述优选子运行模型的维度与对应的运行次数的乘积之和大于或等于所述当 前待处理数据的数量。 8.根据权利要求7所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 所述在所述至少一个待选运行模型中选择出总运行耗时最小的待选运行模型作为所述 当前运行模型的步骤之前， 包括： 计算所述待选运行模型中包含的所有所述优选子运行模型的运行耗时与对应的运行 次数的乘积之和， 得到所述待选运行模型的总运行耗时。 9.根据权利要求8所述的提高嵌入式设备运行机器学习模型的速度的方法， 其特征在 于， 所述方法还 包括： 将所述当前运行模型中包含的所有所述优选子运行模型打包， 生成压缩数据， 并将所 述压缩数据发送至所述嵌入式设备， 以使得所述嵌入式设备基于所述当前运行模型运行所 述优选子运行模型。 10.根据权利要求1所述的提高嵌入式设备运行机器学习 模型的速度的方法， 其特征在 于， 所述方法还 包括： 所述子运行模型的数量与 所述机器学习模型的维度相同， 所述多个子运行模型的维度 的最大值 等于所述机器学习模型的数量。 11.一种优化装置， 其特征在于， 包括互相连接的存储器和处理器， 其中， 所述存储器用 于存储计算机程序， 所述计算机程序在被所述处理器执行时， 用于实现权利要求1 ‑10中任 一项所述的提高嵌入式设备运行机器学习模型的速度的方法。 12.一种优化系统， 其特征在于， 包括相互连接的优化装置和嵌入式设备， 所述优化装 置为上述权利要求1 1所述的优化装置， 所述嵌入式设备用于运行当前运行模型。 13.一种计算机可读存储介质， 用于存储计算机程序， 其特征在于， 所述计算机程序在 被处理器执行时， 用于实现权利要求 1‑10中任一项 所述的提高嵌入式设备运行机器学习模 型的速度的方法。权　利　要　求　书 2/2 页 3 CN 114519432 A 3