(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210540240.5 (22)申请日 2022.05.18 (71)申请人 四川云从 天府人工智能科技有限公 司 地址 610000 四川省成 都市自由贸易试验 区成都天府新区煎茶街道菁蓉南三街 99号 (72)发明人 席云龙　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 李兴迪 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01)G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 模型训练方法、 系统及计算机存 储介质 (57)摘要 本申请提供一种模型训练方法、 装置及计算 机存储介质， 包括利用教师网络和学生网络分别 针对样本图像执行特征提取， 获取样本图像的教 师特征图和学生特征图； 根据样本图像的真值 框、 学生特征图， 确定学生特征图的蒸馏区域； 基 于蒸馏区域比对教师特征图和学生特征图， 确定 损失函数； 基于损失函数训练学生网络， 以获得 训练好的学生网络。 借此， 本申请可在大幅降低 系统计算 量的同时， 提高模型的训练效率。 权利要求书2页 说明书7页 附图2页 CN 114897160 A 2022.08.12 CN 114897160 A 1.一种模型训练方法， 包括： 利用教师网络和学生网络分别针对样本图像执行特征提取， 获取所述样本图像的教师 特征图和学生特 征图； 根据所述样本图像的真值框、 所述学生特 征图， 确定所述学生特 征图的蒸馏区域； 基于所述蒸馏区域比对所述教师特征图和所述学生特征图， 确定损 失函数， 并基于所 述损失函数训练所述学生网络， 以获得训练好的学生网络 。 2.根据权利要求1所述的模型训练方法， 其中， 所述利用教师网络和学生网络分别针对 样本图像执 行特征提取， 获取 所述样本图像的教师 特征图和学生特 征图， 包括： 利用所述教师网络， 基于预设维度针对所述样本 图像执行特征提取， 获取对应于所述 预设维度的所述教师 特征图； 利用所述学生网络， 基于所述预设维度针对所述样本 图像执行特征提取， 获取对应于 所述预设维度的所述学生特 征图； 其中， 所述预设维度包括8、 16、 32中的至少一个。 3.根据权利要求2所述的模型训练方法， 其中， 所述教师特征图的通道数量与 所述学生 特征图的通道数量 不相同， 且所述方法还 包括： 针对所述学生特征图的通道数执行适配处理， 以使所述学生特征图的通道数量与 所述 教师特征图的通道数量相适配。 4.根据权利要求3所述的模型训练方法， 其中， 所述方法还 包括： 利用预设卷积核针对所述学生特 征图的通道数 执行卷积处理； 所述预设卷积核尺寸 为1×1×C2×C1； 其中， 所述C2为所述学生特 征图的通道数量； 所述C1为所述教师 特征图的通道数量。 5.根据权利要求1所述的模型训练方法， 其中， 所述根据所述样本 图像的真值框、 所述 学生特征图， 确定所述学生特 征图的蒸馏区域， 包括： 根据所述样本 图像中的目标对象的真值框、 所述学生特征图中的各参考锚框， 计算所 述真值框相对于每一个参 考锚框之间的交并比， 获得每一个参 考锚框的交并比值； 根据每一个参考锚框的交并比值、 所述学生特征图的交并比阈值， 确定各参考锚框中 的至少一个候选锚框； 根据每一个候选锚框的并集， 确定所述学生特 征图的蒸馏区域。 6.根据权利要求5所述的模型训练方法， 其中， 所述学生特征图中的各参考锚框可通过 以下方式生成： 根据单位锚框设置参数， 在所述学生特征图的每一个网格单元中生成满足所述单位锚 框设置参数的各参 考锚框。 7.根据权利要求5所述的模型训练方法， 其中， 所述方法还 包括： 根据各参考锚框的交并比值中的最高值、 预设全局阈值， 确定所述学生特征图的交并 比阈值； 其中， 所述预设全局阈值可介于 0.2至0.5之间， 较佳为0.3 。 8.根据权利要求1所述的模型训练方法， 其中， 所述基于所述蒸馏区域比对所述教师特 征图和学生特 征图， 确定损失函数， 包括： 基于所述蒸馏区域比对所述教师 特征图和所述学生特 征图， 确定模仿损失子函数；权　利　要　求　书 1/2 页 2 CN 114897160 A 2根据所述样本 图像的真实标签、 所述学生网络针对所述样本 图像输出的预测标签， 确 定训练损失子函数； 基于所述模仿损失子函数和所述训练损失子函数， 确定所述损失函数。 9.根据权利要求8所述的模型训练方法， 其中， 所述基于所述蒸馏区域比对所述教师特 征图和所述学生特 征图， 确定模仿损失子函数， 包括： 根据所述蒸馏区域、 所述教师特征图、 所述学生特征图、 预设模仿损失换算公式， 确定 所述模仿损失子函数； 所述预设模仿损失换算公式表示 为： 其中， 所述Limitation表示所述模仿损失子函数， 所述teacheri表示所述教师网络针对所 述样本图像输出的第i个教师特征图； 所述studenti表示所述学生网络针对所述样本图像 输出的第i个学生特征图， 所述Maski为所述第i个学生特征图对应的蒸馏区域的特征掩膜； 所述h为所述第i个教师特征图或所述第i个学生特征图的高度值， 所述w为所述第i个教师 特征图或所述第i个学生特征图的宽度值； 所述fadap为针对所述第i个学生特征图的通道数 执行适配处 理。 10.根据权利要求9所述的模型训练方法， 其中， 所述基于所述模仿损失子函数和所述 训练损失子函数， 确定所述损失函数， 包括： 基于所述模仿损失子函数、 所述训练损失子函数、 预设损失函数换算公式， 确定所述损 失函数； 所述预设损失函数 换算公式表示 为： L＝Lgt+ εLimitation 其中， 所述L表示所述损失函数； 所述Lgt表示所述训练损失子函数； 所述ε为平衡参数； 所述Limitation表示所述模仿损失子函数。 11.根据权利要求1所述的模型训练方法， 其中， 所述基于所述损失函数训练所述学生 网络， 以获得训练好的学生网络， 包括： 基于所述损失函数优化更新所述学生网络的网络参数， 并返回执行所述利用教师网络 和学生网络分别针对样本图像执行特征提取 的步骤， 直至所述损失函数满足收敛条件， 以 完成所述学生网络的训练。 12.一种模型训练装置， 包括： 特征图生成模块， 用于利用教师网络和学生网络分别针对样本 图像执行特征提取， 获 取所述样本图像的教师 特征图和学生特 征图； 蒸馏区域分析模块， 用于根据 所述样本图像的真值框、 所述学生特征图， 确定所述学生 特征图的蒸馏区域； 训练模块， 用于基于所述蒸馏区域比对所述教师特征图和所述学生特征图， 确定损 失 函数， 并基于所述损失函数训练所述学生网络， 以获得训练好的学生网络 。 13.一种计算机存储介质， 其中， 所述计算机存储介质中存储有用于执行上述权利要求 1至11中任一项所述的方法中各步骤的各指令 。权　利　要　求　书 2/2 页 3 CN 114897160 A 3