(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111645457.4 (22)申请日 2021.12.2 9 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 (72)发明人 王晔　杨凯　丁平　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 代理人 李阳　刘芳 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/246(2017.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/44(2022.01) (54)发明名称 物体检测模型处理方法、 装置、 设备及存储 介质 (57)摘要 本申请提供一种物体检测模 型处理方法、 装 置、 设备及存储介质， 涉及数据处理领域。 该方法 包括： 获取待检测数据， 并将所述待检测数据输 入初始物体检测模型， 得到模型检测结果， 其中 待检测数据为视频； 基于视频流对 所述模型检测 结果进行难例挖掘， 得到难例数据； 将得到的所 述难例数据上传至服务器， 以使所述服务器在接 收到的所述难例数据的数量达到预设标准时， 根 据所述难例数据和基础数据创建数据集， 其中所 述基础数据为所述服务器预先获取的数据， 并采 用所述数据集进行模型训练， 得到训练好的物体 检测模型； 接收所述服务器发送的所述训练好的 物体检测模型。 本申请的方法， 增加了边缘设备 在检测物体时的准确性。 权利要求书3页 说明书14页 附图7页 CN 114299030 A 2022.04.08 CN 114299030 A 1.一种物体 检测模型处 理方法， 其特 征在于， 应用于边 缘设备， 包括： 获取待检测数据， 并将所述待检测数据输入初始物体检测模型， 得到模型检测结果， 其 中待检测数据为视频； 基于视频流对所述模型检测结果进行难例挖掘， 得到难例数据； 将得到的所述难例数据 上传至服务器， 以使所述服务器在接收到的所述难例数据的数 量达到预设标准时， 根据所述难例数据和基础数据创建数据集， 其中所述基础数据为所述 服务器预先获取的数据， 并采用所述数据集进行模型训练， 得到训练好的物体 检测模型； 接收所述 服务器发送的所述训练好的物体 检测模型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于视频流对所述模型检测结果进行 难例挖掘， 得到难例数据， 包括： 基于视频流提取所述模型检测结果的视频中各帧的检测框； 对所述模型检测结果中各帧进行目标追踪， 以对所述各帧的检测框添加标识， 得到追 踪结果； 对所述追踪结果进行难例挖掘， 得到所述难例数据。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述追踪结果进行难例挖掘， 得到 所述难例数据， 包括： 若检测到所述追踪结果中任一帧的前后第一预设数量的帧均含有相同标识对应的检 测框， 且所述任一帧不含有所述相同标识对应的检测框， 则将所述任一帧确定为待确定漏 检难例帧； 将所述待确定漏检难例帧前后第 二预设数量帧中的所有的检测框求并集， 得到待映射 检测框； 将所述待映射检测框映射至所述待确定漏检难例帧， 得到所述待确定漏检难例帧的漏 检难例候选区； 提取所述漏检难例候选区内图像的第一图像特 征点； 提取所述待确定漏检难例帧前后第三预设数量帧中各帧检测框内图像的图像特 征点； 将所述第一图像特征点与所述待确定漏检难例帧前后第三预设数量帧中所有帧检测 框内图像的图像特 征点做匹配， 确定多个第一匹配项； 若所述多个第 一匹配项的数量均 大于第四预设数量或大于第 一预设比例， 则根据 所述 第一图像特征点确定第一外接矩形， 其中所述第一外接矩形是所述第一图像特征点的外接 矩形； 将所述第一外接矩形对应的图像内容和所述第 一外接矩形的属性确定为漏检难例， 其 中所述外 接矩形的属性 为外接矩形内物体的类别。 4.根据权利要求2所述的方法， 其特征在于， 所述对所述追踪结果进行难例挖掘， 得到 所述难例数据， 包括： 若检测到所述追踪结果中任一帧含有任一标识对应的检测框， 且所述任一帧的前后第 五预设数量的帧均不含有 所述任一标识对应的检测框， 则将所述任一帧确定为待确定误检 难例帧； 将所述待确定误检难例帧中的所述检测框扩大 预设倍， 得到误检难例候选区； 将所述误检难例候选区映射至所述待确定误检难例帧的前后第六预设数量帧中， 得到权　利　要　求　书 1/3 页 2 CN 114299030 A 2多个对比区； 提取所述误检难例候选区内图像的第二图像特 征点； 提取所述待确定误检难例帧的前后第六预设数量帧中各帧的所述多个对比区内图像 的图像特 征点； 将所述第二图像特征点与所述待确定误检难例帧的第六预设数量帧中每帧的图像特 征点做匹配， 得到多个第二匹配项； 若所述多个第 二匹配项的数量均 大于第七预设数量或大于第 二预设比例， 则根据 所述 第二图像特征点确定第二外接矩形， 其中所述第二外接矩形是所述第二图像特征点的外接 矩形； 将所述第二外接矩形对应的图像内容和所述第 二外接矩形的属性确定为误检难例， 其 中所述外 接矩形的属性 为外接矩形内物体的类别。 5.一种物体 检测模型处 理方法， 其特 征在于， 应用于服 务器， 包括： 接收边缘设备发送的难例数据； 当接收到的所述难例数据的数量达到预设标准 时， 根据所述难例数据和基础数据创建 数据集， 其中所述基础数据为所述 服务器预先获取的数据； 采用所述数据集进行模型训练， 得到训练好的物体 检测模型； 将所述训练好的物体 检测模型发送至所述 边缘设备。 6.根据权利要求5所述的方法， 其特征在于， 所述当接收到的所述难例数据的数量达到 预设标准时， 根据所述难例数据和基础数据创建数据集， 包括： 当接收到的所述难例数据的数据量达到预设值， 或难例数据的数量与 所述基础数据的 数量的比例达到第三预设比例时， 将所述难例数据和所述基础数据混合后划分为训练集和 测试集， 其中所述训练集和所述测试集组成所述数据集。 7.根据权利要求6所述的方法， 其特征在于， 所述采用所述数据集进行模型训练， 得到 训练好的物体 检测模型， 包括： 基于所述训练集， 采用迁移学习和/或早停策略对初始物体检测模型进行训练， 得到待 验证的物体 检测模型； 基于所述测试集， 计算所述待验证的物体检测模型的性能指标， 若所述性能指标达到 预设标准则将所述待验证的物体 检测模型确定为训练好的模型。 8.根据权利要求5至7任一项所述的方法， 其特征在于， 所述采用所述数据集进行模型 训练， 得到训练好的物体 检测模型之后， 还 包括： 采用网络剪枝和/或量化技术将所述训练好的物体检测模型简化， 得到简化后的物体 检测模型； 相应地， 所述将所述训练好的物体 检测模型发送至所述 边缘设备， 还 包括： 将所述简化后的物体 检测模型发送至所述 边缘设备。 9.一种物体 检测模型处 理装置， 其特 征在于， 包括： 检测结果获得模块， 用于获取待检测数据， 并将所述待检测数据输入初始物体检测模 型， 得到模型检测结果， 其中待检测数据为视频； 难例数据获得模块， 用于基于视频流对所述模型检测结果进行难例挖掘， 得到难例数 据；权　利　要　求　书 2/3 页 3 CN 114299030 A 3