(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210468630.6 (22)申请日 2022.04.29 (71)申请人 上海芯翌智能科技有限公司 地址 200331 上海市普陀区古浪路40 6号1 层E176室 (72)发明人 陈悦孜　刘彪　陈新泽　季俊　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 骆苏华 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/54(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 目标类型识别方法及装置、 服务器、 计算机 可读存储介质 (57)摘要 本发明公开了一种目标类型识别方法及装 置、 服务器、 计算机可读 存储介质， 所述目标类型 识别方法包括： 获取待识别视频， 按照预设时间 间隔提取所述待识别视频中图像帧， 以作为第一 待识别图像； 使用检测跟踪算法对 所述第一待识 别图像进行计算， 以得到包含各个目标的第二待 识别图像； 将所述第二待识别图像输入目标检测 模型， 以得到包含关键目标的第二待识别图像； 将每一关键目标对应的所有第二待识别图像输 入目标分类模 型， 以得到各个第二待识别图像针 对多个目标类型的评分或标签； 根据包含同一关 键目标的所有第二待识别图像的评分或标签确 定该关键目标的目标类型。 使用上述技术方案能 够对待识别视频中的目标进行提取， 实现对关键 目标的精准分类 。 权利要求书2页 说明书11页 附图5页 CN 114882431 A 2022.08.09 CN 114882431 A 1.一种目标类型识别方法， 其特 征在于， 包括： 获取待识别视频， 按照预设时间间隔提取所述待识别视频中图像帧， 以作为第一待识 别图像； 使用检测跟踪算法对所述第 一待识别图像进行计算， 以得到包含各个目标的第 二待识 别图像， 每一目标对应多个第二待识别图像； 将所述第二待识别图像输入目标检测模型， 以得到包 含关键目标的第二待识别图像； 将每一关键目标对应的所有第 二待识别图像输入目标分类模型， 以得到各个第 二待识 别图像针对多个目标类型的评分或标签； 根据包含同一关键目标的所有第二待识别图像的评分或标签确定该关键目标的目标 类型。 2.根据权利要求1所述的目标类型识别方法， 其特征在于， 所述根据包含同一关键目标 的所有第二待识别图像的评分确定该关键目标的目标类型包括： 计算包含同一关键目标的所有第二待识别图像 针对每一目标类型的评分总和； 选取最高评分总和所指示的目标类型作为关键目标的目标类型。 3.根据权利要求1所述的目标类型识别方法， 其特征在于， 所述根据包含同一关键目标 的所有第二待识别图像的标签确定该关键目标的目标类型包括： 统计包含同一关键目标的所有第二待识别图像 针对各个目标类型的标签的数量； 选取数量最大的标签指示的目标类型为该关键目标的目标类型。 4.根据权利要求1所述的目标类型识别方法， 其特征在于， 所述根据包含同一目标的所 有第二待识别图像的评分或标签确定该目标的目标类型之后还 包括： 将第一真实结果存入第一训练集， 以及将第二真实结果存入第二训练集， 所述第一真 实结果包括多个目标及其对应的第二待识别图像， 所述第二真实结果包括多个关键目标、 包含多个关键目标的第二待识别图像以及多个关键目标的目标类型； 利用所述第 一训练集对所述目标检测模型进行训练， 以及利用所述第 二训练集对所述 目标分类模型进行训练。 5.根据权利要求1所述的目标类型识别方法， 其特征在于， 所述目标检测模型以及所述 目标分类模型是采用知识蒸馏进行训练的， 所述知识蒸馏包括离线蒸馏方式、 在线蒸馏方 式以及自蒸馏方式。 6.根据权利要求5所述的目标类型识别方法， 其特征在于， 采用所述知识蒸馏训练所述 目标检测模型以及所述目标分类模型包括： 获取所述目标检测模型的第 一教师网络及其针对第 三训练集的第 一计算结果， 以及所 述目标分类模型的第二教师网络及其针对第四训练集的第二计算结果， 所述第一教师网络 为预先训练得到的， 所述第二教师网络为预先训练得到的， 所述 目标检测模型 的层数低于 所述第一教师网络的层数， 所述目标分类模型的层数低于所述第二教师网络的层数； 将所述第一计算结果与所述目标检测模型针对所述第三训练集的第三计算结果的交 叉熵损作为第一软损失， 以及将所述第二计算结果与所述目标分类模型针对所述第四训练 集的第四计算结果的交叉熵损失作为第二软损失； 将第三真实结果与 所述第三计算结果的交叉熵损失作为第 一硬损失， 以及将第四真实 结果与所述第四计算结果的交叉熵损失作为第二硬损失， 所述第三真实结果位于所述第三权　利　要　求　书 1/2 页 2 CN 114882431 A 2训练集， 所述第四真实结果 位于所述第四训练集； 计算所述第一软损 失与所述第一硬损 失的加权之和， 以得到第一总损 失， 并利用所述 第一总损失在所述目标检测模型中进行反向传播； 计算所述第二软损 失与所述第二硬损 失的加权之和， 以得到第二总损 失， 并利用所述 第二总损失在所述目标检测模型中进行反向传播。 7.根据权利要求1所述的目标类型识别方法， 其特征在于， 所述待识别视频为实时视 频， 所述获取待识别视频包括： 从实时视频 数据库中获取 所述实时视频。 8.根据权利要求1所述的目标类型识别方法， 其特征在于， 所述将所述第 二待识别图像 输入所述目标分类模型之前还 包括： 对所述第二待识别图像进行 预处理， 以使各个第二待识别图像的尺寸 一致。 9.一种目标类型识别装置， 其特 征在于， 包括： 第一获取模块， 用于获取待识别视频， 按照预设时间间隔提取所述待识别视频中图像 帧， 以作为第一待识别图像； 第二获取模块， 用于使用检测跟踪算法对所述第一待识别图像进行计算， 以得到包含 各个目标的第二待识别图像， 每一目标对应多个第二待识别图像； 关键目标识别模块， 用于将所述第二待识别图像输入目标检测模型， 以得到包含关键 目标的第二待识别图像； 评价模块， 用于将每一关键目标对应的所有第二待识别图像输入目标分类模型， 以得 到各个第二待识别图像 针对多个目标类型的评分或标签； 分类模块， 用于根据包含同一关键目标的所有第 二待识别图像的评分或标签确定该关 键目标的目标类型。 10.一种服务器， 包括存储器和处理器， 所述存储器上存储有可在所述处理器上运行的 计算机程序， 其特征在于， 所述处理器运行所述计算机程序时执行权利要求1至8中任一项 所述目标类型识别方法的步骤。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机可读 存储介质为 非易失性存储介质或非瞬态存储介质， 所述计算机程序被处理器运行时执行权 利要求1至8中任一项所述目标类型识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114882431 A 3