(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111622073.0 (22)申请日 2021.12.28 (71)申请人 中国兵器科 学研究院 地址 100089 北京市海淀区车道沟十号院 中国兵器科 学研究院 (72)发明人 刘冰　百晓　李军　李俊杰　陈科　 薛姬荣　江金寿　田建辉　王晓悦　 安辰　周雷　王晨　张亮　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 代理人 孙小明 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种物体分类方法、 装置、 设备及 介质 (57)摘要 本申请实施例提供了一种物体 分类方法、 装 置、 设备及介质， 电子设备根据第一模型确定待 分类图像中每个检测框对应的特征向量和分类 向量， 构建每个特征向量对应的节点， 并确定节 点图， 根据节 点图中每个节点对应的目标预设类 别， 以及保存的知识图谱数据库中每个知识图谱 中包含的分类， 确定了节点图中每两个节点连接 的边为该两个节点对应的目标预设类别在同一 知识图谱中出现的目标次数， 第二模 型根据每个 节点图和待分类图像， 确定每个物体的目标类 别， 可以很大程度的减少常识性错误， 提高了物 体分类的准确度。 权利要求书3页 说明书16页 附图3页 CN 114332614 A 2022.04.12 CN 114332614 A 1.一种物体分类方法， 其特 征在于， 所述方法包括： 将预先标注有每个检测框的待分类图像输入到预先保存的第 一模型中， 获取所述第 一 模型输出的每个检测框对应的分类向量和特征向量， 其中所述分类向量中的每一 维对应的 数值为对应检测框中包 含的物体 被分类为该维对应的预设类别的概 率； 针对每个检测框， 获取该检测框对应的分类向量中设定数量的目标预设类别； 构建该 检测框的特 征向量对应的节点， 并对应该节点保存所述目标 预设类别； 将每个节点对应的任一目标预设类别进行组合， 确定每个类别组合对应的节点图， 该 节点图中任意两个节点相互连接， 其中， 针对该节点图中任意两个连接的节点， 根据该两个 节点在该类别组合中对应的目标预设类别， 及保存的知识图谱数据库中每两个预设类别同 时出现的次数， 确定该类别组合对应的目标预设类别对应的目标次数， 并针对该两个节点 连接的边保存所述目标次数； 根据每个所述节点图、 所述待分类图像及预先保存的第二模型， 确定每个检测框包含 的物体对应的目标类别。 2.根据权利要求1所述的方法， 其特征在于， 所述将预先标注有每个检测框的待分类图 像输入到第一模型中， 获取所述第一模型输出的每个检测框对应的分类向量和特征向量包 括： 所述第一模型针对每个检测框， 确定该检测框对应的特征向量； 根据 所述特征向量， 以 及预先配置的每个类别， 确定该检测框中包含的物体被分类为每个预设类别的概率， 根据 预先规定的每个预设类别与向量 维度的对应关系， 输出该检测框对应的分类向量及特征向 量。 3.根据权利要求1所述的方法， 其特征在于， 所述获取该检测框对应的分类向量中设定 数量的目标 预设类别包括： 将所述分类向量中的每一维对应的数值按照从大到小的顺序进行排序， 选择排序在前 的预设数量个目标 数值， 将每 个目标数值对应的预设 分类确定为所述目标 预设类别。 4.根据权利要求1所述的方法， 其特征在于， 所述根据每个所述节点图、 所述待分类图 像及预先保存的第二模型， 确定每 个检测框包 含的物体对应的目标类别包括： 所述第二模型根据输入的待分类图像中每个检测框的位置信 息， 确定任意两个检测框 在所述待分类图像中的空间距离， 并确定所述空间距离对应的距离矩阵； 针对每个节点图 中针对任意两个节点连接的边保存目标次数， 确定所述 目标次数对应的关系矩阵； 根据该 节点图中每个节点对应的特征向量， 确定该节点图对应的第一特征矩阵； 针对该节点图中 每个节点对应的特征向量， 根据所述关系矩阵、 所述距离矩阵 以及特征矩阵， 对 所述特征向 量进行更新； 根据更新后的特征向量， 以及预先配置的每个类别， 确定该更新后的特征向量 对应的检测框中包含的物体被分类为每个预设类别的概率， 将概率最大值对应的类别确定 为该更新后的特征向量对应的类别； 针对该节点图中任意两个连接的节点， 根据该两个节 点对应的类别， 及保存的知识图谱数据库中每两个预设类别同时出现的次数， 确定该两个 节点对应类别的关系概率， 根据该节点图中每两个连接节点对应的关系概率， 及预设第一 函数， 确定该节点图对应的损失值； 将损失值最小的节点图中每个节点对应的类别确定为 每个检测框包 含的物体对应的目标类别。 5.根据权利要求4所述的方法， 其特征在于， 所述针对该节点图中每个节点对应的特征权　利　要　求　书 1/3 页 2 CN 114332614 A 2向量， 根据所述关系矩阵、 所述距离矩阵以及特 征矩阵， 对所述特 征向量进行 更新包括： 针对该节点图中每个节点， 进行预设次数的更新， 其中每次更新过程包括： 确定所述特 征矩阵、 预设的参数以及该节点与该节点图中其他每个节点的所述关系矩阵和所述距离矩 阵的乘积的和值， 并根据所述和值以及第二预设函数， 确定该节点更新后的特征向量； 根据 该节点中每个节点更新后的特征向量， 对所述特征矩阵进行更新， 根据更新后的特征矩阵 进行下次特征向量的更新， 直至 达到预设次数。 6.根据权利要求4所述的方法， 其特征在于， 所述根据该两个节点对应的类别， 及保存 的知识图谱数据库中每两个预设类别同时出现的次数， 确定该两个节点对应类别的关系概 率包括： 针对该节点图中任意两个连接的节点， 获取任一节点对应的类别与 所述知识图谱数据 库中其他每个类别同时出现的次数； 根据每个次数及该两个节点在所述知识图谱数据库中 同时出现的次数， 确定该两个节点对应 类别的关系概 率。 7.一种物体分类装置， 其特 征在于， 所述装置包括： 分类模块， 用于将预先标注有每个检测框的待分类图像输入到预先保存的第一模型 中， 获取所述第一模型输出 的每个检测框对应的分类向量和特征向量， 其中所述分类向量 中的每一维对应的数值 为对应检测框中包 含的物体 被分类为该维对应的预设类别的概 率； 处理模块， 用于针对每个检测框， 获取该检测框对应的分类向量中设定数量的目标预 设类别； 构建该检测框的特征向量对应的节点， 并对应该节 点保存所述目标预设类别； 将 每 个节点对应的任一 目标预设类别进行组合， 确定每个类别组合对应的节点图， 该节点图中 任意两个节点相互连接， 其中， 针对该节点图中任意两个连接的节 点， 根据该两个节点在该 类别组合中对应的目标预设类别， 及保存的知识图谱数据库中每两个预设类别同时出现的 次数， 确定该类别组合对应的目标预设类别对应的目标次数， 并针对该两个节点连接的边 保存所述目标次数； 所述分类模块， 还用于根据每个所述节点图、 所述待分类图像及预先保存的第 二模型， 确定每个检测框包 含的物体对应的目标类别。 8.根据权利要求7所述的装置， 其特征在于， 所述分类模块， 具体用于所述第一模型针 对每个检测框， 确定该检测框对应的特征向量； 根据所述特征向量， 以及预先配置的每个类 别， 确定该检测框中包含的物体被分类为每个预设类别的概率， 根据预先规定的每个预设 类别与向量维度的对应关系， 输出 该检测框对应的分类向量及特 征向量。 9.根据权利要求7所述的装置， 其特征在于， 所述处理模块， 具体用于将所述分类向量 中的每一 维对应的数值按照从大到小的顺序进行排序， 选择排序在前的预设数量个目标数 值， 将每个目标数值对应的预设 分类确定为所述目标 预设类别。 10.根据权利要求7所述的装置， 其特征在于， 所述分类模块， 具体用于所述第 二模型根 据输入的待分类图像中每个检测框的位置信息， 确定任意两个检测框在所述待分类图像中 的空间距离， 并确定所述空间距离对应的距离矩阵； 针对每个节点图中针对任意两个节点 连接的边保存目标次数， 确定所述 目标次数对应的关系矩阵； 根据该节点图中每个节点对 应的特征向量， 确定该节点图对应的第一特征矩阵； 针对该节点图中每个节点对应的特征 向量， 根据所述关系矩阵、 所述距离矩阵以及特征矩阵， 对所述特征向量进行更新； 根据更 新后的特征向量， 以及预先配置的每个类别， 确定该更新后的特征向量对应的检测框中包权　利　要　求　书 2/3 页 3 CN 114332614 A 3