(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210377198.X (22)申请日 2022.04.11 (71)申请人 北京三快在线科技有限公司 地址 100080 北京市海淀区北四环西路9号 2106-030 (72)发明人 田值　王笑鸣　初祥祥　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 谢冬寒 (51)Int.Cl. G06T 7/60(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06F 16/58(2019.01) G06F 16/532(2019.01) (54)发明名称 图像标注、 获取图像标注模型的方法、 装置 及设备 (57)摘要 本申请公开了图像标注、 获取图像标注模 型 的方法、 装置及设备， 属于图像处理技术领域。 方 法包括： 获取第一图像， 第一图像中存在至少一 个待标注的目标对象； 获取第一图像的多个尺寸 的特征图， 多个尺寸的特征图中的各个尺寸的特 征图包括多个第一特征向量； 从多个尺寸的特征 图的第一特征向量中选择满足筛选条件的第一 特征向量， 得到至少一个目标对象对应的第一特 征向量； 获取至少一个目标对象对应的第一特征 向量之间的相关性数据， 基于相关性数据标注至 少一个目标对象中的各个目标对象。 通过选择满 足筛选条件的第一特征向量， 控制了标注目标对 象时的计算量， 提高了标注效率。 基于第一特征 向量之间的相关性数据标注目标对象， 提高了标 注的准确率。 权利要求书3页 说明书17页 附图6页 CN 114782514 A 2022.07.22 CN 114782514 A 1.一种图像标注的方法， 其特 征在于， 所述方法包括： 获取第一图像， 所述第一图像中存在至少一个待标注的目标对象； 获取所述第 一图像的多个尺寸的特征图， 所述多个尺寸的特征图中的各个尺寸的特征 图包括多个第一特 征向量； 从所述多个尺寸的特征图的第 一特征向量中选择满足筛选条件的第 一特征向量， 得到 至少一个目标对象对应的第一特 征向量； 获取所述至少一个目标对象对应的第 一特征向量之间的相关性数据， 基于所述相关性 数据标注所述至少一个目标对象中的各个目标对象。 2.根据权利要求1所述的方法， 其特征在于， 所述从所述多个尺寸的特征图的第 一特征 向量中选择满足筛 选条件的第一特 征向量， 包括： 获取所述各个尺寸的特征图的关联评分， 所述关联评分用于反应特征图中的多个第 一 特征向量与所述至少一个目标对象的关联度； 基于所述各个尺寸的特征图的关联评分从所述多个尺寸的特征图的第一特征向量中 选择满足所述筛 选条件的第一特 征向量。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述各个尺寸的特征图的关联评 分从所述多个尺寸的特征图的第一特征向量中选择满足所述筛选条件的第一特征向量， 包 括： 基于所述多个尺寸的特征图的第 一特征向量的数量确定第 一数量， 将所述多个尺寸的 特征图的第一特征向量按照关联度顺序排列， 选择排列在所述第一数量之前的第一特征向 量作为满足所述筛 选条件的第一特 征向量。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述相关性数据标注所述至少一 个目标对象中的各个目标对象， 包括： 基于所述相关性数据预测所述目标对象对应各个 类别的概 率； 基于所述目标对象对应各个 类别的概 率标注所述目标对象的类别。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述相关性数据标注所述至少一 个目标对象中的各个目标对象， 包括： 映射所述相关性数据得到所述目标对象的四维向量， 基于所述 四维向量标注所述目标 对象的位置 。 6.根据权利要求1 ‑5任一所述的方法， 其特 征在于， 所述方法还 包括： 获取所述第一图像对应的图像标注模型， 所述图像标注模型包括特征提取模块、 筛选 模块与自注意力模块； 所述获取 所述第一图像的多个尺寸的特 征图， 包括： 调用所述特 征提取模块获取 所述第一图像的多个尺寸的特 征图； 所述从所述多个尺寸的特征图的第 一特征向量中选择满足筛选条件的第 一特征向量， 包括： 调用所述筛选模块从所述多个尺寸的特征图的第一特征向量中选择满足所述筛选条 件的第一特 征向量； 所述获取所述至少一个目标对象对应的第 一特征向量之间的相关性数据， 基于所述相 关性数据标注所述至少一个目标对象中的各个目标对象， 包括：权　利　要　求　书 1/3 页 2 CN 114782514 A 2调用所述自注意力模块获取所述至少一个目标对象对应的第一特征向量之间的相关 性数据， 基于所述相关性数据标注所述至少一个目标对象中的各个目标对象。 7.根据权利要求6所述的方法， 其特征在于， 所述特征提取模块包括多层特征提取子模 块， 不同层的特征提取子模块输出 的特征图的尺寸不同， 上一层特征提取子模块输出 的特 征图为下一层特 征提取子模块络的输入。 8.一种获取图像标注模型的方法， 其特 征在于， 所述方法包括： 获取用于训练的第二图像， 所述第二图像中存在至少一个训练对象； 获取初始图像标注模型， 所述初始图像标注模型包括初始特征提取模块， 初始筛选模 块与初始自注意力模块； 调用所述初始特征提取模块获取所述第 二图像的多个尺寸的样本特征图， 所述多个尺 寸的样本特 征图中的各个尺寸的样本特 征图包括多个第二特 征向量； 调用所述初始筛选模块从所述多个尺寸的样本特征图的第二特征向量中选择满足初 始筛选条件的第二特 征向量， 得到 至少一个训练对象对应的第二特 征向量； 调用所述初始自注意力模块获取所述至少一个训练对象对应的第二特征向量之间的 相关性样本数据， 基于所述相关性样本数据标注所述至少一个训练对象中的各个训练对 象， 得到标注结果； 获取所述至少一个训练对象中的各个训练对象的标注信 息， 基于所述标注结果与 所述 标注信息更新所述初始图像标注模型， 得到图像标注模型。 9.一种图像标注的装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取第一图像， 所述第一图像中存在至少一个待标注的目标对象； 所述获取模块， 还用于获取所述第一图像的多个尺寸的特征图， 所述多个尺寸的特征 图中的各个尺寸的特 征图包括多个第一特 征向量； 选择模块， 用于从所述多个尺寸的特征图的第 一特征向量中选择满足筛选条件的第 一 特征向量， 得到 至少一个目标对象对应的第一特 征向量； 标注模块， 用于获取所述至少一个目标对象对应的第一特征向量之间的相关性数据， 基于所述相关性数据标注所述至少一个目标对象中的各个目标对象。 10.一种获取图像标注模型的装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取用于训练的第二图像， 所述第二图像中存在至少一个训练对象； 所述获取模块， 还用于获取初始图像标注模型， 所述初始图像标注模型包括初始特征 提取模块， 初始筛 选模块与初始自注意力模块； 所述获取模块， 还用于调用所述初始特征提取模块获取所述第 二图像的多个尺寸的样 本特征图， 所述多个尺寸的样本特征图中的各个尺寸的样本特征图包括多个第二特征向 量； 选择模块， 用于调用所述初始筛选模块从所述多个尺寸的样本特征图的第 二特征向量 中选择满足初始筛 选条件的第二特 征向量， 得到 至少一个训练对象对应的第二特 征向量； 标注模块， 用于调用所述初始自注意力模块获取所述至少一个训练对象对应的第 二特 征向量之 间的相关性样本数据， 基于所述相关性样本数据标注所述至少一个训练对象中的 各个训练对象， 得到标注结果； 更新模块， 用于获取所述至少一个训练对象中的各个训练对象的标注信息， 基于所述权　利　要　求　书 2/3 页 3 CN 114782514 A 3