(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210758316.1 (22)申请日 2022.06.29 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新区望江西 路666号 申请人 北京航空航天大 学 (72)发明人 鲁盈悦　刘祥龙　陶仁帅　王天博　 支洪平　吴子扬　刘聪　 (74)专利代理 机构 北京磐华捷成知识产权代理 有限公司 1 1851 专利代理师 谢栒 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 用于识别图像中目标对象 的方法、 装置和设 备 (57)摘要 本发明公开了用于识别图像中目标对象的 方法、 装置和设备， 方法包括： 获取待检测的图 像， 所述图像包含待识别的目标对象； 将所述图 像输入到 经训练的特征增强模型中， 以基于所存 储的与所述目标对象相关联的全局类别原型特 征来增强所述目标对象 的特征， 其中所述全局类 别原型特征在对所述特征增强模型进行训练期 间得到并存储； 以及根据经增强的目标对象 的特 征来识别所述图像中的目标对象。 本发明的方案 能够增强目标的表示特征， 根据增强后的表示特 征来识别目标， 有效地解决了因目标的表示特征 微弱而导致的目标检测任务性能下降的问题， 能 够更容易分辨出目标类别， 提升了机器模型的目 标检测性能。 权利要求书2页 说明书9页 附图2页 CN 115240135 A 2022.10.25 CN 115240135 A 1.一种用于识别图像中目标对象的方法， 其特 征在于， 所述方法包括： 获取待检测的图像， 所述图像包 含待识别的目标对象； 将所述图像输入到经训练的特征增强模型中， 以基于所存储的与所述目标对象相关联 的全局类别原型特征来增强所述目标对象的特征， 其中所述全局类别原型特征在对所述特 征增强模型进行训练期间得到并存 储； 以及 根据经增强的目标对象的特 征来识别所述图像中的目标对象。 2.如权利要求1所述的方法， 其特征在于， 其中所述将所述图像输入到经训练 的特征增 强模型中， 以基于所存储的与所述目标对象相关联的全局类别原型特征来增强所述目标对 象的特征， 包括： 对所述图像进行 特征提取， 得到所述图像的图像特 征图； 对所述图像特 征图进行目标检测， 得到包围所述目标对象的候选 框； 以及 将所述候选框映射到所述图像特 征图上， 得到所述 候选框特征； 以及 将所述候选框特征和与所述候选框对应的全局类别原型特征进行融合， 以增强所述目 标对象的特 征。 3.如权利要求2所述的方法， 其特征在于， 其中所述将所述候选框特征和与 所述候选框 对应的全局类别原型 特征进行融合， 以增强所述目标对象的特 征， 包括： 计算所述候选框特征与每个全局类别原型特征的相似度， 以确定与 所述候选框对应的 全局类别原型 特征。 4.如权利要求1所述的方法， 其特征在于， 所述待检测的图像是X光图像， 所述目标对象 是违禁品。 5.如权利要求1所述的方法， 其特征在于， 其中所述经训练 的特征增强模型包括目标检 测网络、 原型聚合网络和特 征融合网络， 其 通过以下步骤进行训练而得到： 获取包含目标对象的训练图像集， 对所述训练图像集中的各个对象进行 标注； 经由所述特征增强模型中的目标检测网络对所述训练图像集中每个训练图像进行特 征提取， 得到所述训练图像的图像特征图， 对所述图像特征图进 行目标检测和过滤， 得到包 围所述训练图像中的目标对象的候选 框； 经由所述特征增强模型中的原型聚合网络对所述图像特征图和所述候选框进行处理， 得到与所述候选框相对应的候选框特征和针对目标对 象所属类别的所述全局类别原型特 征， 所述全局类别原型特征被存储并用于在测试阶段基于所述全局类别原型特征来增强待 检测的图像中的待识别的目标对象的特 征； 经由所述特征增强模型中的特征融合网络对所述候选框特征和与所述候选框对应的 全局类别原型 特征进行融合， 以增强所述目标对象的特 征； 以及 基于所述全局类别原型特征计算损失， 并基于所述损失更新所述特征增强模型的参 数。 6.如权利要求5所述的方法， 其特征在于， 其中所述经由所述特征增强模型中的原型聚 合网络对所述图像特征图和所述候选框进 行处理， 得到与所述候选框相对应的候选框特征 和针对目标对象所属类别的全局类别原型 特征， 包括： 将所述候选框映射到所述图像特 征图上， 得到所述 候选框特征； 将所述候选框特征按照不同目标对象进行划分， 得到目标候选 框特征集合； 以及权　利　要　求　书 1/2 页 2 CN 115240135 A 2基于所述目标候选 框特征集合建立针对每 个目标对象的目标原型 特征； 基于所述目标原型 特征得到所述目标对象所属类别的类别概 率向量； 基于所述目标原型特征和所述类别概率向量计算针对所述目标对象所属类别的类别 原型特征； 以及 基于所述类别原型特征建立全局类别原型特征， 并在每次训练迭代中进行更新所述全 局类别原型 特征。 7.如权利要求5所述的方法， 其特征在于， 其中所述经由所述特征增强模型中的特征融 合网络对所述候选框特征和与所述候选框对应的全局类别原型特征进 行融合， 以增强所述 目标对象的特 征， 包括： 基于所述候选框特征对应的目标对象的类别标签来确定与所述候选框对应的全局类 别原型特征。 8.一种用于识别图像中目标对象的装置， 其特征在于， 所述装置包括存储器和处理器， 所述存储器上存储有由所述处理器运行的计算机程序， 所述计算机程序在被所述处理器运 行时， 使得所述处理器执行如权利要求1 ‑7中的任一项所述的用于识别图像中目标对象的 方法。 9.一种设备， 其特征在于， 所述设备包括图像采集装置和权利要求8所述的用于识别图 像中目标对象的装置， 其中所述图像采集装置用于采集待检测物品的图像以得到待检测的 图像， 所述用于识别图像中目标对象的装置用于对所述待检测的图像进 行处理以根据经增 强的目标对象的特 征来识别所述图像中的所述目标对象。 10.一种计算机可读介质， 其特征在于， 所述计算机可读介质上存储有计算机可执行指 令， 所述计算机可执行指 令在被执行时， 执行如权利要求 1‑7中的任一项 所述的用于识别图 像中目标对象的方法。权　利　要　求　书 2/2 页 3 CN 115240135 A 3