(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211053451.2 (22)申请日 2022.08.31 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 方杰民　王兴刚　刘文予　 (74)专利代理 机构 深圳市六加知识产权代理有 限公司 4 4372 专利代理师 向彬 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/766(2022.01) (54)发明名称 图像目标检测方法与装置 (57)摘要 本发明公开一种图像目标检测方法： 使用 Transformer网络作为骨干网络从图像提取多分 辨率特征图； 将多分辨率特征图输入到跨尺度注 意力的特征金字塔网络中； 在特征金字塔网络 中， 从输入的小分辨率特征开始， 利用跨尺度注 意力模块， 逐步往大分辨率进行特征的融合及重 组， 特征从小分辨率到大分辨率被累积融合； 通 过融合后的特征将被进一步送入后续处理及预 测模块， 进行检测框的回归和类别的预测， 基于 目标数据集训练上述跨尺度注意力的特征金字 塔网络直至收敛； 利用训练得到的跨尺度注意力 的特征金字塔网络对待检测图片进行检测框的 回归和类别的预测。 提升最终目标检测的性能。 本发明还提供了相应的图像目标检测装置 。 权利要求书2页 说明书4页 附图1页 CN 115331081 A 2022.11.11 CN 115331081 A 1.一种图像目标检测方法， 其特 征在于， 包括如下步骤： 步骤一： 使用Transformer网络作为骨干网络从图像提取多分辨 率特征图； 步骤二： 将步骤一中的多分辨 率特征图输入到跨尺度注意力的特 征金字塔网络中； 步骤三： 在特征金字塔网络中， 从步骤二中输入的小分辨率特征开始， 利用跨尺度注意 力模块， 逐步往大分辨 率进行特征的融合及重组， 特 征从小分辨 率到大分辨 率被累积融合； 步骤四： 通过步骤三融合后的特征将被进一步送入后续处理及预测模块， 进行检测框 的回归和类别的预测， 基于目标数据集训练上述跨尺度注意力的特征金字塔网络直至收 敛； 步骤五： 利用训练得到的跨尺度注意力的特征金字塔网络对待检测图片进行检测框的 回归和类别的预测。 2.如权利要求1所述的图像目标检测方法， 其特征在于， 所述步骤三中跨尺度注意力模 块通过以下步骤实现： (3.1)第n个层次的特征 和第(n+1)个层次的特征 先 被转换为1维的词元序列， 即 和 其中Hn,Wn分别为特 征Fn在高度和宽度两个维度的空间尺寸， C为特征的通道维度大小； Hn+1,Wn+1分别为特征Fn+1 在高度和宽度两个维度的空间尺寸； (3.2)将(3.1)中得到的两个特征序列映射到查询Query， 键Key和值Value三个空间， 得 到三个空间的特 征矩阵Q， K， V； (3.3)对(3.2)中得到的Q， K， V三个矩阵进行注意力机制的运 算。 3.如权利 要求2所述的图像目标检测方法， 其特征在于， Query矩阵通过对第n个层次的 特征Fn进行线性映射得到， 即： Q＝Fn×W， 其中W为线性映射的矩阵参数， 为映射后的Query矩阵。 4.如权利 要求2所述的图像目标检测方法， 其特征在于， Key矩阵和Value矩阵均 通过直 接级联Fn和Fn+1两组特征得到， 即 K＝V＝[Fn， Fn+1]， 其中[·]表示级联操作， K， 表示得到 的Key矩阵和Value矩 阵。 5.如权利 要求2所述的图像目标检测方法， 其特征在于， 所述步骤(3.3)将Query矩阵和 Key矩阵相乘得到注意力响应图， 响应图被进一 步作用于Value矩阵以得到新的to ken序列。 6.如权利 要求1或2所述的图像目标检测方法， 其特征在于， 在所述步骤(3.3)中， 第n个 层次的token序列Fn最终将以残差连接的形 式被再次加到新token序列上， 整个过程被表示 为Fattn＝softmax( QKT)V+Fn， 其中， Fattn为得到的输出特征矩阵， KT为key矩阵K的转置， softmax为归一 化指数函数。 7.如权利要求1或2所述的图像目标检测方法， 其特征在于， 跨尺度注意力模块在局部 的各个特 征窗口内进行运 算。 8.如权利要求7 所述的图像目标检测方法， 其特 征在于， 窗口尺寸 根据具体需求制定 。 9.如权利要求1或2所述的图像目标检测方法， 其特征在于， 在所述步骤一中权　利　要　求　书 1/2 页 2 CN 115331081 A 2Transformer网络为Sw in‑Transformer。 10.一种图像目标检测装置， 其特 征在于： 包括至少一个处理器和存储器， 所述至少一个处理器和存储器之间通过数据总线连 接， 所述存储器存储能被所述至少一个处理器执行 的指令， 所述指令在被所述处理器执行 后， 用于完成权利要求1 ‑9中任一项所述的图像目标检测方法。权　利　要　求　书 2/2 页 3 CN 115331081 A 3