(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210980432.8 (22)申请日 2022.08.16 (71)申请人 盐城工学院 地址 224051 江苏省盐城市希望大道中路1 号 (72)发明人 王如刚　林庆耀　郭乃宏　李苏　 周锋　 (74)专利代理 机构 南京业腾知识产权代理事务 所(特殊普通 合伙) 32321 专利代理师 周姗姗 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合注意力和多尺度双金字塔的小目 标检测算法 (57)摘要 本发明公开了一种融合注意力和多尺度双 金字塔的小目标检测算法， 包括通浅层特征增强 模块对提取的小目标的特征图进行处理， 扩大浅 特征层的感受野， 针对小目标丰富特征层中的语 义信息， 提升浅层特征的表达能力； 在多尺度融 合模块中， 将处理过后的浅特征层与深特征层进 行融合， 将语义信息和位置信息融合到一起获得 具有丰富信息的特征图； 其次， 使用级联式双金 字塔结构从深层到浅层逐级传递， 使不同特征层 之间的上下文信息能够得到有效传递， 特征信息 得到进一步加强； 混合注意力机制能够在网络中 保留更多的上下文信息， 适应性的调整相加融合 之后的特征图， 减少背景干扰； 有效提高了小目 标的检测性能。 权利要求书2页 说明书6页 附图4页 CN 115311524 A 2022.11.08 CN 115311524 A 1.一种融合注意力和多尺度双金字塔的小目标检测算法， 其特 征在于， 包括如下步骤： S1、 通浅层特征增强模块对提取的小目标的特征图进行处理， 扩大浅特征层的感受野， 并针对小目标丰富特 征层中的语义信息， 提升 浅特征层的表达能力； S2、 将处理过后的浅特征层与深特征层进行多尺度融合， 将浅特征层中的细节信息和 深特征层中的语义信息融合成具有丰富信息的特 征图； S3、 使用级联式双金字塔结构在深特征层到浅特征层之间建立特征传输通道， 确保不 同特征层之间的上 下文信息进行有效传递； S4、 通过混合注意力机制对融合后的特 征图进行处 理， 增强待检测目标的特 征响应。 2.根据权利要求1所述的一种融合注意力 机制和多尺度双金字塔特征增强的小目标检 测算法， 其特征在于： 在步骤S1中， 浅层特征增强模块包括特征增强部分和连接部分， 其中， 所述特征增强部分用于将特征图进行L2标准化， 并进行三个并联的膨胀卷积； 所述连接部 分通过Concatenate堆叠操作， 保留不同膨胀卷积层中的特征信息； 之后使用分别具有Relu 激活函数和Sigmoid激活函数的3 ×3卷积对特征图的大小和通道数进行调整并扩大感受 野； 加入BN层加快收敛， 并与原 始输入的特 征图进行 逐元素相乘。 3.根据权利要求2所述的一种融合注意力 机制和多尺度双金字塔特征增强的小目标检 测算法， 其特征在于： 三个并联的膨胀卷积的膨胀率分别为1、 2、 3， 其中， 通过膨胀率为1和 膨胀率为2的膨胀卷积提取出小目标的空间和位置信息， 通过膨胀率为3的膨胀卷积给小目 标提供上下文信息 。 4.根据权利要求1所述的一种融合注意力 机制和多尺度双金字塔特征增强的小目标检 测算法， 其特征在于： 在步骤S2中， 在进行多尺度融合过程中， 选择三个不同深度不同尺度 的特征层进行融合： Xf＝φ{T1(X1),T2(X2),T3(X3)}。 其中， X1,X2,X3表示主干网络VGG16特征提取网络中需要进行特征融合的特征层； T1,T2, T3代表特征层在融合之前需要进行的变换， 将需要融合的不同尺度的特征层转变到相同尺 度之后进行堆叠融合； 下标f代表的是特征融合函数， 采取的是堆叠(Concatenate)操作； Xf 代表的是经过融合操作之后获得的融合特 征。 5.根据权利要求4所述的一种融合注意力 机制和多尺度双金字塔特征增强的小目标检 测算法， 其特征在于： 在步骤S3中， 在进行级联式双金字塔结构处理之前， 对提取出的深层 特征进行增强： 并行 的提取不同尺度的深特征层中的上下文信息， 与深特征层中的语义信 息进行融合； 其中， 将多尺度融合模块中产生的三个融合特征与增强过的深层特征作为进行级联式 双金字塔结构处 理的输入。 6.根据权利要求5所述的一种融合注意力 机制和多尺度双金字塔特征增强的小目标检 测算法， 其特征在于： 在步骤S 3中， 同时在中间相同特征层之间增加了一条能直接连接到输 出的通道丰富了特 征信息。 7.根据权利要求1所述的一种融合注意力 机制和多尺度双金字塔特征增强的小目标检 测算法， 其特征在于： 在步骤S4中， 混合注意力机制 包括通道注意力模块、 空间注意力模块 和位置注意力模块； 通道注意力模块和空间注意力模块并联融合输出， 组成改进的CBAM注 意力机制模块， 并将它作为 位置注意力模块的输入。 8.根据权利要求7所述的一种融合注意力 机制和多尺度双金字塔特征增强的小目标检权　利　要　求　书 1/2 页 2 CN 115311524 A 2测算法， 其特征在于： 在通道注意力模块中， 首先对Ni分别添加全局最大池化和全局平均池 化操作获得Ni1和Ni2： 其中Gmaxpool()为全局最大池化函数， Gavgpool()为全局平均池化函数， Ni是指经过双金字塔机构增强模块之后的特征层； 再把 所获得的特征信息送入具有Relu激活函数的全连接层， 并利用Sigmoid激活函数为它们生 成权重： CAN(Ni)＝φ(FC(Ni1),FC(Ni2))， 其中， CAN()为通道注意力函 数， φ()为Sigmoid激 活函数， FC()为全连接和Relu激活层； 最后 将特征图Ni与获得的权重CAN(Ni)进行逐元素相 乘， 最终得到通道 注意力特 征图Ei： 在空间注意力模块中， 将Ni并行进行最大池化和平均池化的处理得到Ni3和Ni4： 再将获得的特征信息连接在一起， 通过一次通道数为1的卷积来调 整通道数， Sigmoid激 活函数获得输入特征层每一个特征点的权值， 最后将 特征图Ei与获得 的权重进行逐元素相乘， 最终得到空间注意力特征图Si： 其中， Cat()为连接函数， 为逐元素相乘。 在位置注意力模块中， 将位置注意力模块和空间注意力模块得到的特征图进行逐元素 相加生成特征图Di， 再经过三次并行的带有Relu激活函数的1 ×1卷积生成Di1、 Di2、 Di3Di3三 个特征图； 将特征图Di1进行Reshape操作和Tran spose操作转换 成N×C的矩阵 将特征图 Di2进行Transpose操作换成C ×N矩阵 其中N＝W ×H； 然后将矩阵 和矩阵 进行矩阵 乘的运算得到相关矩阵R： 其中， Conv()为带有Relu激活层的1 ×1卷积 函数， Tran()为Transpo se转置函数， Re()为Reshape函数； 将相关矩阵R进行 Reshape操作， 将R转换成特征图RR， 对RR进行平均池化和Sigmoid激活操作获得注意力矩阵A， 将注意力矩 阵A和特征图Di3进行逐元素相乘之后再与特征图Di逐元素相加， 获得含有检测目标位置信 息的特征图Pi： 其中， 为逐元素相加。权　利　要　求　书 2/2 页 3 CN 115311524 A 3