(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211078264.X (22)申请日 2022.09.05 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 熊炫睿　徐稳　张宇樊　方海领　 林为琴　陈怡　 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/25(2022.01) G06V 10/52(2022.01) (54)发明名称 一种融合特征转移与注意力机制的YOLOV4 遥感目标检测方法 (57)摘要 本发明涉及一种融合特征转移与注意力机 制的YOLOV4遥感目标检测方法， 包括： 通过 Mosaic数据增强方法预处理遥感图像 数据； 构建 融合特征转移与注意力机制的YOLOV4遥感目标 检测模型； 将所述的遥感数据输入到所述的模型 进行训练； 获取待检测的遥感图像， 将遥感图像 预处理至统一大小； 将处理后的遥感图像输入到 训练好的目标检测模型进行检测， 输出检测结果 即待检测图像中遥感目标的边界框位置以及目 标类别。 本发明通过改进YOLOV4， 融合特征转移 与注意力机制， 在不明显增加模 型参数量的前提 下可显著提升 检测精度。 权利要求书4页 说明书7页 附图3页 CN 115497005 A 2022.12.20 CN 115497005 A 1.一种融合特征转移与注意力机制的YOLOV4遥感目标检测方法， 其特征在于： 该方法 包括以下步骤： S1)， 通过Mosaic数据增强方法对遥感数据集进行处 理， 丰富遥感目标信息； S2)， 构建融合特 征转移和注意力机制的YOLOV4遥感目标检测模型； S3)， 将所述处 理得到的遥感图像数据集输入到上述模型进行训练； S4)， 预处 理待检测遥感图像， 将遥感图像的尺寸统一到同一大小； S5)， 将处理后的遥感图像输入到训练好的目标检测模型进行检测， 输出检测结果即待 检测图像中遥感目标的边界框位置以及目标类别。 2.根据权力要求1所述的融合特征转移与注意力机制的YOLOV4遥感目标检测方法， 其 特征在于： 所述 步骤S1中， 具体包括： 步骤S11)读取训练用遥感图像， 将得到的图像转换为RGB图像， 同时调整图像到统一大 小。 需要将图像尺寸统一到 32整数倍大小， 如416X416 。 步骤S12)对上述图像进行随机翻转， 图像色域进行随机变换， 同时根据前面处理结果 调整训练图像真实边界框 到相应位置 。 步骤S13)通过Mosaic方法处理训练用遥感图像， 即随机选取四张图像进行分割， 对分 割后的图像进行重新组合。 3.根据权力要求1所述的融合特征转移与注意力机制的YOLOV4遥感目标检测方法， 其 特征在于： 所述的步骤S2中， 包括了目标检测网络的搭建， 涉及到特征提取网络的构建， 并 行注意力模块的构建以及语义增强的PANet和特 征转移模块的构建， 具体步骤如下： 步骤S21)本发明遥感目标检测网络特征提取网络选用CSPDarkNet53,该网络通过堆叠 跨级连接的残差网络实现， 具有更强大的特征提取能力。 CSPDarkNet53的基本结构为跨级 残差块CPSX以及CBM， 跨级残差块分为两个部分， 其中所述的第一个部 分直接进 行残差块堆 叠得到， 所述的第二个部分作为残差边， 经 过卷积运算处理后与所述第一个部分进行堆叠 。 步骤S22)所述的并行注意力机制由两个部分构成， 第一个部分是改进的高效通道注意 力机制模块。 在卷积神经网中， 每个特征图都具有偏重特性， 不同的通道可以捕获不同的特 征， 对于卷积神经网络而言， 不同通道层次的特征图对于具体任务的贡献率也不同， 而通道 注意力机制可以衡量不同通道的重要性。 本发明所述的注意力机制根据以下计算步骤， 输 出最终的注意力加权特 征图： (1)， 分别通过全局平均池化以及全局最大池化得到两组关于通道的特征值， 将得到的 两组特征值输入自适应一维卷积继而分别能进一 步得到两组注意力权值。 X1＝Conv1d(GAP(X) ) X2＝Conv1d(GMP(X) ) X为输入的特征图， GAP与GMP分别表示全局平局池化和全局最大池化， Conv1d表示自适 应一维卷积， 其卷积核个数k由以下公式确定： C指输入特 征图通道个数， |t|odd表示距离t最近的奇数， 而b和γ分别取2和1。 (2)， 将上述得到的特 征图进行 逐像素相加， 得到特 征权值Xs。权　利　要　求　书 1/4 页 2 CN 115497005 A 2(3)， 用sigmo id激活函数激活得到的特 征值， 将各 特征归一化至0到1之间。 (4)， 得到通道注意力注意力权重后， 通过对应权重大小对输入特征图通道进行重新加 权， 得到最后注意力加权的特 征图Xo。 所述的并行注意力机制的第二个部分是空间注意力部分， 对于输入的特征图， 在二维 空间层次上， 各特征点对于特征表达的贡献度也不相同， 空间注意力机制可以捕获二维空 间上不同像素点的重要性。 本发明的空间注意力计算 步骤包括以下几个部分： (1)， 通过分别 对输入特征图X的二维空间对应的通道方向上求最大值和平均值可以分 别得到两个通道数为1的特 征图。 X1＝meanC(X) X2＝maxC(X) 其中的meanC和maxC分别表示对输入特 征图求通道方向平均值和最大值。 (2)， 将得到的两组特 征图进行堆叠得到特 征图Xc。 Xc＝cat(X1,X2) 其中cat表示将特 征图按照通道方向堆叠操作。 (3)， 将上一 步得到的特 征图输入到一个3X3大小的卷积核做卷积运 算， 得到特 征图Xc′。 Xc′＝Conv2d3X3(Xc) (4)， 将上述步骤得到的空间特征权值进行概率化， 通过softmax函数生成空间注意力 特征权值， 其各 特征点Xi′j计算方式为： 其中的Xij表示输入特 征Xc′空间上的各个特 征点。 (5)， 在得到空间注意力特征权重后， 用对应的空间注意力特征权值对输入特征图进行 空间特征加权， 各 特征点组合得到加权后的特 征Xos。 所述的并行注意力特 征图Xout由上述两个部分的注意特 征图逐像素相加得到 。 步骤S23)所述的语义信息增强的PANet的构建步骤如下： (1)， 将上述处理过的遥感图像输入到主干网络， 在主干 网络最终3个有效特征层上， 特 征图分别下采样至 输入特征的1/8， 1/16， 1/ 32。 记特征图分别为O1， O2， O3 。 (2)， 将所述的O3经过上采样， 同时经过5次卷积处理后与O2按通道方向拼接得到O2 ′。 将O2′同样经过上采样以及5次卷积后与O1通道方向融合得到O1 ′。 (3)， 将1得到的O3经过上采样后， 通过CBLGS模块得到特征值。 所述的CGLBS模块分别包 括为1X1卷积， 批量归一化， LeakyRelu激活函数， 全局平均池化以及Sigmoid激活函数。 将得 到的特征值与O2 ′相乘后再进行 逐像素相加得到O2 ″， 依照同样的方式可以得到O1 ″。权　利　要　求　书 2/4 页 3 CN 115497005 A 3