(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210614648.2 (22)申请日 2022.06.01 (65)同一申请的已公布的文献号 申请公布号 CN 114708511 A (43)申请公布日 2022.07.05 (73)专利权人 成都信息工程大学 地址 610200 四川省成 都市西南 航空港经 济开发区学府路1段24 号 (72)发明人 符颖　王坤　文武　吴锡　周激流　 (74)专利代理 机构 成都智涌知识产权代理事务 所(普通合伙) 51313 专利代理师 蔡福林 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 111179217 A,2020.0 5.19 CN 110909642 A,2020.0 3.24 CN 112580664 A,2021.0 3.30 CN 114359709 A,202 2.04.15 CN 111754404 A,2020.10.09 CN 112215207 A,2021.01.12 CN 111311518 A,2020.0 6.19 CN 110046598 A,2019.07.23 Guokai Zhang;Weiz he Xu;Wei Zhao; Chenxi Huang;Ed die Ng Yk. “A Multiscale Attention Network for Remote Sensi ng Scene Ima ges Clas sificati on”. 《IEEE JOURNAL OF SELE CTED TOPICS I N APPLIED EARTH OBSERV ATIONS AND RE MOTE SENSI NG》 .2021, 晏美娟， 魏敏， 文武. “一种高分辨 率卫星图 像道路提取方法 ”. 《成都信息工程大学学报》 .2022, 审查员 郑巧 (54)发明名称 基于多尺度特征融合和特征增强的遥感图 像目标检测方法 (57)摘要 本发明涉及一种基于多尺度特征融合和特 征增强的遥感图像目标检测方法， 采用自适应多 尺度特征融合模块进行特征融合， 融合过程中同 时采用更多的横向连接， 增加相邻特征之间的交 流， 充分利用提取的多尺度特征， 丰富特征信息， 同时增加跳跃连接， 让原始特征参与融合过程， 提升网络的多尺度特征表达能力。 注 意力特征增 强模块中不同扩张率的多分支空洞卷积以获取 不同大小的感受野， 当遥感图像中存在不同大小 的物体时， 可 以同时提取不同尺度目标的特征， 提高网络对目标尺度的泛化能力， 并采用混合注 意力机制模块， 弱化背景和噪声信息的同时增强 目标的特 征信息。 权利要求书2页 说明书9页 附图4页 CN 114708511 B 2022.08.16 CN 114708511 B 1.基于多尺度特征融合和特征增强的遥感图像目标检测方法， 其特征在于， 所述方法 通过自适应多尺度特征融合模块， 对不同分辨率的特征实现自上而下特征融合的同时， 还 采用横向连接， 增加相 邻特征之 间的交流， 然后通过注意力特征增强模块， 结合多分支空洞 卷积与注意力机制， 提高网络对目标尺度的泛化能力的同时增强有效特征信息， 提高目标 检测的能力， 具体如下： 步骤1： 提取输入遥感图像特征， 主干网络采用ResNet网络， 将遥感图像输入所述主干 网络， 通过多组卷积、 池化的操作， 在ResNet网络的最后四层输出得到不同分辨率的多尺度 特征图组{C1,C2,C3,C4}； 步骤2： 特征通道数调整， 将所述多尺度特征图组{ C1,C2,C3,C4}分别进行一次1x1的卷积 操作， 将所述多尺度特征图的通道数调整到与最浅层特征图 C1一致， 得到特征图组{ P1,P2, P3,P4}； 步骤3： 采用所述自适应多尺度特征融合模块对步骤2得到的特征图组{P1,P2,P3,P4}进 行特征融合， 包括第一自上而下融合阶段、 自下而上融合阶段、 第二自上而下融合阶段， 具 体为： 步骤31： 第一自上而下融合阶段， 在融合过程中引入横向连接， 逐级融合， 从最深层特 征图P4开始， 通过将 P4上采样之后与 P3融合得到 ，P3上采样之后与 融合得到 ，P2上采 样之后与 融合得到 ， 完成第一次向前传播； 再将 上采样之后与 融合得到 ， 将 上采样之后与 融合得到 ， 完成第二次向前传播； 最后将 上采样之后与 融合得 到 ， 完成第三次向前传播， 最终得到特 征图组 ； 步骤32： 自下而上融合阶段， 通过将步骤31得到的特征图组从最浅层特征 开始， 将 两倍下采样之后与 和 融合得到 ， 再将 两倍下采样之后与 和 融合得到 ， 最后将 两倍下采样之后与P4融合得到 ， 最终得到特 征图组 ； 步骤33： 第二自上而 下融合阶段， 将步骤32得到的特征图组， 从最深层特征 开始依次 上采样逐层相加， 得到尺寸 为P/4的高分辨 率第一特 征图Pout； 步骤4： 将步骤33得到的所述第一特征图 Pout输入到所述注意力特征增强模块进行特征 增强， 所述注意力特征增强模块包括多分支空洞卷积模块和混合注意力机制模块， 所述多 分支空洞卷积模块的各个分支设置有不同的扩张率， 将所述第一特征图 Pout经过不同扩张 率卷积后的特 征融合到一 起得到第二特 征图F1； 步骤5： 将所述第二特征图 F1输入到所述混合注意力机制模块抑制背景和噪声， 所述混 合注意力机制模块包括通道域注意力模块和空间域注意力模块， 所述第二特征图 F1经过所 述通道域注意力模块和所述空间域注意力模块的处 理后得到第三特 征图Fout； 步骤6： 通过分类和回归得到最后的检测结果， 将步骤5输出的第三特征图 Fout经过三个 3x3的卷积分支后得到中心 点预测结果、 中心 点偏移预测结果和目标宽高预测结果， 通过融 合三个预测结果得到最终的预测结果。 2.如权利要求1所述的基于多尺度特征融合和特征增强的遥感图像目标检测方法， 其 特征在于， 所述混合注意力机制模块得到第三特 征图Fout的具体过程 为： 步骤51： 将步骤4得到的第二特征图 F1输入所述通道域注意力模块， 首先通过全局平均权　利　要　求　书 1/2 页 2 CN 114708511 B 2池化GAP把每个通道的所有特征值相加再取平均， 把二维特征图变成一个实数， 得到一个 Cx1x1的向量， C表 示通道数， 沿着通道维度同时使用全局平均池化GAP和全局最大池化GMP， 并分别将其送入2个全连接层训练学习， 得到2个一 维的通道权重序列， 将2组通道权重序列 相加再经过Sigmoid激活函数后映射到[0， 1]， 最终得到1组权重序列， 将其与所述第二特征 图F1进行特征加权得到中间特 征图 ， 完成通道域注意力操作； 步骤52： 将所述中间特征图 分别经过全局平均池化GAP和全局最大池化GMP得到2个 单通道的特征图， 将2个单通道特征图按照通道维度连接并进行一个卷积操作得到空间域 注意力特征图， 然后通过一个Sigmoid激活函数后映射到[0,1]， 即得到空间域注 意力权值， 将其与所述中间特 征图 相乘， 即可 得到最终的第三特 征图Fout。 3.如权利要求2所述的基于多尺度特征融合和特征增强的遥感图像目标检测方法， 其 特征在于， 步骤3中的特征融合模块还考虑到不同分辨率特征对融合后的特征贡献度会有 不同， 增加了可学习的权重系数， 实现自适应融合的效果， 从而改善了特征的比例不变性， 具体实现过程： 首先将待融合的多尺度特 征的分辨 率调整到一 致， 调整手段为： （1） 在第一自上而下阶段时， 将 深层特征通过最近邻插值法进行两倍上采样； （2） 在自下而上阶段时， 将浅层特征通过最大池化进行两倍下采样， 然后将调整后的特 征分别与它们对应的权重系数相乘后， 再逐元素相加， 最后经过Swish激活函数、 卷积和 批 归一化来融合特 征。权　利　要　求　书 2/2 页 3 CN 114708511 B 3