(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111627701.4 (22)申请日 2021.12.28 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 陈一祥　成行　姚帅　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 代理人 董建林 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于多尺度特征融合与增强的遥感影像建 筑物提取方法 (57)摘要 本发明公开了一种基于多尺度特征融合与 增强的遥感影像建筑物提取方法， 包括： 采集目 标区域的遥感影像并进行预处理， 将预处理后的 遥感影像输入预构建的建筑物提取模型中进行 建筑物提取； 其中， 建筑物提取模型的构建过程 包括： 采用编码 ‑解码结构构建深度学习网络模 型， 深度学习网络模型包括编码阶段和解码阶 段， 并且在编码阶段和解码阶段之间引入多尺度 特征融合模块和双通道池化加权模块； 本发明能 够提高建筑物语义分割的准确率的同时， 大大减 小了网络模型参数量， 提高了训练和识别的速 度； 进而提升建筑物提取模型的性能， 提升建筑 物提取的精度。 权利要求书3页 说明书7页 附图6页 CN 114387512 A 2022.04.22 CN 114387512 A 1.一种基于多尺度特 征融合与增强的遥感影 像建筑物提取 方法， 其特 征在于， 包括： 采集目标区域的遥感影像并进行预处理， 将预处理后的遥感影像输入预构建的建筑物 提取模型中进行建筑物提取； 其中， 所述建筑物提取模型的构建过程包括： 采集目标区域的遥感影像， 并人工标注遥感影像中建筑物区域得到对应的建筑物标 签； 将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、 验证样本以及测试样 本， 以构成样本数据集， 并对样本数据集进行 预处理； 采用编码 ‑解码结构构建深度学习 网络模型， 所述深度学习 网络模型包括编码 阶段和 解码阶段， 并且在编码阶段和解码阶段之 间引入多尺度特征融合模块和双通道池化加权模 块； 通过训练样本对 网络模型进行训练， 通过验证样本对训练后的网络模型进行验证及模 型选择； 将测试样本输入选择后的网络模型中， 根据模型输出的预测建筑物标签与真实建筑物 标签进行比较得到精度指标； 若精度指标满足预设要求， 则将选择后的网络模型作为建筑物提取模型。 2.根据权利要求1所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方 法， 其特征在于， 所述编码阶段包括： 采用DenseNet ‑45网络作为编码器从输入的样本数据中提取含有深层以及浅层语义特 征的特征图； 其中， 所述编码器包括5个串联的dense  block， 每个dense  block输出的特征图依次记 为C1、 C2、 C3、 C4、 C5， 所述特征图的尺寸分别为样本数据的1/2、 1/4、 1/8、 1/16、 1/ 32。 3.根据权利要求2所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方 法， 其特征在于， 所述多尺度特 征融合模块获取编码器末端dense  block输出的特 征图C5； 所述多尺度特征融合模块为四个分支并行结构； 其中， 前两个所述分支分别按照等差 和等比的规律来组合不同扩张率的空洞卷积来获取特征图C5的不同尺度特征； 后两个所述 分支分别使用平均池化和最大池化 来提取特征图C5的突出特征和平均特性； 四个所述分支末端均经过BN层和 Relu激活函数层来调整多尺度特征融合模块输出的 数据分布； 对四个所述分支的输出进 行通道拼接， 将拼接结果通过一个1*1的卷积层来融合 特征以及调整输出 特征图的数量， 从而输出 特征图C5′。 4.根据权利要求3所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方 法， 所述解码阶段包括： 获取特征图C1、 C2、 C3、 C4、 C5′， 通过上采样逐步将特征图恢复为样本数据的尺寸， 并通过 4个双通道池化加权模块辅助上采样； 所述4个双通道池化加权模块分别记为第一双通道池化加权模块、 第二双通道池化加 权模块、 第三双通道池化加权模块和第四双通道池化加权模块； 所述上采样过程如下： 将特征图C4和C5′分别作为第四双通道池化加权模块的两个输入， 将第四双通道池化加 权模块的输出进行2倍上采样， 得到特 征图P4；权　利　要　求　书 1/3 页 2 CN 114387512 A 2将特征图C3和P4分别作为第三双通道池化加权模块的两个输入， 将第三双通道池化加 权模块的输出进行2倍上采样， 得到特 征图P3； 将特征图C2和P3分别作为第二双通道池化加权模块的两个输入， 将第二双通道池化加 权模块的输出进行2倍上采样， 得到特 征图P2； 将特征图C1和P2分别作为第一双通道池化加权模块的两个输入， 将第一双通道池化加 权模块的输出进行2倍上采样， 得到特 征图P1； 将特征图P1进行2倍上采样的到样本 数据的尺寸的特征图P， 特征图P经过像素分类器输 出单通道特 征分割结果。 5.根据权利要求4所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方 法， 其特征在于， 所述双通道池化加权模块包括上分支和下分支； 所述上分支获取编码器输出的特征图， 并对特征图进行全局 平均池化操作 得到通道级 别的全局特 征； 对全局特征通过一次全连接操作、 ReLU激活函数激活、 二次全连接操作、 Sigmoid激活 函数激活， 学习通道之间的相互关系， 并计算出不同通道的权 重； 将得到的权 重与解码阶段 上采样输出的特 征图相乘获取增强特 征图； 对增强特 征图进行1*1卷积 操作实现通道之间的融合以及调整输出通道数量； 所述下分支获取编码器输出的特征图， 并对特征图进行局部最大池化和局部平均池化 操作得到通道级别的局部特 征； 将局部特征进行逐通道相加学习， 将学习到的权重通过1*1卷积操作进行融合以及调 整输出通道数； 将融合结果通过Sigmoid激活函数激活， 与解码阶段上采样输出的特征图相 乘来选择性的聚焦每 个像素点； 对上分支和下分支的输出进行逐通道相加并通过1*1卷积操作进行融合得到双通道池 化加权模块的输出。 6.根据权利要求1所述的一种基于多尺度特征融合与增强的遥感影像建筑物提取方 法， 其特征在于， 所述网络模型的训练过程包括优化函数和损失函数， 所述优化函数为 Adam， 学习 率为0.0001； 所述损失函数为交叉熵损失函数； 通过计算损失函数误差， 采用梯 度反向传播 算法不断优化调整网络 权值和偏置， 当损失函数误差收敛， 则训练完成。 7.一种基于多尺度特征融合与增强的遥感影像建筑物提取装置， 其特征在于， 所述提 取装置包括： 数据获取模块： 用于采集目标区域的遥感影 像并进行 预处理； 建筑物提取模块： 用于将预处理后的遥感影像输入预构建的建筑物提取模型中进行建 筑物提取； 其中， 所述建筑物提取模型的构建过程包括： 采集目标区域的遥感影像， 并人工标注遥感影像中建筑物区域得到对应的建筑物标 签； 将遥感影像和建筑物标签按照预设比例划分为独立的训练样本、 验证样本以及测试样 本， 以构成样本数据集， 并对样本数据集进行 预处理； 采用编码 ‑解码结构构建深度学习 网络模型， 所述深度学习 网络模型包括编码 阶段和 解码阶段， 并且在编码阶段和解码阶段之 间引入多尺度特征融合模块和双通道池化加权模权　利　要　求　书 2/3 页 3 CN 114387512 A 3