(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210477728.8 (22)申请日 2022.04.29 (71)申请人 河海大学 地址 210024 江苏省南京市 鼓楼区西康路1 号 (72)发明人 王鑫　段林　石爱业　李黎　 吕国芳　尹宇通　 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/46(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 20/10(2022.01) G06K 9/62(2022.01) (54)发明名称 基于自适应多尺度特征金字塔网络的遥感 图像语义分割方法 (57)摘要 本发明公开了一种基于自适应多尺度特征 金字塔网络的遥感图像语义分割方法。 首先， 以 ResNet50网络模型为基础， 设计了一个新型的用 于语义分割的深度卷积神经网络； 其次， 将高分 遥感图像输入网络中进行训练， 将ResNet 50与金 字塔网络组建成为编码器； 然后， 由编码器部分 的金字塔网络中的四组输出特征作为解码器的 四组输入， 并送入解码器部分； 接着， 在解码器部 分增加了可切换型空洞卷积和空洞空间卷积池 化金字塔； 最后， 对特征进行逐层的2倍上采样与 特征融合操作得到分割后的结果图。 权利要求书3页 说明书7页 附图1页 CN 114758134 A 2022.07.15 CN 114758134 A 1.基于自适应多尺度特征金字塔网络的遥感图像语义分割方法， 其特征在于， 所述方 法包括如下步骤： (1)构建多分类遥感图像数据集， 并制作相应的样本标注， 将每类遥感图像按比例划分 为训练集Trai n和测试集Test； (2)构建自适应多尺度特征金字塔网络， 使用遥感图像数据训练集对基于自适应多尺 度特征金字塔网络进行训练； (3)设定训练参数， 构建损失函数， 使用训练集对所构建的基于自适应多尺度 特征金字 塔网络进行训练， 更新网络参数， 直到参数 取值收敛： 收敛 条件为损失函数值 不再减小； (4)将测试集输入到训练好的网络中得到测试集的语义分割结果图。 2.根据权利要求1所述的基于自适应多尺度特征金字塔网络的遥感图像语义分割方 法， 步骤(1)种的划分训练集和 测试集的方法如下： (1.1)划分遥感图像语义分割数据集Image＝[Image1，…， Imagei，…， ImageN]， 并制作 相应的样本标签数据集Label＝[Label1，…， Labeli，…， LabelN]， 其中N表示遥感图像的总 样本数， Ima gei表示第i张遥感图像， Labeli表示第i张遥感图像所对应的标签； (1.2)将遥感图像数据集分为训练集和测试集， 针对数据集中的遥感图像， 从其中随机 抽取M张图像构建训练集， 剩余N ‑M张遥感图像构建测试集， 则在训练集中有： TrainImage＝ [TrainImage1，…， TrainImagei，…， TrainImageM]， TrainLabel＝[TrainLabel1，…， TrainLabeli，…， TrainLabelM]， 在测试集中有TestImage＝[TestImage1，…， TestImagei，…， TestImageN‑M]， TestLabel＝[TestLabel1，…， TestLabeli，…， TestLabelN‑M]。 其中， TrainImagei表示用于训练的第i张遥感图像， TrainLabeli表示用于训 练的第i张遥感图像所对应的标签， TestImagei表示用于测试的第i张遥感图像， TestLabeli 表示用于测试的第i张遥感图像所对应的标签。 3.根据权利要求1中所述的基于自适应多尺度 特征金字塔网络的遥感图像语义分割方 法， 其特征在于， 步骤(2)中的， 构建自适应多尺度特 征金字塔网络的方法如下： (2.1)首先搭建基于ResNet50的卷积神经网络， 并去掉其中的全连接层。 将ResNet50中 除第一阶段外各阶段末的卷积层输出作为金字塔网络的输入特征， 共四组分别设为C2、 C3、 C4、 C5； (2.2)将步骤(2.1)得到的四组特征C2、 C3、 C4、 C5送入金字塔网络。 经过金字塔网络的特 征融合， 分别得到不同尺寸大小的特 征图， 记为P2、 P3、 P4、 P5； 进一步地讲， 所述步骤(2.2)经过金字塔网络的特征融合， 分别得到不同尺寸大小的特 征图， 记为P2、 P3、 P4、 P5， 具体如下： (2.2.1)将特 征C5经过1×1卷积进行通道降维， 得到特 征P5， 具体为： P5＝ δ(G1×1conv(C5)) 其中δ(·)代表线性整流 函数， G1×1conv(·)代表1×1大小的卷积 操作。 (2.2.2)将特征P5进行2倍上采样， 并与经过1 ×1卷积降维后的特征C4进行融合， 得到特 征P4， 具体为： 其中 代表逐元素相加， Up2×(·)代表2倍上采样。 (2.2.3)将特征P4进行2倍上采样， 并与经过1 ×1卷积降维后的特征C3进行融合， 得到特权　利　要　求　书 1/3 页 2 CN 114758134 A 2征P3， 具体为： (2.2.4)将特征P3进行2倍上采样， 并与经过1 ×1卷积降维后的特征C2进行融合， 得到特 征P2， 具体为： (2.3)将步骤(2.2)得到的四组特 征P2、 P3、 P4、 P5作为编码器的输出， 传入解码器； (2.4)将特征P5送入解码器中的空洞空间卷积 池化金字塔部分以构建多尺度特征， 得到 特征U5， 具体为： 其中 代表特征在通道维度上进行堆叠， 代表空洞率为1的3 ×3卷积操作， 代表空洞率为3的3 ×3卷积操作， 代表空洞率为5的3 ×3卷积操作， G2×2pool (·)代表2×2大小的平均池化操作。 (2.5)将特 征P2、 P3、 P4分别传入可切换 型空洞卷积进行处 理； 进一步地讲， 所述步骤(2.5)将特征P2、 P3、 P4分别传入可切换型空洞卷积进行处理， 得 到四组处理后的特 征图， 分别记为P2″、 P3″、 P4″， 具体如下： (2.5.1)将特征P2进行全局平均池 化， 再通过1 ×1卷积， 接着与原特征进行融合， 得到 特 征P2′。 具体为： 其中GGAP(·)代表全局平均池化。 然后该特征进行可切换型空洞卷积进行处 理， 得到输出特征P2″。 具体为： α(P2′)＝ δ(G1×1conv(GGAP(P2′))) (2.5.2)将特征P3进行全局平均池 化， 再通过1 ×1卷积， 接着与原特征进行融合， 得到 特 征P3′。 具体为： 然后该特征进行可切换型空洞卷积进行处 理， 得到输出特征P3″。 具体为： (2.5.3)将特征P4进行全局平均池 化， 再通过1 ×1卷积， 接着与原特征进行融合， 得到 特 征P4′。 具体为： 然后该特征进行可切换型空洞卷积进行处 理， 得到输出特征P4″。 具体为： (2.6)将特征U5进行2倍上采样并与经过可切换型空洞卷积处理后的特征P4″进行融合，权　利　要　求　书 2/3 页 3 CN 114758134 A 3