(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111421623.2 (22)申请日 2021.11.26 (71)申请人 中国科学院计算机网络信息中心 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 李峥　赵江华　王学志　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 代理人 邱晓锋 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 一种基于弱监督学习的遥感图像地物识别 与分类方法和装置 (57)摘要 本发明涉及一种基于弱监督学习的遥感图 像地物识别与分类方法和装置。 该方法包括： 读 取部分标注的多源遥感图像， 构建标注样本数据 集和未标注样本数据集； 建立标注训练集和标注 验证集； 建立教师模型和学生模型； 对教师模型 进行预训练； 根据训练完成的教师模 型得到未标 注数据的预测结果， 作为伪标签； 读取未标注样 本数据集和伪标签， 构建伪标注训练集； 输入标 注训练集、 标注验证集和伪标注训练集， 进行随 机数据增强， 对学生模型进行训练； 向训练完成 的学生模型输入 预测数据集， 得到地物识别与分 类的结果。 本发 明使用部分标注的多源遥感图像 建立机器学习模 型， 使用所建立的模 型对地物类 型进行识别， 能够显著提高地物要素识别和分类 的准确率。 权利要求书3页 说明书7页 附图1页 CN 114399686 A 2022.04.26 CN 114399686 A 1.一种基于弱监 督学习的遥感图像地物 识别与分类方法， 其特 征在于， 包括以下步骤： 1)读取部分标注的多源遥感图像， 构建标注样本数据集和未 标注样本数据集； 2)从标注样本数据集建立标注训练集和标注验证集； 3)建立教师模型和学生模型； 4)输入标注训练集和标注验证集， 对教师模型进行 预训练， 得到训练完成的教师模型； 5)向训练完成的教师模型输入未标注样本数据集， 得到未标注数据的预测结果， 作为 伪标签； 6)读取未标注样本数据集和伪标签， 构建伪标注训练集； 7)输入标注训练集、 标注验证集和伪标注训练集， 进行随机数据增强， 对学生模型进行 训练； 8)将学生模型作为 新的教师模型， 重复步骤5)到步骤7)； 9)向训练完成的学生模型输入预测数据集， 得到地物 识别与分类的结果。 2.根据权利要求1所述的方法， 其特征在于， 步骤1)所述多源遥感图像包括雷达遥感数 据和/或光学遥感数据； 所述雷达遥感数据包括合成孔径雷达获取的地面图像； 所述光学遥 感数据是光学传感器获取的地面图像， 包括全色、 可见光、 近红外、 短波红外、 热 红外中一个 或多个不同波长的光谱波段。 3.根据权利要求1所述的方法， 其特征在于， 步骤1)所述部分标注的多源遥感图像是多 张输入图像的集合， 每张图像X包括多个通道， 由对应于同一地理 区域范围的雷达遥感图像 X1和光学遥感图像X2的通道堆叠而成； 将其中的I1张输入图像A进行标注得到对应的标注图 像A’， 每张标注图像包括一个通道， 其中的每个像素值代表该像素所对应地理区域范围的 类别标签； 将输入图像A及 其对应的标注图像A ’作为标注样本数据集， 剩下的I2张输入图像 B， 作为未 标注样本数据集。 4.根据权利要求3所述的方法， 其特征在于， 步骤2)所述标注样本数据集中随机抽取nt 组图像设置为标注训练集， 剩下的I1‑nt组图像设置为标注验证集， 其中1<nt<I1， 标注训练 集和标注验证集中的图像不重复。 5.根据权利要求1所述的方法， 其特征在于， 步骤3)所述教师模型和学生模型是机器学 习模型， 其模型 结构相同或不同。 6.根据权利要求1所述的方法， 其特 征在于， 步骤4)包括： (1)从标注训练集中不重复地随机读取m组图像， 使用教师模型计算得到输出结果， 并 使用标注图像 计算目标函数值； (2)根据目标函数值， 更新模型参数； (3)重复上述步骤(1)到步骤(2)， 每次从标注训练集中不重复地随机读取m组图像， 计 算输出结果与目标函数值， 优化模型参数， 直到标注训练集中的全部图像完成一次训练； (4)读取标注验证集， 使用教师模型计算得到预测结果， 并使用标注图像计算评估指 标； (5)重复上述步骤(1)到步骤(4)， 读取标注训练集， 计算输出结果与目标函数值； 优化 模型参数； 读取标注验证集， 计算预测结果与评估指标， 直到满足终止条件。 所述终止条件 为以下至少之一： 模型评估指标达 到期望、 迭代次数 大于最大迭代次数。 7.根据权利要求6所述的方法， 其特征在于， 步骤4)所述目标函数定义为： 权　利　要　求　书 1/3 页 2 CN 114399686 A 2其中： m为一个训练批 次的样本数， L为训练损失函数， R为正则 化项， yi 为第i张输入图像对应的标注图像， 为模型对第i张输入图像的输出结果； 步骤4)所述评 估指标包括以下至少之一： 敏感度、 特异度、 精确度、 准确度、 交并比、 F1分值、 Dice系数、 Jaccard系数、 错 误率。 8.根据权利要求1所述的方法， 其特征在于， 步骤5)所述伪标签是训练完成的教师模型 对于未标注样本数据集I2中每张输入图像B的预测结果B ’， 预测结果B ’是输入图像B中每个 像素所属的类别标签， 或者是所属类别标签的置信度； 步骤6)所述伪标注训练集是I2组图 像的集合， 每组包括2张图像， 分别是输入图像B和伪标签B ’。 9.根据权利要求1所述的方法， 其特 征在于， 步骤7)包括： (1)将标注训练集和伪标注训练集 合并， 作为学生训练集。 (2)从学生训练集中不重 复地随机读取m ’组图像， 对这些图像进行随机数据增强后， 使 用学生模型计算得到 输出结果， 并使用标注图像和伪标签 计算目标函数值； (3)根据目标函数值， 更新模型参数； (4)重复上述步骤(2)到步骤(3)， 每次从学生训练集中不重复地随机读取m组图像， 计 算输出结果与目标函数值， 优化模型参数， 直到学生训练集中的全部图像完成一次训练。 (5)读取标注验证集， 使用学生模型计算得到预测结果， 并使用标注图像计算评估指 标； (6)重复上述步骤(2)到步骤(5)， 读取学生训练集， 计算输出结果与目标函数值； 优化 模型参数； 读取 标注验证集， 计算预测结果与评估指标， 直到满足 终止条件。 10.根据权利要求1所述的方法， 其特征在于， 步骤8)中如果学生模型的评估指标优于 教师模型， 则将学生模 型作为新的教师模 型， 重复步骤5)到步骤7)， 直到满足学生模 型的评 估指标达 到最大。 11.根据权利要求1所述的方法， 其特征在于， 步骤9所述地物识别与分类的结果是与 预 测数据集中每张图像一一对应的图像， 其宽度、 高度、 分辨率与输入图像相同， 每张图像包 括一个通道， 图像中的每个像素值代表该像素所对应地理区域范围的类别标签的预测结 果。 12.一种采用权利要求1～11中任一权利要求所述方法的基于弱监督学习的遥感图像 地物识别与分类装置， 其特 征在于， 包括： 样本数据集获取单元， 用于读取多源遥感图像， 使用雷达遥感数据、 光学遥感数据构建 样本数据集； 训练和验证数据建立单 元， 用于根据样本数据集建立训练数据集和验证数据集； 模型设置单 元， 用于建立教师模型和学生模型； 模型训练单元， 用于输入训练数据集和验证数据集， 对教师模型和学生模型进行训练， 得到训练完成的模型； 地物类型识别单元， 用于向训练完成的学生模型输入预测数据集， 得到地物类型的识 别结果。 13.一种电子装置， 其特征在于， 包括存储器和处理器， 所述存储器存储计算机程序， 所 述计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求1～11权　利　要　求　书 2/3 页 3 CN 114399686 A 3