(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111680167.3 (22)申请日 2021.12.2 9 (71)申请人 广州极飞科技股份有限公司 地址 510000 广东省广州市天河区高普路 115号C座 (72)发明人 叶培楚　曾宪贤　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 宗广静 (51)Int.Cl. G06V 10/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/75(2022.01)G06V 10/774(2022.01) (54)发明名称 特征提取网络模 型的训练方法、 图像处理方 法及其装置 (57)摘要 本申请披露了一种特征提取网络模型的训 练方法、 图像处理方法及其装置， 涉及神经网络 技术领域。 该方法包括： 基于原始图像样本中的 预设区域， 生成M个训练集， 其中， 训练集包括基 于原始图像样本生成的第一样本图像和第二样 本图像， 第一样本图像和第二样 本图像存在变换 关系， 且第一样本图像和第二样 本图像中均包括 预设区域； 基于M个训练集， 自监督训练待训练网 络模型得到特征提取网络模型。 基于本申请训练 得到的特征提取网络模型， 不仅能够保证提取的 特征点的数量， 而且能够提高所提取的特征点的 鲁棒性。 尤其是针对具备重复纹理的图像， 本申 请训练得到的特征提取网络模型能够充分兼顾 特征点的数量和鲁棒 性。 权利要求书3页 说明书10页 附图5页 CN 114463549 A 2022.05.10 CN 114463549 A 1.一种特 征提取网络模型的训练方法， 其特 征在于， 包括： 基于原始图像样本中的预设区域， 生成M个训练集， 其中， 所述训练集包括基于所述原 始图像样本生成的第一样本图像和 第二样本图像， 所述第一样本图像和所述第二样本图像 存在变换关系， 且所述第一样本图像和所述第二样本图像中均包括所述预设区域； 基于所述M个训练集， 自监督训练待训练网络模型得到特征提取网络模型， 其中， 所述 特征提取网络模型用于基于待处 理图像集确定所述待处 理图像集对应的特 征点数据。 2.根据权利要求1所述的特征提取网络模型的训练方法， 其特征在于， 所述基于原始图 像样本中的预设区域， 生成M个训练集， 包括： 基于所述预设区域裁 剪所述原 始图像样本， 得到 M幅第一样本图像； 基于所述M幅第一样本图像， 确定所述M幅第一样本图像各自对应的第二样本图像； 基于所述M幅第 一样本图像和所述M幅第一样本图像各自对应的第二样本图像， 生成所 述M个训练集。 3.根据权利要求2所述的特征提取网络模型的训练方法， 其特征在于， 所述基于所述M 幅第一样本图像， 确定所述M幅第一样本图像各自对应的第二样本图像， 包括： 针对所述M幅第一样本图像中的每幅第一样本图像， 基于所述第一样本图像， 确定所述第一样本图像对应的待变换图像； 对所述待变换图像进行扰动形变操作， 得到变换图像； 确定所述待变换图像和所述变换图像之间的仿射变换 数据； 基于所述仿射变换数据对所述原始图像样本进行仿射变换操作和图像校正操作， 得到 所述第一样本图像对应的所述第二样本图像， 其中， 所述第二样本图像和所述第一样本图 像尺寸相同， 并且所述第二样本图像和所述第一样本图像之间的相对变换数据可基于所述 仿射变换 数据确定 。 4.根据权利要求1至3任一项所述的特征提取网络模型的训练方法， 其特征在于， 所述 待训练网络模型包括特 征提取器和描述器， 针对所述M个训练集中的每 个训练集， 所述特征提取器用于， 分别对所述训练集中的所述第 一样本图像和所述第 二样本图像 进行处理， 得到所述训练集中的所述第一样本图像对应的分数图数据、 方向图数据和尺度 图数据， 以及所述训练集中的所述第二样本图像对应的分数图数据、 方向图数据和尺度图 数据， 进而得到所述训练集对应的关键点数据； 所述描述器用于， 描述所述训练集对应的关键点数据， 生成包括关键点描述信息的特 征点数据。 5.根据权利要求1至3任一项所述的特征提取网络模型的训练方法， 其特征在于， 所述 原始图像样本包括具有重复纹理的图像样本， 所述具有重复纹理的图像样本包括 飞行器拍 摄的农田场景图像， 所述农田场景图像包括香蕉林图像、 小麦地图像和玉米地图像中的至 少一种图像。 6.一种图像处 理方法， 其特 征在于， 包括： 基于特征提取网络模型， 确定待处理图像集对应的特征点数据， 所述特征提取网络模 型基于上述权利要求1至 5任一项所述的方法训练得到； 基于所述待处理图像集对应的特征点数据， 生成所述待处理图像集对应的特征点匹配权　利　要　求　书 1/3 页 2 CN 114463549 A 2对数据。 7.根据权利要求6所述的图像处理方法， 其特征在于， 所述基于所述待处理图像集对应 的特征点数据， 生成所述待处 理图像集对应的特 征点匹配对数据， 包括： 基于所述待处理图像集对应的特征点数据和最近邻比例法， 生成所述特征点匹配对数 据。 8.根据权利要求6或7所述的图像处理方法， 其特征在于， 所述待处理图像集包括多幅 具有重复纹理的图像， 所述多幅具有重复纹理的图像包括同一架 次的飞行器拍摄的、 同一 航次的农田场景图像序列， 所述农田场景图像序列包括香蕉林图像序列、 小麦地图像序列 和玉米地图像序列中的至少一种图像序列。 9.一种飞行器的航向确定方法， 其特 征在于， 包括： 获取飞行器在飞行 过程中， 拍摄的遥感图像集； 确定所述遥感图像集对应的特征点匹配对数据， 其中， 所述遥感图像集对应的特征点 匹配对数据基于 权利要求6 至8任一项所述的图像处 理方法确定； 基于所述遥感图像集对应的特 征点匹配对数据， 确定所述飞行器的航向数据。 10.一种特 征提取网络模型的训练装置， 其特 征在于， 包括： 训练集生成模块， 用于基于原始图像样本中的预设区域， 生成M个训练集， 其中， 所述训 练集包括基于所述原始图像样本生成的第一样本图像和第二样本图像， 所述第一样本图像 和所述第二样本图像存在变换关系， 且所述第一样本图像和所述第二样本图像中均包括所 述预设区域； 训练模块， 用于基于所述M个训练集， 自监督训练待训练网络模型， 得到特征提取网络 模型， 所述特征提取网络模型用于基于待处理图像集确定所述待处理图像集对应的特征点 数据。 11.一种图像处 理装置， 其特 征在于， 包括： 确定模块， 用于基于特征提取网络模型， 确定待处理图像集对应的特征点数据， 所述特 征提取网络模型基于上述权利要求1至 5任一项所述的方法训练得到； 匹配对生成模块， 用于基于所述待处理图像集对应的特征点数据， 生成所述待处理图 像集对应的特 征点匹配对数据。 12.一种飞行器的航向确定装置， 其特 征在于， 包括： 获取模块， 用于获取飞行器在飞行 过程中， 拍摄的遥感图像集； 匹配对确定模块， 用于确定所述遥感图像集对应的特征点匹配对数据， 其中， 所述遥感 图像集对应的特 征点匹配对数据基于 权利要求6 至8任一项所述的图像处 理方法确定； 航向确定模块， 用于基于所述遥感图像集对应的特征点匹配对数据， 确定所述飞行器 的航向数据。 13.一种飞行器， 其特 征在于， 包括权利要求12所述的飞行器的航向确定装置 。 14.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有指令， 当所述指令由 电子设备 的处理器执行时， 使得所述电子设备能够执行上述权利要求1至10任一项所述的 方法。 15.一种电子设备， 其特 征在于， 包括： 处理器；权　利　要　求　书 2/3 页 3 CN 114463549 A 3