(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111644476.5 (22)申请日 2021.12.2 9 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 陈浩　徐樱笑　杜春　彭双　 伍江江　李军　熊伟　吴烨　 杨岸然　马梦宇　贾庆仁　钟志农　 陈荦　景宁　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 代理人 段盼姣 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/269(2017.01)G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于非刚性双向配准网络的遥感影像自动 配准方法和装置 (57)摘要 本发明涉及基于非刚性双向配准网络的遥 感影像自动配准方法。 所述方法包括： 构建第一 多层运动流场预测网络， 将待配准的第一运动图 像和第一固定图像输入所述第一多层运动流场 预测网络， 得到第一预测图像， 以第一多层运动 流场预测网络输出的第一预测图像为第二运动 图像， 第一固定图像对应的相似固定图像为第二 固定图像输入预先构建的第二多层运动流场预 测网络， 输出转换图像， 本发明可 以实现配准可 逆性和几何一 致性。 权利要求书2页 说明书9页 附图2页 CN 114332181 A 2022.04.12 CN 114332181 A 1.一种基于非刚性双向配准网络的遥感影 像自动配准方法， 其特 征在于， 包括： 构建第一多层运动 流场预测网络， 将待配准的第 一运动图像和第 一固定图像输入所述 第一多层运动流场预测网络， 得到第一预测图像； 所述运动流场预测网络级联连接， 第一个 运动流场预测网络的输入为待配准的遥感影像的第一运动图像和 第一固定图像； 其他运动 流场预测网络的输入为第一固定图像和上一级运动流场预测网络 输出的预测图像； 以所述第一多层运动流场预测网络输出的第 一预测图像为第 二运动图像， 所述第 一固 定图像对应的相似固定图像为第二固定图像输入预先构建的第二多层运动流场预测网络， 输出转换图像； 其中， 所述第二多层运动流场预测网络中各个运动流场预测网络级 联连接， 所述第二固定图像与第一固定图像满足风格一致性， 以及与第一运动图像的像素位置一一 对应。 2.根据权利要求1所述的方法， 其特征在于， 所述运动流场预测网络包括： 相关层、 互匹 配层、 邻域相关层、 互匹配层、 解码层以及重采样层。 3.根据权利要求2所述的方法， 其特征在于， 所述构建第一多层运动流场预测网络， 将 待配准的第一运动图像和 第一固定图像输入所述第一多层运动流场预测网络， 得到第一预 测图像， 包括： 通过所述相关层， 计算所述第一 运动图像和第一固定图像之间的第一特 征相关图； 通过所述互匹配层、 邻域相关层和 互匹配层对所述特征相关图进行处理， 得到第二特 征图； 通过所述解码层对所述第二特 征图进行解码处 理， 得到预测流场； 通过所述重采样层对所述预测流场进行变化， 得到第一预测图像。 4.根据权利要求1所述的方法， 其特征在于， 所述第 二固定图像与所述相似固定图像满 足风格一 致性为： 其中， 表示相似固定图像。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 通过预先构建的损失函数， 根据所述损失函数训练所述由第 一多层运动 流场预测网络 和第二多层运动流场预测网络构成双向配准网络， 得到网络参数。 6.根据权利要求5所述的方法， 其特征在于， 所述损失函数包括： EPE损失、 IOU损失、 内 容特征损失以及归一 化互相关损失； 以第一多层运动流场预测网络为例， 所述EPE损失为： 其中， m表示图像的像素数， FA→B表示第一运动图像IA相对于第一固定图像IB的运动流 场； 所述IOU损失为：权　利　要　求　书 1/2 页 2 CN 114332181 A 2其中， LB表示第一固定图像IB对应的建筑物语义标签， T(LA)表示第一预测图像对应的 建筑物语义标签； 所述内容特 征损失为： 其中， Feat(T(IA))表示使用ImageNet上预先训练的VGG ‑16模型对 运动流场预测网络输 出的预测图像提取的内容特征， Feat(IB)表示使用ImageNet上预先训练的VGG ‑16模型对第 一固定图像IB提取的内容特 征； 所述归一 化互相关损失为： 其中， I和J为两个输入图像块， 和 分别为I和J在x位置上的局部均值， Ω表示 图像块中的全部像素。 7.一种基于非刚性双向配准网络的遥感影像自动配准装置， 其特征在于， 所述装置包 括： 第一单向配准模块， 用于构建第一多层运动流场预测网络， 将待配准的第一运动图像 和第一固定图像输入所述第一多层运动流场预测网络， 得到第一预测图像； 所述运动流场 预测网络级联连接， 第一个运动流场预测网络的输入为待配准的遥感影像的第一运动图像 和第一固定图像； 其他运动流场预测网络的输入为第一固定图像和上一级运动流场预测网 络输出的预测图像； 第二单向配准模块， 用于以所述第 一多层运动 流场预测网络输出的第 一预测图像为第 二运动图像， 所述第一固定图像对应的相似固定图像为第二固定图像输入 预先构建的第二 多层运动流场预测网络， 输出转换图像； 其中， 所述第二多层运动流场预测网络中各个运动 流场预测网络级联连接， 所述第二固定图像与第一固定图像满足风格一致性， 以及与第一 运动图像的像素位置一 一对应。权　利　要　求　书 2/2 页 3 CN 114332181 A 3