(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111635804.5 (22)申请日 2021.12.2 9 (71)申请人 阿波罗智能技 术 （北京） 有限公司 地址 100085 北京市海淀区上地十街10号1 幢1层105 (72)发明人 何宇喆　周尧　侯深化　彭亮　 万国伟　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 吴晓兵 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 模型训练方法、 电子设备及 自动驾驶车辆 (57)摘要 本公开提供了一种图像处理方法、 多任务处 理模型的训练方法、 装置、 电子设备、 存储介质以 及程序产品， 涉及自动驾驶技术领域， 尤其涉及 高精地图技术领域。 具体实现方案为： 对待处理 图像进行处理， 得到待处理图像的特征点、 特征 点描述子图和 稠密描述子图； 基于特征点和特征 点描述子图， 确定待处理图像与基准图像之间的 匹配特征点对； 以及基于稠密描述子图， 确定待 处理图像与基准图像之间的匹配 像素对。 权利要求书6页 说明书18页 附图9页 CN 114332509 A 2022.04.12 CN 114332509 A 1.一种图像处 理方法， 包括： 对待处理图像进行处理， 得到所述待处理图像的特征点、 特征点描述子 图和稠密描述 子图； 基于所述特征点和所述特征点描述子图， 确定所述待处理图像与基准图像之间的匹配 特征点对； 以及 基于所述稠密描述子图， 确定所述待处 理图像与所述基准图像之间的匹配 像素对。 2.根据权利要求1所述的方法， 其中， 所述对待处理图像进行处理， 得到所述待处理图 像的特征点、 特征点描述子图和稠密描述子图包括： 将所述待处理图像输入至多任务处理模型中， 得到所述待处理图像的特征点、 特征点 描述子图和稠密描述子图。 3.根据权利要求2所述的方法， 其中， 所述多任务处理模型包括特征点提取分支、 特征 点描述子图计算分支和稠密描述子图计算分支； 所述将待处理图像输入至多任务处理模型中， 得到所述待处理图像的特征点、 特征点 描述子图和稠密描述子图包括： 将所述待处 理图像输入至所述特 征点提取分支中， 得到所述特 征点； 将所述待处理图像输入至所述特征点描述子图计算分支中， 得到所述特征点描述子 图； 以及 将所述待处 理图像输入至所述稠密描述子图计算分支中， 得到所述稠密描述子 。 4.根据权利要求2或3所述的方法， 其中， 所述多任务处 理模型还 包括特征点分类分支； 所述方法还 包括： 将所述待处理图像输入至所述特征点分类分支中， 得到特征点类别结果， 以便基于所 述特征点、 所述特征点描述子图和所述特征点类别结果， 确定所述待处理图像与所述基准 图像之间的匹配特 征点对。 5.根据权利要求4所述的方法， 其中， 所述基于所述特征点和所述特征点描述子 图， 确 定所述待处 理图像与基准图像之间的匹配特 征点对包括： 基于所述特 征点类别结果， 对所述特 征点进行筛 选， 确定目标 特征点； 以及 基于所述目标特征点和所述特征点描述子图， 确定所述待处理图像与 所述基准图像之 间的匹配特 征点对。 6.根据权利要求4所述的方法， 其中， 所述基于所述目标特征点和所述特征点描述子 图， 确定所述待处 理图像与所述基准图像之间的匹配特 征点对包括： 基于所述目标特征点， 从所述特征点描述子图中提取与 所述目标特征点相匹配的特征 点描述子； 以及 基于所述目标特征点和与 所述目标特征点相匹配的特征点描述子， 利用特征点匹配方 法确定所述待处 理图像与所述基准图像之间的匹配特 征点对。 7.根据权利要求3所述的方法， 其中， 所述特征点提取分支包括多个特征点提取子分 支； 所述将所述待处 理图像输入至所述特 征点提取分支中， 得到所述特 征点包括： 将所述待处理图像分别输入至所述多个特征点提取子分支中， 得到多个特征点评分 图， 其中， 所述多个特 征点评分图与所述多个特 征点提取子分支一 一对应；权　利　要　求　书 1/6 页 2 CN 114332509 A 2将所述多个特 征点评分图进行加权求和， 得到目标 特征点评分图； 以及 对所述目标 特征点评分图进行插值处 理， 得到所述特 征点。 8.根据权利要求3所述的方法， 其中， 所述稠密描述子图包括高分辨率稠密描述子图和 低分辨率稠密描述子图； 所述稠密描述子图计算分支包括高分辨率稠密描述子图计算子分支和低分辨率稠密 描述子图计算子分支； 所述基于所述稠密描述子图， 确定所述待处理图像与 所述基准图像之间的匹配像素对 包括： 基于所述低分辨率稠密描述子图， 确定所述待处理图像与所述基准图像之间的匹配候 选像素对， 其中， 所述低分辨率稠密描述子图是利用所述低分辨率稠密描述子图计算子分 支处理所述待处 理图像得到的； 以及 基于所述高分辨率稠密描述子图， 从所述候选像素对中确定所述待处理图像与所述基 准图像之间的匹配像素对， 其中， 所述高分辨率稠密描述子图是利用所述高分辨率稠密描 述子图计算子分支处 理所述待处 理图像得到的。 9.根据权利要求3所述的方法， 其中， 所述特征点分类分支包括多个特征点分类子分 支、 融合模块、 分类器， 每个所述多个特征点分类子分支包括特征点分类提取模块、 编码器 和融合模块； 所述将所述待处 理图像输入至所述特 征点分类分支中， 得到特 征点类别结果包括： 将所述待处理图分别 输入至所述多个特征点分类提取模块中， 得到多个特征点类别特 征图， 其中， 所述多个特 征点类别特 征图与多个特 征点分类提取模块 一一对应； 针对所述多个特征点类别特征图中的每个特征点类别特征图， 将所述特征点类别特征 图输入至所述编 码器中， 得到多个编码后子特征点类别特征图， 其中， 所述多个编码后子特 征点类别特 征图与多个编码器一 一对应； 利用所述融合模块处理所述多个编码后子特征点类别特征图， 得到 融合后特征点类别 图； 以及 利用所述分类 器处理所述融合后特 征点类别图， 得到所述特 征类别结果。 10.根据权利要求8所述的方法， 其中， 所述高分辨率稠密描述子图计算子分支或低分 辨率稠密描述子图计算子分支包括： 级联的至少一个特 征提取模块、 全卷积模块； 其中， 所述特 征提取模块包括： 卷积层、 池化层、 或级联的卷积层和池化层； 其中， 所述全卷积模块包括级联的多个全卷积层。 11.根据权利要求7所述的方法， 其中， 所述多个特征点提取子分支中的至少一个特征 点提取子分支包括： 级联的至少一个特 征提取模块、 卷积层； 其中， 所述特 征提取模块包括： 卷积层、 池化层、 或级联的卷积层和池化层。 12.根据权利要求6所述的方法， 其中， 所述特征点描述子图计算分支包括： 级联的至少 一个特征提取模块和卷积层； 其中， 所述特 征提取模块包括： 卷积层、 池化层、 或级联的卷积层和池化层。 13.根据权利要求1至12中任一项所述的方法， 还 包括： 将所述基准图像输入至所述多任务处理模型中， 得到基准特征点、 基准特征点描述子 图和基准稠密 描述子图， 以便基于所述特征点、 所述特征点描述子图、 所述基准特征点和所权　利　要　求　书 2/6 页 3 CN 114332509 A 3