(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111634430.5 (22)申请日 2021.12.2 9 (71)申请人 广东工业大 学 地址 510062 广东省广州市越秀区东 风东 路729号 (72)发明人 杨益枘　林旭滨　何力　管贻生　 张宏　 (74)专利代理 机构 广东广信君达律师事务所 44329 专利代理师 江金城 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于同类图像 检索的图匹配方法 (57)摘要 本发明公开了一种用于同类图像检索的图 匹配方法， 主要包括离线数据集构建和在线深度 学习训练两个阶段： 阶段一包 括选取Pascal  VOC 数据集作为训练的数据集； 选取若干张带有注释 点且覆盖 数据集所有种类的图像作为训练集。 阶 段二包括： 采用预训练好的VGG ‑16神经网络作为 特征提取器； 每张图像经过全 连接的德劳内三角 剖分技术生成双向边的拓扑结构； 完成拓扑几何 信息的点特征嵌入之后， 以点 ‑边关联矩阵为基 础进行边的特征描述； 根据各自图的边特征描述 向量， 可以构建出边与边的相似度矩阵； 经过上 述步骤， 能够得到最终的点特征和， 然后计算点 ‑ 点匹配的相似度矩阵。 本方案还具有检索性能 高、 效率高、 容 易实施的优点。 权利要求书2页 说明书5页 附图2页 CN 114491122 A 2022.05.13 CN 114491122 A 1.一种用于同类图像检索的图匹配方法， 其特征在于， 该图匹配方法主要包括离线数 据集构建和在线深度学习训练这两个阶段， 具体步骤如下： 阶段一： 离线深度图像匹配的数据集构建； 步骤S1： 选取Pascal  VOC数据集作为训练的数据集； 步骤S2： 选取若干张带有注释点且覆盖数据集所有种类的图像作为训练集； 阶段二： 在线训练深度图匹配网络； 步骤S3： 采用预训练好的VGG ‑16神经网络作为特征提取器， 该神经网络的参数是预先 在ImageNet数据集上训练好； 步骤S4： 每张图像经 过全连接的德劳内三角剖分技 术生成双向边的拓扑 结构； 步骤S5： 完成拓扑几何信息的点特征嵌入之后， 以点 ‑边关联矩阵为基础进行边的特征 描述； 步骤S6： 根据各自图的边特 征描述向量， 可以构建出边与边的相似度矩阵Ke； 步骤S61： 图匹配的点 边配对关系可以构建成关联图模型； 步骤S62： 根据关联图的拓扑结构， 可以将边边相似度得分与点点相似度关联得到跨图 转换矩阵； 步骤S63： 以跨图分配矩阵作为先验信息， 进行跨图的点嵌入操作； 步骤S7： 经过上述步骤， 能够得到最终的点特征 和 然后计算点 ‑点匹配的相似度 矩阵。 2.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 所述步骤S3还 包括如下步骤： 待匹配的两幅图像经过特征提取器得到 和 其 中d是特征向量的维度， n1和n2分别是两幅图像特征点个数； F1和F2则是提取于VGG ‑16神经 网络第relu4_2和relu5_1层的输出然后拼接而成。 3.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 所述步骤S4还 包括如下步骤： 每一条边的属 性则由归一化后的两个端点坐标构成， 而边的连结信息则代 表了每张图的拓扑结构信息； 然后， 点特征信息和边属性信息输入到图神经网络SplineCNN 作为输入信息； 其中， SplineCNN作为几何拓扑信息嵌入技术， 在结构信息聚合中采用MAX聚 合； 最终得到嵌入了各自几何拓扑信息的点特 征 和 4.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 所述步骤S5还 包 括 如 下 步 骤 ：两 幅 图 的 点 ‑边 关 联 矩 阵 分 别 是 和 其中e1和e2分别表示两幅图的边的数量， 当Gi,k＝Hj,k＝1时， 表示边 k是从节点 i开始到节点j结束； 边的特 征 和 的定义如下： 5.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 所述步骤S6还 包括如下步骤： 边与边的相识度矩阵Ke： 权　利　要　求　书 1/2 页 2 CN 114491122 A 2其中， 是训练参数； Ke矩阵的每个元素代表了边与边的匹配信息， 为了扩 大边与边相似度值的差异， 即强调相似度高的值并压缩相似度低的值， 对Ke矩阵进行归一 化操作得到归一 化后的ε矩阵： ε＝softmax(Ke)           公式(3) 然后， 将归一 化后的ε矩阵通过伴随图的结构转 化成为跨边转换矩阵 基于跨图转换矩阵 我们可以得到跨图的特征嵌入信息； 对于节点 跨图特征信息mj→i的计算如下： 最终， 将跨图特 征信息和点特 征信息做向量加法操作： 对于第二幅图的特 征点也做类似的操作。 6.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 所述步骤S7还 包括如下步骤： 相似度矩阵公式如下： 对于图匹配问题的线性求解则是依赖于Sinkhorn迭代算法， 该算法是根据上述得到的 分数矩阵S依次进行沿着行和沿着列归一 化得到软分配矩阵 Pij＝Sinkhorn(exp(Sij))        公式(8)。 7.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 该图匹配方法 还包括步骤S8： 给定真值分配矩阵 和软分配矩阵P， 误差可以通过构建 交叉熵损失函数获得： 8.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 所述步骤S1还 包括如下步骤： 该数据集包含若干个不同类别的图像： 飞机， 自行车， 鸟， 船， 瓶子， 公交车， 汽车， 猫， 椅子， 牛， 桌子， 狗， 马， 摩托车， 人， 植物， 羊， 沙发， 火车， 电视； 每张图像包含6至23 个带有注释的特 征点图像坐标。 9.根据权利要求1所述的用于同类图像检索的图匹配方法， 其特征在于， 所述步骤S2还 包括如下步骤： 相应地选取1682张作为测试集。 对于每一张待训练的图像， 先提取出包含 所 有注释特 征点的边界框， 再调整图像尺寸 为256×256， 最后进入深度学习网络的训练。权　利　要　求　书 2/2 页 3 CN 114491122 A 3