(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111633547.1 (22)申请日 2021.12.28 (71)申请人 苏州科技大 学 地址 215009 江苏省苏州市高新区科锐路1 号 申请人 苏州市人民政 府办公室 　 苏州佳图智绘信息技 术有限公司 (72)发明人 胡伏原　陈昊　李敏　李林燕　 张炯　赵柳清　杜凯乐　沈鸣飞　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 张荣 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01)G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种超图神经网络的小样 本图像识别方法、 装置及设备 (57)摘要 本发明涉及一种超图神经网络的小样本图 像识别方法， 利用卷积神经网络中空洞卷积的不 同感受野来获取不同结构的多语义特征， 构建多 语义超图； 利用超图神经网络聚合多语义超图中 超节点的所有超边信息更新初始超节点特征表 示， 得到训练集的超节点特征表示； 根据训练集 的超节点特征表示， 得到多语义分布信息， 将多 语义分布信息与训练集的超节点特征表示进行 信息交互， 通过相互迭代更新来不断优化多语义 超图， 得到训练集的目标超节点特征表示， 根据 训练集的目标超节点特征表示， 计算得到训练集 中查询集的分类结果。 本发明通过超图结构的 图 像消息传递， 捕获丰富的语义 嵌入特征和多个语 义分布特 征， 实现了小样本图像分类的识别。 权利要求书3页 说明书9页 附图4页 CN 114463596 A 2022.05.10 CN 114463596 A 1.一种超图神经网络的小样本图像识别方法， 其特 征在于， 包括： S101： 构建小样本图像识别神经网络； 其中， 所述小样本图像识别神经网络包括卷积神 经网络和超图神经网络； S102： 将训练集输入到所述小样本图像识别神经网络中进行训练； 其中， 所述训练集包 括支持集和查询集； S103： 利用所述卷积神经网络中空洞卷积的不同感受野， 得到所述训练集的多语义特 征； S104： 根据所述训练集的多语义特征构建超节点， 计算每两个超节点之间的语义相似 度， 根据所述每两个超节点之间的语义相似度构建超边， 得到多语义超图； S105： 利用所述超图神经网络聚合所述多语义超图中超节点的所有超边信息更新所述 训练集的初始超节点特 征表示， 得到所述训练集的超节点特 征表示； S106： 根据所述训练集的超节点特征表示， 得到多语义分布信息， 将所述多语义分布信 息与所述训练集的超节点特征表示进行信息交互， 更新所述多语义超图的超边， 得到新的 多语义超图， 返回执行所述步骤S105， 以便迭代更新所述多语义超图直至更新次数到达既 定阈值， 得到所述训练集的目标超节点特 征表示； S107： 根据所述训练集的目标超节点特征表示， 计算所述查询集的超节点特征表示属 于所述支持集类别的概 率， 得到所述 查询集的分类结果。 2.根据权利要求1所述的方法， 其特征在于， 所述利用所述卷积神经网络 中空洞卷积的 不同感受野， 得到所述训练集的多语义特 征包括： 将所述训练集输入到所述卷积神经网络 CNN中； 利用所述卷积神经网络中空洞 卷积的不同感受野， 得到所述训练集的多语义特征Uk＝ DilatedConv(CNN(X),γk)； 其中， X为所述训练集， γk为所述空洞卷积的k次膨胀率， k∈{1, …,K}， K为所述多语义 特征的数量。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述训练集的多语义特征构建超 节点， 计算每两个超节点之间的语义相似度， 根据所述每两个超节点之间的语义相似度构 建超边， 得到多语义超图包括： 根据所述训练集的多语义特 征构建超节点； 通过所述多语义特征的关系矩阵Ak＝f(Uk； Wk)， 计算每两个超节点之间的多语义特征 的相似度 其中， Wk为所述多语义特征 的可训练参数， 为超节点i的多语义特征， 为超节点j 的多语义特 征， σ 为激活函数； 根据所述每两个超节点之间的语义相似度构建超边， 得到多语义超图。 4.根据权利要求1所述的方法， 其特征在于， 所述利用所述超图神经网络聚合所述多语 义超图中超节点的所有超边信息更新所述训练集的初始超节点特征表示， 得到所述训练集 的超节点特 征表示包括： 将所述多语义超图输入到所述超图神经网络中； 利用所述超图神经网络U＝[U,D‑1BDB‑1U]W， 聚合所述多语义超图中超节点的所有超边权　利　要　求　书 1/3 页 2 CN 114463596 A 2信息更新所述训练集的初始超节点特 征表示， 得到所述训练集的超节点特 征表示； 其中， U＝[Uk,k≤K]， U为所述多语义超图中超节点的特征表示集合， W为所述超图神经 网络的可学习参数， B为所述多语义超图中每个超节点对每个超边的影响程度， D为所述多 语义超图中每 个超边到每 个超节点的影响程度。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述训练集的超节点特征表示， 得到多语义分布信息， 将所述多语义分布信息与所述训练集的超节点特征表示进 行信息交 互， 更新所述多语义超图的超边， 得到新的多语义超图包括： 根据所述训练集的超节点特 征表示， 得到多语义分布信息； 根据AV＝f(V； WV)和Au＝f(UU； WU)， 将所述多语义分布信息与所述训练集的超节点特征 表示进行信息交 互， 更新所述多语义超图的超边， 得到新的多语义超图； 其中， AV为所述多语义分布信息的关系矩阵， Au为所述超节点的关系矩阵， V为所述多语 义分布信息， UU为所述训练集的超节点特征表示， WV为所述多语义分布信 息的可训练参数， WU为所述训练集的超节点特 征表示的可训练参数。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述训练集的目标超节点特征表 示， 计算所述查询集的超节点特征表示属于所述支持集类别的概率， 得到所述查询集的分 类结果包括： 根据 计算所述查询集的超节点特征表示属于 所述支持集类别的概 率， 得到所述 查询集的分类结果； 其中， yj为所述支持集中第j个样本， Al(U,ij)为所述目标超节点特征表示的关系矩阵, N表示所述支持集的类别数， K表示所述支持集每 个类别的样本数。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述训练集的目标超节点特征表 示， 计算所述查询集的超节点特征表示属于所述支持集类别的概率， 得到所述查询集的分 类结果后包括： 将评估集输入到所述小样本图像识别神经网络 中， 得到所述评估集中查询集的分类结 果； 根据所述评估集中查询集的分类结果， 计算所述小样本图像识别神经网络的损失函数 对所述小样本图像识别神经网络进行评估； 其中， ζce为交叉熵损失函数， 为关系损失函数， λ1为第一超参数， λ2为第二超参数， p为所述评估集中查询集的分类结果， L为所述评估集所对应的超节点特征表 示的迭代更新 次数。 8.一种超图神经网络的小样本图像识别装置， 其特 征在于， 包括： 第一构建模块， 用于构建小样本图像识别神经网络； 其中， 所述小样本图像识别神经网 络包括卷积神经网络和超图神经网络； 输入模块， 用于将训练集输入到所述小样本图像识别神经网络 中进行训练； 其中， 所述 训练集包括支持集和查询集； 卷积模块， 用于利用所述卷积神经网络中空洞卷积的不同感受野， 得到所述训练集的 多语义特 征；权　利　要　求　书 2/3 页 3 CN 114463596 A 3