(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111655752.8 (22)申请日 2021.12.3 0 (71)申请人 安徽工业大学 地址 243002 安徽省马鞍山市湖东路59号 申请人 合肥综合 性国家科 学中心人工智能 研究院 （安徽省人工智能实验室） (72)发明人 黄俊　严煜　郑啸　陶陶　 (74)专利代理 机构 安徽知问律师事务所 34134 代理人 平静 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的多标记图片分类中未 知标记分类方法 (57)摘要 本发明提供一种基于深度学习的多标记图 片分类中未知标记分类方法， 属于机器学习领 域。 本发明在充分学习了已知标记特征表示的前 提下， 通过非负矩阵分解技术， 对CNNs提取的特 征进行非负矩阵分解， 挖掘出未知标记信息， 并 与分类器做 一致性约束， 帮助学习未知标记的特 征表示。 同时根据非负矩阵分解得到的完整 标记 矩阵的近似解构建更准确的标记关系矩阵， 然后 利用图神经网络学习标记关系， 得到具有语义信 息的未知标记特征表示。 本发明通过发现未知标 记， 挖掘出数据中有价值的隐含信息， 利用已知 标记和未知标记之间的关联性， 使已知标记分类 和未知标记分类相互指导， 共同促进， 最终提升 已知标记和未知标记的分类性能， 更好的进行多 标记学习任务。 权利要求书4页 说明书8页 附图1页 CN 114299342 A 2022.04.08 CN 114299342 A 1.一种基于深度学习的多标记图片分类中未知标记分类方法， 其特 征在于， 其 步骤为： S1、 读取图像文件、 已知标记矩阵、 已知标记关系图， 并初始化关系图中未知标记的节 点信息； S2、 从标记关系图中提取所有标记的语义表示， 再从标记的语义表示中聚类得到标记 组的语义表示； S3、 构建深度卷积神经网络， 抽取网络中不同卷积层的特征图； 基于注意力机制， 将特 征图和所有标记及标记组的语义表示相融合， 得到图像最终的特征表示， 即类属特征表示 和标记组特 征表示； S4、 对特征图进行非负矩阵分解得到完整标记矩阵的近似解， 利用完整标记矩阵的近 似解构建初始标记关系矩阵， 然后利用图神经网络学习标记关系； S5、 将类属特征表示及其所属的标记 组特征表示相拼接后， 输入分类器， 得到该图像 中 每个标记出现的置信度； S6、 分类器预测已知标记的部分使用已知标记的真实信息做监督， 重复S1、 S2、 S3、 S5， 利用已知标记充分学习 特征表示； 模型收敛后， 分类器预测未知标记的部分使用完整标记 矩阵近似解中的未知标记部分做一 致性约束， 重复S1 ‑S5， 完善未知标记的特 征表示； S7、 给定一个测试样本， 将测试样本带入S1 ‑S6学习得到的最终分类模型， 得到测试样 本在已知标记和未知标记上的预测值； S8、 根据未知标记的注意力图查看对应物体， 获取 未知标记的语义名称。 2.根据权利要求1所述的一种基于深度学习的多标记图片分类中未知标记分类方法， 其特征在于： 步骤S1中， 数据集的图片输入为 其中， n表示样本个数， c、 w、 h表 示图片通道数、 宽、 高， 表示实数域； 已知标记矩阵Y∈{0,1}n×q， 其中， q表示已知标记的个 数； 已知标记关系图G＝{D， S}， D表示关系图中的标记点集， 点的特征为已知标记的语义描 述， 表示已知标记的语 义描述矩阵， d＝300； S是 关系图中的边集， 边的权重 为已知 标记间的共现概 率， A∈[0,1]q×q表示已知标记间的共现概 率矩阵； 设置r个未知标记， 完整标记为 为未知标记矩阵， l＝ q+r为完整标记的个数； 完整的标记关系图为 表示完整标记关系图中的标记 点集， 点的特征为完整标记间的语义描述 表示未知标记的语义 描述； 边的权 重使用完整标记间的共现概 率矩阵 表示； 使用已知标记的语义描述Vi来初始化未知标记的语义描述 过程为： 式(1)中， 为V中第i行向量， 为 中第k行向量， q+1≤k≤l； 为了补全完整标记间的共现概率矩阵 需要初始化未知标记的共现关系和标记数量； Lki表示标记k与标记i的共现次数， Nk表示标记k的数量； 使用已知标记的共现次数和已知标 记数量来初始化未知标记的共现次数和未知标记数量， 过程 为：权　利　要　求　书 1/4 页 2 CN 114299342 A 2Lki＝max(Lki,0)               (3) Lgk＝max(Lgk,0)         (5) Nk＝max(Nk,0)      (7) 式(2)‑式(7)中， 1≤i≤q， 1≤g≤l， q+1≤k≤l； randint(a,b)函数表示 随机生成大于 等于a， 小于等于b的整数。 3.根据权利要求2所述的一种基于深度学习的多标记图片分类中未知标记分类方法， 其特征在于： 步骤S2中， 使用图注意力网络从完整的标记关系图 中提取标记的语义表示； 设置可学习的参数矩阵 计算关系图 中标记节点j对于标记节 点i的重要性， 即注意力系数 将注意力系数αij与关系图标记节点的特征向量线 性组合， 得到关系图节点 新的特征， 即标记的语义表示El， 过程为： 式(8)中， 表示 的第i行向量， ||表 示向量的拼接操作， leakyrelu( ·)是非线性激活 函数， exp(x)表示 运算ex； 式(9)中， σ( ·)是非线性激 活函数elu， Ni表示关系图中点i的邻居节点； 是El第i行向 量， 使用可微分图池化网络从标记的语义表示聚类得出标记组的语义表示 为了使得聚类的簇更紧凑， 设置损失函数最小化两种语义表示的距离， 损失函数为： 式(10)中， Ng表示设置的标记组数， Ck表示第k个标记组的语义表示集合， 为标记组语 义表示Eg的第k行向量。 4.根据权利要求3所述的一种基于深度学习的多标记图片分类中未知标记分类方法， 其特征在于： 步骤S3中， 为了充分利用不同分辨率特征图的表达能力， 取ResNet ‑101后3个 残差块最后的卷积层提取出的特征图， 记为 其中 B＝3， Cs∈ {512,1024,2048}； 通过映射矩阵 对fs进行降维， 降维后的 将多层图像特征图的每个像素点(w， h)对应通道上的元素， 分别与标记、 标记组的语义 表示按对 应位置相乘， 得到标记语 义表示引导的注意力系数矩阵 和标记组语 义表示引导 的注意力系数矩阵 权　利　要　求　书 2/4 页 3 CN 114299342 A 3