(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211082601.2 (22)申请日 2022.09.06 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 路小波　冉智丹　刘维　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/772(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于相机感知 图学习的无监督行人重识别 方法 (57)摘要 本发明公开了一种基于相机感知 图学习的 无监督行人重识别方法， 首先提取行人图像特 征， 并用聚类算法得到伪标签， 同时构造内存字 典； 将每个相机作为一个独立的图像域， 并从每 个图像域中抽取样本以形成小批量训练样本； 随 后将所有图像样本特征用于构建相机感知图， 利 用图卷积网络将图像样本融合到统一的特征空 间中， 通过特征聚合来生成理想的图像特征； 再 构造基于内存的非参数对比损失来训练特征提 取器和图卷积网络， 构造相机对抗损失生成更加 鲁棒有效的图像特征； 重复执行前述步骤， 直至 模型收敛； 最后， 用特征提取器将行人图像映射 到特征空间中， 并将待查询行人图像的特征向量 与候选行人图像的特征向量进行欧式距离比较 并排序， 最终得到行 人重识别结果。 权利要求书3页 说明书7页 附图2页 CN 115457596 A 2022.12.09 CN 115457596 A 1.基于相机感知图学习的无监 督行人重识别方法， 其特 征在于， 该 方法包括以下步骤： S1、 利用特征提取器提取行人图像特征， 并将聚类算法应用于图像特征向量以得到身 份伪标签， 同时构造内存字典来存 储集群特 征； S2、 将每个相机作为一个独立的图像域， 并从每个图像域中抽取样本以形成小批量训 练样本； S3、 将小批量训练样本中的所有图像样本特征用于构建相机感知图， 利用图卷积网络 将图像样本融合到统一的特 征空间中， 通过 特征聚合来生成理想的图像特 征； S4、 构造基于内存的非参数对比损失来训练特征提取器和图卷积网络， 构造相机对抗 损失来训练特征提取器， 每次训练迭代后， 用每个小批量训练样本中的特征向量来更新内 存字典中的特 征表示； S5、 重复执 行步骤S1 ‑S4多次， 直至模型收敛； S6、 用特征提取器将行人图像映射到特征空间中， 并将待查询行人图像的特征向量与 候选行人图像的特 征向量进行欧式距离比较并排序， 最终得到行 人重识别结果。 2.如权利要求1所述的基于相机感知图学习的无监督行人重识别方法， 其特征在于， 所 述步骤S1中利用聚类结果构造的内存字典为： 其中， 表示内存字 典， Nm表示集群数， 分别表示字 典中存储的第1， 第 2 和第Nm个特征向量。 3.如权利要求1所述的基于相机感知图学习的无监督行人重识别方法， 其特征在于,所 述步骤S1中 内存字典的初始化 规则为： 其中， mk表示内存字典中存储的第k个特征向量， 表示第k个集群中的所有特征向量 组成的集 合， 表示 中的特征向量数， fi表示 中的第i个特 征向量。 4.如权利要求1所述的基于相机感知图学习的无监督行人重识别方法， 其特征在于， 所 述步骤S2中将行人图像数据集按照拍摄相机 分为不同的图像子域， 从每个图像域中抽取等 量的图像样本来形成小批量训练样本， 具体可以表示 为： 其中， B表示小批量训练样本， b1,i、 b2,i、 bV,i分别表示第1号、 第2号和第V号相机拍摄的 第i张图像样本， V 表示总的相机数， Nb表示从一个图像域中抽取的图像数。 5.如权利要求1所述的基于相机感知图学习的无监督行人重识别方法， 其特征在于， 所 述步骤S3的过程如下： S31、 利用特 征提取器提取小批量训练样本中行 人图像的特 征向量； S32、 将步骤S31获得的小批量训练样本中的所有图像样本特征用于构造相机感知图 其中 表示一个有向图， ε表示有向图的边集合， 表示有向图的节点集合， 且节 点集合里的每 个节点与一个图像特 征向量关联；权　利　要　求　书 1/3 页 2 CN 115457596 A 2ε 的权值用一个Na×Na大小的矩阵 来表示， 其中Na＝V×Nb表示小批量训练样本中的图 像样本数； 矩阵中的元 素赋值规则如下： 其中， 表示矩阵中第i行第j列的元素值， yi,yj表示小批量训练样本中第i和第j张行 人图像的伪标签， ci,cj表示小批量训练样本中第i和第j张行 人图像的相机标号； S33、 加入自连接并将矩阵标准 化为： 其中， A表示标准 化之后的矩阵， D表示度矩阵， I表示单位矩阵； S34、 用图卷积网络来更新相机感知图上的节点特征， 将矩阵A和节点集合输入到图卷 积网络中得到更新过后的节点特 征集合； 节点特 征在图卷积网络中的传播 规则定义 为： 其中， 分别表示传播到第l层和第l ‑1层的节点特征集合， G(l)表示卷积神经 网络的第l层； 最终图卷积网络更新之后的节点特 征集合为： 其中， 表示图卷积网络输出的节点特征集合， Na表示小批量训练样本中的训练样本 数， 分别表示图卷积网络 输出的第1， 第2和第Na个节点特 征。 6.如权利要求1所述的基于相机感知图学习的无监督行人重识别方法， 其特征在于， 所 述步骤S4中构造基于内存的非参数对比损失来训练特 征提取器， 所述对比损失函数为： 其中， 表示用于训练特征提取器的对比损失函数， 表示数学期望， log表示对数 运算， exp表示欧拉数的指数运算， fq表示查询实例特征向量， 表示特征字典中关于查询 实例的正聚类特 征向量， mi表示特征字典中的第i个特 征向量， τ1表示温度超参数。 7.如权利要求1所述的基于相机感知图学习的无监督行人重识别方法， 其特征在于， 所 述步骤S4中构造基于内存的非参数对比损失来训练图卷积网络， 所述对比损失函数为： 其中， 表示用于训练图卷积网络的对比损失函数， 表示图卷积网络的查询 实例特征向量， 表示特征字典中关于 zq的正聚类特 征向量， τ2表示温度超参数。 8.如权利要求1所述的基于相机感知图学习的无监督行人重识别方法， 其特征在于， 所权　利　要　求　书 2/3 页 3 CN 115457596 A 3