(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210320935.2 (22)申请日 2022.03.30 (65)同一申请的已公布的文献号 申请公布号 CN 114419678 A (43)申请公布日 2022.04.29 (73)专利权人 南京甄视智能科技有限公司 地址 210000 江苏省南京市江宁区高新园 龙眠大道5 68号 (72)发明人 杨帆　朱莹　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 季承 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) 审查员 张李一 (54)发明名称 基于行人重识别的训练和识别方法、 装置、 介质及设备 (57)摘要 本申请公开了一种基于行人重识别的训练 和识别方法、 装置、 介质及设备， 属于机器学习技 术领域。 该方法包括： 提取m个行人在同一时间段 内的n张测试行人图像， 对其进行特征提取得到 第一特征矩阵； 利用识别模型中的第一分支对第 一特征矩阵进行图像质量处理得到第一损失值； 利用第二分支对第一特征矩阵和m个行人标识进 行中心表征特征处理得到第二损失值； 利用第三 分支对第一特征矩阵和m*n个图像标识进行图像 表征特征处理得到第三损失值； 利用第四分支对 第一特征矩阵和m个行人标识进行时序特征处理 得到第四损失值； 根据四个损失值对识别模型进 行训练。 本申请中可以结合中心表征特征和时序 特征训练得到识别模型， 从而能够提高行人重识 别的精度。 权利要求书3页 说明书10页 附图4页 CN 114419678 B 2022.06.14 CN 114419678 B 1.一种基于行 人重识别的训练方法， 其特 征在于， 所述方法包括： 从不同相机拍摄的视频流中提取m个行人在同一 时间段内的n张测试行人图像， 对所述 测试行人图像进行 特征提取得到第一特 征矩阵， m和n 为正整数； 利用识别模型中的第一分支对所述第一特征矩阵进行图像质量处理， 得到第一损失 值； 利用所述识别模型中的第 二分支对所述第 一特征矩阵和m个行人标识进行中心表征特 征处理， 得到第二损失值； 利用识别模型中的第三分支对所述第 一特征矩阵和m*n个图像标识进行图像表征特征 处理， 得到第三损失值； 利用识别模型中的第四分支对所述第一特征矩阵和m个行人标识进行时序特征处理， 得到第四损失值； 根据所述第一损 失值、 所述第二损 失值、 所述第三损 失值和所述第 四损失值对所述识 别模型进行训练； 所述方法还包括： 对所述测试行人图像的图像质量进行检测， 得到图像质量 回归值； 所 述利用识别模型中的第一分支对所述第一特征矩阵进行图像质量处理， 得到第一损失值， 包括： 利用所述识别模型中的第一分支， 依次对所述第一特征矩阵进行全局池化、 维度压 缩、 全连接和维度压缩处理， 得到图像质量矩阵； 将所述图像质量矩阵和所述图像质量回归 值输入第一损失函数中， 得到所述第一损失值； 所述利用所述识别模型中的第 二分支对所述第 一特征矩阵和m个行人标识进行中心表 征特征处理， 得到第二损失值， 包括： 利用所述识别模型中的第二分支， 对所述第一特征矩 阵依次进 行维度转换和卷积运算后， 与所述图像质量矩阵相乘， 得到第二特征矩阵； 对所述 第二特征矩阵依次进 行卷积运算、 维度转换和全连接处理， 得到中心表征特征矩阵； 将所述 中心表征特征矩阵和所述m个行 人标识输入第二损失函数中， 得到所述第二损失值； 所述利用识别模型中的第 三分支对所述第一特征矩阵和m*n个图像标识进行图像表征 特征处理， 得到第三损失值， 包括： 利用所述识别模型中的第三分支， 依 次对所述第二特征 矩阵进行维度转换和全连接处理， 得到图像表征特征矩阵； 将所述图像表征特征矩阵和所 述m*n个图像标识输入第三损失函数中， 得到所述第三损失值。 2.根据权利要求1所述的基于行人重识别的训练方法， 其特征在于， 所述利用识别模型 中的第四分支对所述第一特征矩阵和m个行人标识进 行时序特征处理， 得到第四损失值， 包 括： 利用所述识别模型中的第四分支， 依次对所述第 一特征矩阵进行卷积运算、 维度压缩、 全连接和维度转换 处理， 得到每张测试行人图像的空间特征向量， 且每个行人的n个空间特 征向量按照所述 n张测试行人图像的时序排列； 利用所述第四分支中的长短时记忆网络LSTM对所述空间特征向量进行处理， 得到每个 行人的时序特 征向量； 对所述时序特 征向量进行全连接处 理， 得到时序特 征矩阵； 将所述时序特 征矩阵和所述m个行 人标识输入第四损失函数中， 得到所述第四损失值。 3.一种基于行人重识别的识别方法，  其特征在于， 用于安装有识别模型的计算机设备 中， 所述识别模型由权利要求1或2所述的训练方法训练得到的， 所述方法包括：权　利　要　求　书 1/3 页 2 CN 114419678 B 2从不同相机拍摄的视频流中提取每个目标行人在同一 时间段内的n张第 一行人图像， n 为正整数； 对于每个目标行人， 利用所述第二分支对所述目标行人的n张第一行人图像进 行 中心表征特征处理， 得到所述 目标行人 的第一中心表征特征矩阵； 利用所述第四分支对所 述目标行人 的n张第一行人图像进行时序特征处理， 得到所述 目标行人 的第一时序特征向 量； 获取待识别行人的n张第 二行人图像； 利用所述第 二分支对所述n张第 二行人图像进行 中心表征特征 处理， 得到第二中心表征特征矩阵； 利用所述第四分支对所述n张第二行人图 像进行时序特 征处理， 得到第二时序特 征向量； 计算所述第 二中心表征特征矩阵与每个第 一中心表征特征矩阵的第 一相似度， 以及所 述第二时序特 征向量与每 个第一时序特 征向量的第二相似度； 若与一个目标行人对应的第 一相似度和第 二相似度均超过预定 阈值， 则将所述待识别 行人识别为所述目标 行人。 4.一种基于行 人重识别的训练装置， 其特 征在于， 所述装置包括： 提取模块， 用于从不同相机拍摄的视频流中提取m个行人在同一 时间段内的n张测试行 人图像， 对所述测试 行人图像进行 特征提取得到第一特 征矩阵， m和n 为正整数； 处理模块， 用于利用识别模型中的第一分支对所述第一特征矩阵进行图像质量处理， 得到第一损失值； 利用所述识别模型中的第二分支对所述第一特征矩阵和m个行人标识进 行中心表征特征处理， 得到第二损失值； 利用识别模型中的第三分支对所述第一特征矩阵 和m*n个图像标识进 行图像表征特征 处理， 得到第三损失值； 利用识别模型中的第四分支对 所述第一特 征矩阵和m个行 人标识进行时序特 征处理， 得到第四损失值； 训练模块， 用于根据 所述第一损失值、 所述第 二损失值、 所述第三损失值和所述第四损 失值对所述识别模型进行训练； 所述装置还包括检测模块， 用于对所述测试行人图像的图像质量进行检测， 得到 图像 质量回归值； 所述处理模块， 还用于： 利用所述识别模型中的第一分支， 依 次对所述第一特 征矩阵进行全局池化、 维度压缩、 全连接和维度压缩处理， 得到图像质量矩阵； 将所述图像 质量矩阵和所述图像质量回归值输入第一损失函数中， 得到所述第一损失值； 所述处理模块， 还用于： 利用所述识别模型中的第 二分支， 对所述第 一特征矩阵依次进 行维度转换和卷积运算后， 与所述图像质量矩阵相乘， 得到第二特征矩阵； 对所述第二特征 矩阵依次进 行卷积运算、 维度转换和全连接处理， 得到中心表征特征矩阵； 将所述中心表征 特征矩阵和所述m个行 人标识输入第二损失函数中， 得到所述第二损失值； 所述处理模块， 还用于： 利用所述识别模型中的第 三分支， 依次对所述第 二特征矩阵进 行维度转换和全连接处理， 得到图像表征特征矩阵； 将所述图像表征特征矩阵和所述m*n个 图像标识输入第三损失函数中， 得到所述第三损失值。 5.一种基于行人重识别的识别装置， 其特征在于， 用于安装有识别模型的计算机设备 中， 所述识别模型由权利要求1或2所述的训练方法训练得到的， 所述装置包括： 第一提取模块， 用于从不同相机拍摄的视频流中提取每个目标行人在同一 时间段内的 n张第一行人图像， n为正整数； 对于每个目标行人， 利用所述第二分支对所述目标行人的n 张第一行人图像进行中心表征特征处理， 得到所述 目标行人 的第一中心表征特征矩阵； 利 用所述第四分支对所述 目标行人 的n张第一行人图像进行时序特征处理， 得到所述 目标行权　利　要　求　书 2/3 页 3 CN 114419678 B 3