(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110307.8 (22)申请日 2022.09.13 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 钟志　宋雨　王帮海　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种跨模态行人重识别方法及计算机可读 存储介质 (57)摘要 本发明提供了一种跨模态行人重识别方法 及计算机 可读存储介质， 所述跨模态行人重识别 方法包括以下步骤： 获取若干个行人分别不同的 模态图像， 组成模态图像集； 对所述模态图像集 进行预处理操作， 获得根据模态类别分类的图像 特征矩阵； 采用ResNet50作为卷积网络初始模 型， 将图像特征矩阵输入到所述卷积网络初始模 型中， 并对卷积网络初始模型进行优化训练， 得 到优化训练后的卷积网络模型； 获取待识别行人 图像， 输入到优化训练后的卷积网络模型中， 输 出行人重识别结果。 本发明构建的卷积网络初始 模型中， 将不同层不同尺度的特征进行有机融 合， 减少在提取模态共享特征过程中与行人相关 信息的损失， 提高行人识别效果， 特别适用于周 界安防、 智能检索等领域。 权利要求书2页 说明书8页 附图2页 CN 115393901 A 2022.11.25 CN 115393901 A 1.一种跨模态行 人重识别方法， 其特 征在于， 包括以下步骤： S1、 获取若干个行人分别不同的模态图像， 组成模态图像集； 其中， 所述模态图像集包 括对应行 人身份的可 见光图像和红外图像； S2、 对所述模态图像集进行预处理操作， 获得根据模态类别分类的图像特征矩阵； 其 中， 所述图像特 征矩阵包括可 见光图像特 征矩阵frgb和红外图像特 征矩阵fir； S3、 采用ResNet50作为卷积网络初始模型， 所述卷积网络初始模型包括若干个特征提 取块层， 以及第一残差块层layer0、 第二残差块层layer1、 第三残差块层layer2和第四残差 块层layer3； 将所述图像特征矩阵输入到所述卷积网络初始模型中， 并对所述卷积网络初 始模型进行优化训练， 得到优化训练后的卷积网络模型； 其中， 所述第一残差块层layer0、 第二残差块层layer1和第三残差块层layer2提取到的 分层特征同步用于特 征融合补偿； S4、 获取待识别行人图像， 输入到优化训练后的卷积网络模型中， 输出行人重识别结 果。 2.根据权利要求1所述的一种跨模态行人重识别方法， 其特征在于， 所述步骤S2中， 所 述预处理操作包括分辨率调整和数据增强； 其中， 所述数据增强方式为每次从一组预设的 数据增强操作中随机 选择一种， 按随机 选择的增强 强度对单一图像进行处 理。 3.根据权利要求1所述的一种跨模态行人重识别方法， 其特征在于， 所述步骤S3 中若干 个所述特征提取块层的参数不共享， 所述特征提取块层 包括卷积层、 批量归一化层、 非线性 激活函数层和最大池化层。 4.根据权利要求1所述的一种跨模态行人重识别方法， 其特征在于， 所述卷积网络初始 模型中， 所述第一残差块层 layer0包括3个相同结构的残差块， 所述残差块包括依次连接的 第一卷积单元、 第二卷积单元和 第三卷积单元， 所述第一卷积单元包括卷积层、 批量归一化 层、 实例归一化层和非线性激活函数层； 第二卷积单元包括卷积层、 批量归一化层和非线性 激活函数层； 第三卷积单 元包括卷积层和批量归一 化层； 所述第二残 差块层layer1包括4个相同结构的残差块， 所述残差块包 括依次连接的第一 卷积单元、 第二卷积单 元和第三卷积单 元； 所述第三残 差块层layer2包括6个相同结构的残差块， 所述残差块包 括依次连接的第一 卷积单元、 第二卷积单 元和第三卷积单 元； 所述第四残 差块层layer3包括3个相同结构的残差块， 所述残差块包 括依次连接的第四 卷积单元、 第二卷积单元和第三卷积单元， 所述第四卷积单元包括卷积层、 批量归一化层和 非线性激活函数层。 5.根据权利要求4所述的一种跨模态行人重识别方法， 其特征在于， 所述步骤S3中， 对 所述卷积网络初始模型进行优化训练包括以下步骤： S3.1、 将所述模态图像集根据行人身份， 按预设比例划分为用于训练优化模型的训练 集和用于评估模型性能的测试集， 将训练集中所述图像特征矩阵输入所述卷积网络初始模 型中的特征提取块层， 根据模态类别分别提取对应模态的图像特征； 其中， 所述特征提取块 层的数量与模态类别数量对应设置， 对应可见光模态的可见光图像特征记 为Frgb， 对应红外 模态的红外图像特 征记为Fir； S3.2、 将对应行人身份的若干个图像特征拼接后依次经过参数共享的第一残差块层权　利　要　求　书 1/2 页 2 CN 115393901 A 2layer0、 第二残差块层layer1、 第三残差块层layer2和第四残差块层layer3中， 提取得到主 干特征F4和分层融合特 征； 将拼接后的图像特征输入第一残差块layer0中的第一卷积单元， 经卷积层后分别进入 批量归一化层和实例归一化层， 所述批量归一化层的输出和实例归一化层的输出相加后进 入非线性激活函数层， 所述 非线性激活函数层的输出依次经过第二卷积单元和 第三卷积单 元， 输出第一特 征图F1； 将第一特 征图F1输入第二残差块 layer1中得到第二特 征图F2； 将第二特 征图F2输入第三残差块 layer2中得到第三特 征图F3； 将第三特 征图F3输入第四残差块 layer3中得到主干特 征F4； 将第一特征图F1、 第二特征图F2和第三特征图F3进行有机融合， 构 建得到所述分层融合 特征； S3.3、 将主干特征F4与分层融合特征拉伸成向量， 分别用交叉熵损失函数进行训练后将 两者拼接， 用加权正则化三元组损失函数对所述卷积网络初始模型进行优化训练， 得到优 化训练后的卷积网络模型； S3.4、 利用测试集测试模型性能： 当所述优化训练后的卷积网络模型性能达到预设判 定条件， 输出优化训练后的卷积网络模型； 当所述优化训练后的卷积网络模型性能无法达 到预设判定条件， 重新划分训练集和 测试集， 并重复步骤S1 ‑S3。 6.根据权利要求5所述的一种跨模态行人重识别方法， 其特征在于， 所述步骤S3.2中， 所述分层融合特 征的构建包括以下步骤： S3.2.1、 设置分别与第一特征图F1、 第二特征图F2及第三特征图F3大小对应一致的第一 权重矩阵α 、 第二权 重矩阵β 及第三权 重矩阵γ； S3.2.2、 将所述第一特征图F1、 第二特征图F2及第三特征图F3分别与第一权重矩阵α、 第 二权重矩阵β 及第三权重矩阵γ逐点相乘； 其中， 所述第一权重矩阵α、 第二权重矩阵β 及第 三权重矩阵γ各个位置的参数通过训练得到； S3.2.3、 将三个相乘后的特 征相加得到分层融合特 征。 7.根据权利要求6所述的一种跨模态行人重识别方法， 其特征在于， 所述步骤S3.2.3 中， 将所述第一特征图F1及第二特征图F2与第三特征图F3融合前， 对所述第一特征图F1、 第 二特征图F2和第三特征图F3分别进行下采样操作， 使所述第一特征图F1及第二特征图F2的 分辨率与第三特征图F3的一致， 并增减所述第一特征图F1、 第二特征图F2与第三特征图F3的 通道数至预设值。 8.根据权利要求5所述的一种跨模态行人重识别方法， 其特征在于， 所述步骤S3.2中， 所述第一残差块层layer0、 第二残差块层layer1和第三残差块层layer2后均引入了用于计 算特征图中任意两个位置之间的交 互直接捕捉远程依赖的非局部注意力机制块。 9.根据权利要求5所述的一种跨模态行人重识别方法， 其特征在于， 所述步骤S3.4中， 所述预设判定条件基于累计匹配特 征CMC和平均精度mAP设置 。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1 ‑9任一项所述的跨模态行 人重识别方法。权　利　要　求　书 2/2 页 3 CN 115393901 A 3