(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581127.1 (22)申请日 2022.05.25 (71)申请人 青岛科技大 学 地址 266061 山东省青岛市松岭路69号青 岛科技大 学崂山校区 (72)发明人 梁宏涛　董文轩　吴沭运　刘国柱　 杜军威　朱习军　胡强　 (74)专利代理 机构 青岛联智专利商标事务所有 限公司 37101 专利代理师 李升娟 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 行人多目标跟踪识别方法及跟踪识别装置 (57)摘要 本发明公开了一种行人多目标跟踪识别方 法和跟踪识别装置， 解决现有技术存在的精确度 低和稳定性差的问题。 所述方法包括采用训练数 据集训练网络并获取行人多目标跟踪识别模型 的过程： 获取包含行人多目标的训练数据集； 将 所述训练数据集输入基于FairMOT架构、 由 GAConv和CLFPN构建的Encoder ‑Decoder网络， 获 得多尺度融合特征图； 将所述多尺度融合特征图 输入目标检测网络和重识别网络， 获得目标和检 测结果； 将所述目标和检测结果输入跟踪网络进 行跟踪， 获得训练后的行人多目标跟踪识别模 型； 在采用所述训练数据集训练网络时， 采用自 适应loss衰减的学习率更改策略和AdamW相结合 的方法执 行网络参数优化。 权利要求书3页 说明书9页 附图4页 CN 114937239 A 2022.08.23 CN 114937239 A 1.一种行人多目标跟踪识别方法， 其特征在于， 所述方法包括采用训练数据集训练网 络并获取 行人多目标跟踪识别模型的过程； 所述训练网络的过程包括： 获取包含行人多目标的训练数据集； 将所述训练数据集输入基于FairMOT架构的Encoder ‑Decoder网络进行特征提取， 获得 多尺度融合特征图； 所述Encoder ‑Decoder网络中， 采用全局注意卷积模块GAConv作为主干 网络， 引入跨层特 征金字塔结构CLFPN对所述主干网络进行改进； 将所述多尺度融合特征图输入所述FairMOT架构的目标检测网络和重识别 网络， 获得 目标和检测结果； 将所述目标和检测结果输入所述FairMOT架构的跟踪网络进行跟踪， 获得训练后的行 人多目标跟踪识别模型； 在采用所述训练数据集训练网络时， 采用自适应loss衰减的学习率更改策略和AdamW 相结合的方法执行网络参数优化， 网络参数收敛后的模型确定为所述训练后的行人多目标 跟踪识别模型。 2.根据权利要求1所述的行 人多目标跟踪识别方法， 其特 征在于， 所述方法还 包括： 获取所述训练后的行 人多目标跟踪识别模型 各层的初始权 重； 采用层次聚类算法对所述初始权 重进行聚类， 获取聚类后的有效权 重； 采用kmeans+ +对所述有效权 重进行聚类压缩， 获得量 化压缩的轻量 化跟踪识别模型。 3.根据权利要求2所述的行人多目标跟踪识别方法， 其特征在于， 所述方法还包括采用 测试数据集对 模型进行评估的过程； 所述评估的过程包括： 获取包含行人多目标的原 始测试数据集； 对所述原 始测试数据集进行图像增强， 获得增强后测试 数据集； 采用所述增强后测试数据集评估所述训练后的行人多目标跟踪识别模型和/或所述轻 量化跟踪识别模型， 获得最终跟踪结果。 4.根据权利要求3所述的行人多目标跟踪识别方法， 其特征在于， 对所述原始测试数据 集进行图像增强， 获得增强后测试 数据集， 包括： 对所述原始测试数据集采用自适应直方图均衡化方式进行图像增强， 获得所述增强后 测试数据集。 5.根据权利要求3所述的行人多目标跟踪识别方法， 其特征在于， 所述训练数据集和所 述原始测试数据集采用下述方法获取： 获取包含行人多目标的多帧图片， 在每帧图片上标注行人id、 图片左上角坐标和图片 下角点坐标， 获得 标注后行 人数据集； 将所述标注后行人数据集进行格 式转换， 获得包含行人id、 目标中心点坐标、 目标长宽 的数据文档； 将所述数据文档和所述标注后行 人数据集确定为组合数据集； 将所述组合数据集按照设定比例划分为所述训练数据集和所述原 始测试数据集。 6.根据权利要求1所述的行人多目标跟踪识别方法， 其特征在于， 将所述训练数据集输 入基于FairMOT架构的Encoder ‑Decoder网络进行 特征提取， 获得多尺度融合特 征图， 包括：权　利　要　求　书 1/3 页 2 CN 114937239 A 2将所述全局注意卷积模块GAConv与标准卷积模块结合， 提取输入的数据集的原始特征 图； 利用所述全局注意卷积模块GAConv对所述原始特征图进行两方向的序列编码， 通过注 意力机制对两编码序列进行扩充还原， 将扩充还原后的两序列拼接， 获得拼接后序列； 将所述拼接后序列 与所述原 始特征图进行叠加， 获取全局注意力权 重； 在所述主干网络后连接所述跨层特征金字塔结构CLFPN， 通过可学习的所述全局注意 力权重学习不同输入特征 的重要性， 并通过跨层连接， 反复应用自顶向下和自底向上 的多 尺度特征融合， 获得 所述多尺度融合特 征图。 7.根据权利要求1所述的行人多目标跟踪识别方法， 其特征在于， 所述自适应loss衰减 的学习率更改策略包括： 采用下述更新 函数更新学习率： 其中， lr为学习率； 和 分别为学习率的最大值和最小值， 为设定值； Ti为当前 训练轮次， 为变化值； Tcur为到达最大学习率的轮次， 为设定值， 为以e为底的指数， 表 示loss变化率， Closs为相邻两训练轮次的l oss差值， 为计算 值； T为训练总轮次， 为设定值。 8.一种行 人多目标跟踪识别装置， 其特 征在于， 所述装置包括： 训练数据集获取模块， 用于获取包 含行人多目标的训练数据集； 特征提取模块， 用于将所述训练数据集输入基于FairMOT架构的Encoder ‑Decoder网络 进行特征提取， 获得多尺度融合特征图； 所述Encoder ‑Decoder网络中， 采用全局注意卷积 模块GACo nv作为主干网络， 引入跨层特 征金字塔结构CLFPN对所述主干网络进行改进； 目标和检测结果获取模块， 用于将所述多尺度融合特征图输入所述FairMOT架构的目 标检测网络和重识别网络， 获得目标和检测结果； 训练后行人多目标跟踪识别模型获取模块， 用于将所述目标和检测结果输入所述 FairMOT架构的跟踪网络进行跟踪， 获得训练后的行 人多目标跟踪识别模型； 网络参数优化模块， 用于在采用所述训练数据集训练网络时， 采用自适应loss衰减的 学习率更改策略和AdamW相结合的方法执行网络参数优化， 网络参数收敛后的模型确定为 所述训练后的行 人多目标跟踪识别模型。 9.根据权利要求8所述的行 人多目标跟踪识别装置， 其特 征在于， 所述装置还 包括： 模型量化压缩模块， 用于获取所述训练后的行人多目标跟踪识别模型各层的初始权 重； 采用层次聚类算法对所述初始权重进行聚类， 获取聚类后的有效权重； 采用kmeans++对 所述有效权 重进行聚类压缩， 获得量 化压缩的轻量 化跟踪识别模型。 10.根据权利要求9所述的行 人多目标跟踪识别装置， 其特 征在于， 所述装置还 包括： 原始测试数据集模块， 用于获取包 含行人多目标的原 始测试数据集； 图像增强处理模块， 用于对所述原始测试数据集进行图像增强， 获得增强后测试数据权　利　要　求　书 2/3 页 3 CN 114937239 A 3