(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111641918.0 (22)申请日 2021.12.2 9 (71)申请人 杭州图灵 视频科技有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路9 98号5幢5 -408(A) (72)发明人 苏晋鹏　曹颂　钟星　 (74)专利代理 机构 南京华鑫君辉专利代理有限 公司 3254 4 专利代理师 王方超　黄雪芝 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/16(2022.01) G01B 11/02(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多个单目摄像头下的目标实时跟踪与距离 度量系统及方法 (57)摘要 本发明公开多个单目摄像头下的目标实时 跟踪与距离度量系统及方法， 所述系统包括： 视 频读取模块对视频码流进行获取并且将分辨率 进行转换生成码流图片， 将所述码流图片传入口 罩检测模块； 口罩检测模块利用训练好的深度学 习模型对所述码流图片进行检测， 判断目标是否 佩戴口罩； 传统与深度跟踪模块针对 未佩戴口罩 的目标检测边框进行处理实现实时准确跟踪； 距 离计算模块根据每个目标的边框， 计算其在俯视 图bird_view下的对应边框坐标， 来计算不同目 标边框之前的距离； 信息共享模块将当前摄像头 下的每个目标的信息与其他摄像头进行信息共 享； 报警模块对距离计算模块传输入的报警信息 进行判断。 本发 明实现了对未带口罩行人在跨摄 像头场景下的高精度实时跟踪。 权利要求书6页 说明书13页 附图4页 CN 115272904 A 2022.11.01 CN 115272904 A 1.多个单目摄 像头下的目标实时跟踪与距离度量系统， 其特 征在于， 包括： 视频读取模块， 具体执行： 对视频码流进行获取并且将分辨率进行转换生成码流图片， 将所述码流图片传入口罩检测模块； 口罩检测模块， 具体执行： 利用训练好的深度 学习模型对所述码流图片进行检测， 判断 目标是否佩戴口罩； 传统与深度跟踪模块， 具体执行： 针对未佩戴口罩的目标检测边框进行处理实现实时 准确跟踪； 距离计算模块， 具体执行： 根据每个目标的边框， 计算其在俯视图bird_view下的对应 边框坐标， 来计算不同目标边框 之前的距离， 一旦小于 设定的阈值， 则输出报警信息给报警 模块； 信息共享模块， 具体执行： 将当前摄像头下的每个目标的信息与其他摄像头进行信息 共享， 实现跨摄 像头跟踪， 所述信息包括目标、 深度特 征、 跟踪状态、 报警状态； 报警模块， 具体执行： 对距离计算模块传输入的报 警信息进行判断， 并且决定是否开启 报警。 2.根据权利要求1所述的多个单目摄像头下的目标实时跟踪与距离度量系统， 其特征 在于， 所述口罩检测模块具体执 行： 收集大量带口罩和不戴口罩的行人的数据集进行标注， 只标注脸部区域， 生成标注数 据； 将标注数据resize到416*416大小， 利用基于深度学习的目标检测算法YOLOV4系列进 行训练口罩检测算法， 得到口罩的检测模型； 对码流图片进行检测， 得到码流图片中不戴口罩的行人的边框， 对不带口罩的边框进 行转换， 得到不带口罩行 人的边框(X,Y,W,H)； 具体 计算公式如下： X＝x‑w*ratio_x                       (1) Y＝y‑h*ratio_y1                       (2) W＝w(1+2*rati o_x)                     (3) H＝h(1+rati o_y2+rati o_y1)             (4) 其中x,y分别代表不戴口罩脸部边框的左上角点的坐标， w,h分别代表该边框的宽和 高； ratio_x、 rati o_y1、 rati o_y2数值分别为0.25、 0.15、 2.3 。 3.根据权利要求1所述的多个单目摄像头下的目标实时跟踪与距离度量系统， 其特征 在于， 所述传统与深度跟踪模块具体执 行： 构建新型的深度网络模型的得到目标的深度特征， 具体包括： 搜集reid行人数据集， 包 括Market1501、 M ars、 Grid、 CHUK共四个数据集， 根据Mars的标准， 转换成统一的数据集； 构 建新型的余弦相似度量网络， 进 行训练， 选取最佳的训练模型； 将不带口罩的行人边框批量 resize到64宽*128高的大小， 传进到得到的训练模型， 得到该边框的深度网络的64维度的 特征； 利用传统的视觉方法得到目标的特征 ， 具体包括 ： 调用opencv库中的于 SiftDescriptorExtractor函数； 通过对边框关键点周围邻域内的像素分块进行梯度运算， 得到64维的特 征向量B； 将分别64维度的特 征向量A和B进行融合， 得到最终的128维度的目标 特征向量C；权　利　要　求　书 1/6 页 2 CN 115272904 A 2利用卡尔曼滤波对目标进行预测， 利用得到的特征对检测框与现有的跟踪框进行相似 度配对， 完成最终的跟踪； 一旦匹配成功， 则将该边框的特征向量C保存到该目标对应的历史向量集中， 以便后续 的边框进来与其做余弦相似度的匹配。 4.根据权利要求3所述的多个单目摄像头下的目标实时跟踪与距离度量系统， 其特征 在于， 所述利用卡尔曼滤波对目标进行预测， 利用得到的特征对检测框与现有的跟踪框进 行相似度配对具体包括： 卡尔曼滤波是种利用线性系统状态方程， 通过系统输入输出观测数据， 对系统状态进 行最优估计的算法； 公式包 含如下： 其中卡尔曼 滤波系统的状态方程和观测方程 为： XK＝AXK‑1+WK‑1                               (5) ZK＝HZK+VK                               (6) 式中， XK表示K时刻系统的状态向量； ZK表示K时刻系统的观测向量； A表示状态转移矩 阵； H表示观测矩阵； WK‑1和VK表示高斯白噪声， 二者互不相关， 均值都为0； 由得出的检测框 中心点坐标为(dx,dy)， 框的高度与宽度分别为hi， wi； 其运动矢量为(vx,vy)； 则运动物体的 运动状态的状态向量 为： X＝(dx,dy,hi,wi,vx,vy)T                     (7) 选取观测向量Z＝(dx,dy,hi,wi)T， 确定系统的状态转移 矩阵与观测矩阵： 利用系统离散状态方程和观察方程式即式(8)、 式(9)及相应的初始值， 根据观测值ZK， 在均方误差最小的情况下， 对当前状态XK进行估计修正， 从而得到最优估计值， 同时根据 状 态方程预测下一时刻的状态向量， 然后再进 行修正， 如此循环迭代， 从而 预测出物体在下一 帧图像中的位置坐标； 利用检测边框的特征向量C和已经确定目标的历史特征向量做余弦相似度的匹配， 如 果大于设定的阈值， 则认为是该目标的边框， 否则不是该目标的边框； 该阈值选取为0.3； 余 弦相似度公式如下：权　利　要　求　书 2/6 页 3 CN 115272904 A 3