(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210407340.0 (22)申请日 2022.04.19 (65)同一申请的已公布的文献号 申请公布号 CN 114511595 A (43)申请公布日 2022.05.17 (73)专利权人 浙江宇视科技有限公司 地址 310051 浙江省杭州市滨江区西兴街 道江陵路88号10幢南座1-11层、 2幢A 区1-3楼、 2幢B区2 楼 (72)发明人 周迪　王威杰　邓黄燕　卓越　 王勋　余浙东　徐爱华　 (74)专利代理 机构 北京安信方达知识产权代理 有限公司 1 1262 专利代理师 吴晓霞　栗若木(51)Int.Cl. G06T 7/246(2017.01) G06T 7/292(2017.01) G06V 20/00(2022.01) G06V 40/10(2022.01) H04N 5/232(2006.01) (56)对比文件 CN 110493525 A,2019.1 1.22 审查员 董梦林 (54)发明名称 多模态协同和融合的目标跟踪 方法、 装置及 系统、 介质 (57)摘要 多模态协同和融合的目标跟踪 方法、 装置及 系统、 存储介质， 所述多模态协 同和融合的目标 跟踪方法包括： 获取预设区域的广角图像； 在预 设区域进行目标检测， 确定目标所在的目标区 域， 获取所述目标区域的长焦图像； 根据如下方 式生成从所述广角图像变倍至所述长焦图像过 程中的任一变倍数为x的图像： 获取所述广角图 像变倍x后的变倍图像； 确定所述目标区域在变 倍图像中的位置和大小； 将长焦图像缩放至所述 目标区域在变倍图像的大小， 得到缩放后的长焦 图像； 将所述缩放后的长焦图像拼接至所述变倍 图像中所述目标区域对应的位置， 得到所述变倍 数为x的图像。 本实施例提供的方案， 无需光学变 倍系统， 变倍响应速度快， 没有机械磨损， 且成本 低， 便于小型化。 权利要求书3页 说明书13页 附图4页 CN 114511595 B 2022.08.23 CN 114511595 B 1.一种多模态 协同和融合的目标跟踪方法， 其特 征在于， 包括： 获取预设区域的广角图像； 使用目标检测模块在所述预设区域进行目标检测， 确定目标所在的目标区域， 其中， 所 述目标检测模块包括以下至少之一： 毫米波 雷达、 广角摄像头， 按如下方式获取所述目标区 域的长焦图像： 当检测到的所述目标沿第一方向的大小与当前调用的长焦摄像头的视场角沿第一方 向的大小的比值小于第一预设阈值， 且， 所述 目标沿第二方向的大小与当前调用的长焦摄 像头的视场角沿第二方向的大小的比值小于第二预设阈值时， 获取一个长焦摄像头的图像 作为所述目标区域的长焦图像； 当检测到的所述目标沿第一方向的大小与当前调用的长焦 摄像头的视场角沿第一方向的大小的比值大于等于第一预设阈值时， 获取多个长焦摄像头 的图像， 将所述多个长焦摄像头的图像沿第一方向拼接作为所述 目标区域的长焦图像； 当 检测到的所述目标沿第二方向的大小与当前调用的长焦摄像头的视场角沿第二方向的大 小的比值大于等于第二预设阈值时， 获取多个长焦摄像头的图像， 将所述多个长焦摄像头 的图像沿第二方向拼接作为所述目标区域的长焦图像， 所述第一方向和 第二方向其中之一 为所述长焦摄 像头的图像的长度方向， 另一 为所述长焦摄 像头的图像的宽度方向； 根据如下方式生成从所述广角图像变倍至所述长焦图像过程中的任一变倍数为x的图 像： 根据倍数x、 目标图像在所述广角图像中的位置得到第一方向和第二方向均为所述广角 图像1/x的新画幅， 将所述新画幅插值x倍生成与所述广角图像大小一致的图像， 作为所述 广角图像变倍x后的变倍图像； 其中， 所述目标区域在所述广角图像中的图像称为目标图 像； 确定所述 目标区域在所述变倍图像中的位置和大小； 将所述长焦图像缩放至所述 目标 区域在所述变倍图像的大小， 得到缩放后的长焦图像； 将所述缩放后的长焦图像拼接至所 述变倍图像中所述目标区域对应的位置， 得到所述变倍数为x的图像。 2.根据权利要求1所述的多模态协同和融合的目标跟踪方法， 其特征在于， 所述根据倍 数x、 目标图像在所述广角图像中的位置得到第一方向和 第二方向均为所述广角图像1/x的 新画幅包括： 所述广角图像的中心点为第一中心点， 所述目标图像的中心点为第二中心点， 获取所 述第一中心 点和所述第二中心点的距离D， 确定迁移距离d=x*D /N， N为从所述广角图像变倍 至所述长焦图像的最大变倍数； 根据所述迁移距离d、 所述第一中心 点和所述第二中心 点确 定第三中心点， 其中， 所述第三中心点与所述第一中心点的距离为所述迁移距离d， 且所述 第三中心点 位于所述第一中心点和所述第二中心点构成的线段 上； 将所述广角图像中以所述第三中心点为中心， 第一方向的像素数为h0/x， 第二方向的 像素数为w0/x的区域作为新画幅， 其中， 所述广角图像第一方向的像素数为h0， 第二方向的 像素数为w0。 3.根据权利要求2所述的多模态协同和融合的目标跟踪方法， 其特征在于， 所述确定所 述目标区域在所述变倍图像中的位置和大小包括： 所述目标区域在所述变倍图像中的中心点为第四中心点， 所述第四中心点与 所述变倍 图像的中心 点的距离为d ’=(D‑d)*x， 根据所述第二中心 点与所述第一中心点的连线与所述 第一方向的夹角， 以及所述距离d ’， 确定所述第四中心点的位置； 将所述长焦图像缩小至原始大小的x*f0/f1， 得到缩放后的长焦图像， 其中， 所述f0为权　利　要　求　书 1/3 页 2 CN 114511595 B 2所述广角图像对应的焦距， 所述f1为所述长焦图像对应的焦距。 4.根据权利要求1所述的多模态协同和融合的目标跟踪方法， 其特征在于， 所述多个长 焦摄像头包括第一长焦摄像头和 第二长焦摄像头， 所述第一长焦摄像头获取的长焦图像为 第一图像， 所述第二长焦摄像头获取 的长焦图像为第二图像， 且从调度第一长焦摄像头切 换至调度第一长焦摄 像头和第二长焦摄 像头， 所述获取多个长焦摄 像头的图像前， 还 包括： 获取调度所述第 二长焦摄像头前， 所述广角图像 中所述目标区域的中心点， 以及， 所述 目标区域沿拼接方向的第一长度， 将所述目标区域的中心点沿拼接方向移动所述第一长度 的一半， 获得第 五中心点； 将所述 目标区域的中心点沿与拼接方向相反的方向移动所述第 一长度的一半， 获得第六中心点； 所述拼接方向为所述第一图像和所述第二图像拼接的方 向； 将所述第五中心点作为所述第 一长焦摄像头的中心点调度 所述第一长焦摄像头， 将所 述第六中心点作为所述第二长焦摄 像头的中心点调度所述第二长焦摄 像头。 5.根据权利要求1至4任一所述的多模态协同和融合的目标跟踪方法， 其特征在于， 所 述方法还 包括： 获取所述目标的运动信息， 以及， 确定所述目标的类别； 根据所述目标的运动信 息和所述目标的类别确定： 调用的长焦摄像头的数量及基于所 调用的长焦摄 像头的图像生成所述目标区域的长焦图像的拼接方式。 6.根据权利要求5所述的多模态协同和融合的目标跟踪方法， 其特征在于， 所述运动信 息包括运动方向和速度； 所述类别包括人； 所述根据所述目标的运动信息和所述目标的类别确定调用的长焦摄像头的数量及基 于所调用的长焦摄 像头的图像生成所述目标区域的长焦图像的拼接方式包括： 当所述目标为人， 且运动方向为接近所述长焦摄像头， 且运动速度大于等于第一预设 速度阈值， 调用两个长焦摄像头， 且所述两个长焦摄像头的图像的拼接方式为沿人 的站立 方向拼接； 当所述目标为人， 且运动方向为接近所述长焦摄像头， 且运动速度小于第一预设速度 阈值， 调用一个长焦摄 像头； 当所述目标的运动方向为远离所述长焦摄 像头， 则调用的长焦摄 像头数量 不变。 7.根据权利要求5所述的多模态协同和融合的目标跟踪方法， 其特征在于， 所述运动信 息包括运动方向和速度； 所述类别包括车辆； 当所述目标为车辆， 且运动方向为接近所述长焦摄像头， 且运动速度大于等于第二预 设速度阈值， 沿第四方向， 所述车辆的车头的正面的长度与所述车辆的长度的比值大于等 于第三预设阈值， 则： 所述车辆沿第三方向的长度大于等于沿第四方向的长度， 调用两个长 焦摄像头， 且所述两个长焦摄像头的图像的拼接方式为沿第三方向拼接； 所述车辆沿第三 方向的长度小于沿第四方向的长度， 调用两个长焦摄像头， 且所述两个长焦摄像头的图像 的拼接方式为沿第四方向拼接， 其中， 将车底至车顶方向称为第三方向， 第四方向垂直于第 三方向； 当所述目标为车辆， 且运动方向为接近所述长焦摄像头， 且运动速度大于等于第二预 设速度阈值， 沿第四方向， 所述车辆的车头的正面的长度与所述车辆的长度的比值小于第 三预设阈值， 调用两个长焦摄像头， 且所述两个长焦摄像头的图像的拼接方式为沿第四方权　利　要　求　书 2/3 页 3 CN 114511595 B 3