(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210343863.3 (22)申请日 2022.03.31 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 潘汉　武霞　敬忠良　许萌　 (74)专利代理 机构 上海旭诚知识产权代理有限 公司 312 20 专利代理师 郑立 (51)Int.Cl. G06V 20/05(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/22(2022.01)G06T 7/73(2017.01) G06T 7/60(2017.01) G06T 7/30(2017.01) G06T 7/277(2017.01) G06T 7/262(2017.01) G06T 7/20(2017.01) G06N 3/04(2006.01) (54)发明名称 基于多模型融合的水下视频目标尺度空间 判别式跟踪系统及方法 (57)摘要 本发明公开了一种基于多模型融合的水下 视频目标尺度空间判别式跟踪系统及方法， 涉及 水下机器人、 视频目标跟踪领域， 步骤包括： 1、 多 传感器配准； 2、 采用基于YOLO检测模型和高斯 混 合检测模型的多模型融合检测算法对目标进行 检测； 3、 输入尺度空间判别式跟踪器进行跟踪， 获得所述目标的相对位置和尺度信息； 4、 计算目 标在水下多传感器检测跟踪系统的位置信息和 尺度信息； 5、 使用无迹卡尔曼滤波器对目标位置 信息进行滤波， 得到最终的目标状态和运动轨 迹。 本发明可提升深海复杂环境下， 视频目标检 测跟踪的准确性、 稳定性和有效性。 权利要求书4页 说明书8页 附图4页 CN 114898202 A 2022.08.12 CN 114898202 A 1.一种基于多模型融合的水下视频目标尺度空间判别式跟踪系统， 其特征在于， 所述 系统包括成像声呐、 双目相机、 多传感器模块、 水下视频目标跟踪处理板卡， 其中， 所述成像 声呐与双目相机集成于一个多传感器模块内， 水下视频目标跟踪处理板卡与多传感器模块 相连。 2.一种基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其特征在于， 所述 方法包括以下步骤： 步骤1、 使用最小二乘估计法完成 成像声呐和双目相机多传感器 配准； 步骤2、 采用基于YOLO检测模型和高斯混合检测模型的多模型融合检测算法， 对声纳视 频和相机 视频输入的水 下视频目标进行检测， 得到目标的相对位置信息和相对尺度信息； 步骤3、 使用所述步骤2的目标相对位置信 息和相对尺度信 息作为初始值对尺度空间判 别式跟踪器进行初始化， 使用位置滤波器对视频中每一帧的目标相对位置信息进行预测， 使用尺度滤波器在每一帧预测位置的邻域内对目标的尺度进 行预测， 获得所述目标在每一 帧的相对位置信息和相对尺度信息； 步骤4、 基于多传感器成像特性， 将得到的声呐视频中的位置信 息和尺度信息转换到双 目相机坐标系中， 并与相 机视频中的位置信息和尺度信息进行融合， 得到每一帧的目标在 相机坐标系下的位置信息和尺度信息； 步骤5、 根据步骤4得到的每一帧的目标位置信息， 使用无迹卡尔曼滤波器对目标位置 进行滤波， 得到最终的目标状态和运动轨 迹。 3.如权利要求2所述的基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其 特征在于， 所述 步骤2具体包括： 步骤2.1、 使用YOLO检测算法和高斯混合检测算法对输入 的声呐和相机视频图像分别 进行检测得到目标的相对位置和尺度信息； 步骤2.2、 将YOLO检测算法的检测结果与高斯混合检测算法的检测结果进行融合， 其中， w为各个检测算法所占的权重， y表示目标的相对位置信息或者尺度信息， Y为融 合后的目标相对位置和尺度信息 。 4.如权利要求2所述的基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其 特征在于， 所述 步骤3具体包括： 步骤3.1、 将所述步骤2的目标相对位置和目标相对尺度作为跟踪序列第一帧的目标初 值； 步骤3.2、 提取目标位置候选窗口 的特征， 变换到傅里叶域； 步骤3.3、 生成目标位置回归矩阵， 变换到傅里叶域； 步骤3.4、 在目标初始框周围生成n个尺度的候选框， 对每个候选框提取对应区域的特 征， 将生成的n个特 征变换到傅里叶域； 步骤3.5、 生成目标的尺度回归矩阵， 变换到傅里叶域； 步骤3.6、 训练得到位置跟踪模板和尺度跟踪模板； 步骤3.7、 对新的帧， 用位置跟踪模板去计算候选窗口上的响应， 求得最大响应处位置 即为新的一帧的目标 所在位置， 其中计算响应的公式为：权　利　要　求　书 1/4 页 2 CN 114898202 A 2其中， R为响应， A、 B分别为相关滤波器的分子和分母， Z为新一帧的目标预测位置所提 取的特征图， λ为 正则化系数； 步骤3.8、 在所求的位置上用尺度跟踪模板去计算不同尺度乘子的响应， 求得最大响应 的尺度乘子， 作为 新的一帧的目标尺度； 步骤3.9、 将新的尺度和位置继续用于下一帧图像的位置跟踪， 直到预测完所有帧。 5.如权利要求2所述的基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其 特征在于， 所述 步骤4具体包括： 步骤4.1、 n的值设定为30 ‑40； 成像声呐的作用距离设定为10 ‑60米； 设定双目相机的分 辨率、 帧率， 以及视 觉信号处 理板峰值功率 参数； 步骤4.2、 基于成像声呐与双目相机的成像特性与安装位置， 计算水下视频目标在水下 多传感器 检测跟踪系统坐标系下的测量 值。 6.如权利要求2所述的基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其 特征在于， 所述 步骤5具体包括： 步骤5.1、 计算获得 滤波的初始状态估计和估计方差； 步骤5.2、 对时间进行 更新， 得到k时刻预测的k+1时刻的目标状态均值和协方差； 步骤5.3、 对量测进行 更新， 得到k+1时刻的状态估计和估计方差 。 7.如权利要求3所述的基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其 特征在于， 所述 步骤2.1中YOLO检测模型算法具体包括： 所述YOLO检测算法采用一个单独的卷积神经网络模型实现端对端的目标检测， 首先将 输入图片进行重采样， 然后送入卷积神经网络， 最后处 理网络预测结果得到目标检测结果。 8.如权利要求3所述的基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其 特征在于， 所述 步骤2.1中基于高斯混合模型的目标检测算法包括： 所述基于高斯混合模型的目标检测算法用多个单高斯模型作为一个像素位置的模型， 使用公式 |I(x， y， t) ‑μi(x， y， t‑1)|＜ λ×σi(x， y， t‑1)， i＝1， 2，…， K， 对新像素进行判断， 其中I为新像素点的像素值， μ为已有高斯模型的均值， σ 为已有高 斯模型的标准差， K代 表已有高斯模型的个数； 如果新像素与该单模型匹配， 判断该像素点为背景， 并修正与新像素匹配的单模型的 权值； 如果不存在与新像素匹配的模型， 判断该像素点为前景， 并去除多模型集合中重要性 最小的单模型， 添加一个新的单模型。 9.如权利要求8所述的基于多模型融合的水下视频目标尺度空间判别式跟踪方法， 其 特征在于， 所述 步骤2.1中基于高斯混合模型的检测算法具体包括： 步骤2.1.1定义像素模型 每个像素由多个单模型描述： P(p)＝{[wi(x， y， t)， ui(x， y， t)， σi(x， y， t)2]}， i＝1， 2， …， K， 其中K表示高斯混合模型 中单模型的个数， wi(x， y， t)表示每个模型的权重， μ为已有高斯模型的均值， σ 为已有高斯权　利　要　求　书 2/4 页 3 CN 114898202 A 3