(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111625448.9 (22)申请日 2021.12.28 (71)申请人 安徽大学 地址 230039 安徽省合肥市蜀山区肥西路3 号 (72)发明人 纪晴　李成龙　王亮　张彰　 鹿安东　刘亮　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 代理人 丁瑞瑞 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于元学习参数转移的可见光红外视觉跟 踪方法 (57)摘要 本发明公开了基于元学习参数转移的可见 光红外视觉跟踪方法， 所述方法包括： 构建多模 态视觉跟踪控制模型； 将样本输入多模态视觉跟 踪控制模型对其进行训练， 样 本包括多个热红外 图像和其对应的可见光图像形成的多个图像对 以及多个单独的可见光图像， 训练过程中先向模 型输入图像对进行第一预设次数的迭代训练， 然 后交替输入单独的可见光图像与图像对对模型 继续训练第二预设次数， 并且在交替训练过程中 利用图像对进行模型训练的时候图像需要经过 元学习器； 训练完成以后模型跟踪， 输出预测目 标位置； 本发明的优点在于： 弥补训练集的不足， 提升模型性能， 解决现有技术因数据量有限而限 制模型性能提升的问题。 权利要求书3页 说明书8页 附图6页 CN 114299114 A 2022.04.08 CN 114299114 A 1.基于元 学习参数转移的可 见光红外 视觉跟踪方法， 其特 征在于， 所述方法包括： 步骤一： 构建多模态视 觉跟踪控制模型； 步骤二： 将样本输入多模态视觉跟踪控制模型对其进行训练， 所述样本包括多个热红 外图像和其对应的可见光图像形成的多个图像对以及多个单独的可见光图像， 训练过程中 先向模型输入图像对进行第一预设次数的迭代训练， 然后交替输入单独的可见光图像与图 像对对模型继续训练第二预设次数， 并且在交替训练过程中利用图像对进 行模型训练的时 候图像需要经 过元学习器； 步骤三： 训练完成以后实时采集视频， 提取成对的热红外 图像和其对应的可见光图像 输入训练好的模型， 模型跟踪， 输出 预测目标位置 。 2.根据权利要求1所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在 于， 所述多模态视觉跟踪控制模型包括顺序编号的第一通用适配器至第三通用适配器、 第 一可见光模态适配器至第三可见光模态适配器、 第一热红外模态适配器至第三热 红外模态 适配器、 元学习器、 第一 实例适配器及第二 实例适配器， 第一可见光模态适配器与第一通用 适配器的一个输入端连接且接收单独的可见光图像或者热 红外图像对应的可见光图像， 第 一热红外模态适配器与第一通用适配器的另一个输入端连接并接收热 红外图像， 第一可见 光模态适配器的输出结果叠加到第一通用适配器的第一输出端之后输入第二可见光模态 适配器以及第二通用适配器， 第一热 红外模态适配器的输出结果叠加到第一通用适配器的 第二输出端之后输入第二热红外模态适配器以及第二通用适配器， 第二可见光模态适配器 的输出结果叠加到第二通用适配器的第一输出端后输入第三可见光模态适配器以及第三 通用适配器， 第二热 红外模态适配器的输出结果叠加到第二通用适配器的第二输出端之后 输入第三热红外模态 适配器以及第三通用适配器， 第三可见光模态适配器的输出结果叠加 到第三通用适配器的第一输出端， 第三可见光模态适配器经过元学习器与第三热 红外模态 适配器连接， 第三热 红外模态适配器经降维单元将输出结果叠加到第三通用适配器的第二 输出端， 仅有第三通用适配器的第一输出端输出结果时， 该输出结果经第二实例适配器输 出， 否则融合第三通用适配器的第一输出端和第二输出端的结果后经第一实例适配器输 出。 3.根据权利要求2所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在 于， 所述第一可见光模态适配器和第一热红外模态适配器结构相同， 均由顺次级联的3 ×3 卷积层、 ReLU、 LRN及5 ×5最大池化层 组成； 第二可见光模态适配器和第二热红外模态适配 器结构相同， 均由顺次级 联的1×1卷积层、 ReLU、 L RN及5×5最大池化层组成； 第三可见光模 态适配器、 第三热 红外模态适配器及降维单元结构相同， 均由顺次级 联的1×1卷积层、 ReLU 及LRN组成； 第一通用适配器由7 ×7卷积层、 ReLU、 LRN及3 ×3最大池化层组成， 第二通用适 配器由5×5卷积层、 ReLU、 LRN及3 ×3最大池化层组成， 第三通用适配器由3 ×3卷积层、 ReLU 及LRN组成； 所述元学习器由顺次级 联的两个学习单元 组成， 两个学习单元均由ReLU和全连 接层组成， 两个学习 单元的全连接层的维度不同； 第一实例适配器由顺次级联的全连接层 FC4、 一个ReLU、 一个随机失活函数、 全 连接层FC5、 另一个ReLU、 另一个随机失活函数及全连 接层FC6组成， 第二实例适配器的结构与第一实例适配器的结构相同， 但全连接层FC4的维 度不同。 4.根据权利要求2所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在权　利　要　求　书 1/3 页 2 CN 114299114 A 2于， 所述多模态视 觉跟踪控制模型的训练过程包括： 使用热红外 图像和其对应的可见光图像形成的多个图像对迭代70次预先训练网络模 型， 设定batchsiz为128， 卷积层的学习率为0.0001， 全 连接层的学习率为0.0002， 训练过程 中可见光图像和其对应的热红外图像同时输入模型中， 可见光图像依次经过第一可见光适 配器及对应位置的第一通用适配器、 第二可见光适配器及对应位置的第二通用适配器、 第 三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第 一输出端， 热红外图像依 次经过第一热红外适配器及对应位置的第一通用适配器、 第二热 红外适配器及 对应位置的第二通用适配器、 第三热 红外适配器及对应位置的第三通用适配 器之后输出结果融合到第三通用适配器的第二输出端， 第三通用适配器的第一输出端和 第 二输出端的结果融合之后通过第一实例适配 器输出。 5.根据权利要求4所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在 于， 训练过程中使用的样本获取方式为： 在视频的每一帧中根据给定的真值框选取S+＝4 (IOU≥0.7)和S‑＝12(IOU≤0.5)的样本数， 其中S+表示正样本， S‑表示负样本， I OU表示采集 样本与真值框之间的交并比， 通过采集的正负 样本。 6.根据权利要求5所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在 于， 所述多模态视觉跟踪控制模型 的训练过程还包括： 交替输入单独的可见光图像与图像 对对模型继续训练130次， 学习率和样本取样方式与使用热红外图像和其对应的可见光图 像对迭代70次预 先训练网络模型相同。 7.根据权利要求6所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在 于， 每次采用单独的可见光图像对模型训练时， 单独的可见光图像依 次经过第一可见光适 配器及对应位置的第一通用适配器、 第二可见光适配器及对应位置的第二通用适配器、 第 三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第 一输出端， 第三 通用适配 器的第一输出端的输出 结果从经 过第二实例适配 器输出。 8.根据权利要求6所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在 于， 交替输入 单独的可见光图像与图像对对模型继续训练130次的过程中， 每次利用图像对 对模型训练时， 可见光图像依 次经过第一可见光适配器及对应位置的第一通用适配器、 第 二可见光适配器及 对应位置的第二通用适配器、 第三可见光适配器及 对应位置的第三通用 适配器之后输出结果融合到第三通用适配器的第一输出端， 热 红外图像依次经过第一热红 外适配器及对应位置的第一通用适配器、 第二热红外适配器及对应位置的第二通用适配 器， 第二热红外适配器及对应位置的第二通用适配器的输出结果融合后输入到第三热 红外 适配器及第三通用适配器， 第三可见光适配器的输出经过元学习器输入到第三热 红外适配 器， 第三热红外适配器输出结果经过降维单元之后融合到第三通用适配器的第二输出端， 第三通用适配 器的第一输出端和第二输出端的结果融合之后通过第一实例适配 器输出。 9.根据权利要求1所述的基于元学习参数转移 的可见光红外视觉跟踪方法， 其特征在 于， 所述步骤三包括： 训练完成以后实时采集视频， 提取成对的热 红外图像和其对应的可见 光图像输入训练好的模型， 可见光图像依次经过第一可见光适配器及 对应位置的第一通用 适配器、 第二可见光适配器及对应位置的第二通用适配器、 第三可见光适配器及对应位置 的第三通用适配器之后输出结果融合到第三通用适配器的第一输出端， 热 红外图像依次经 过第一热 红外适配器及 对应位置的第一通用适配器、 第二热红外适配器及 对应位置的第二权　利　要　求　书 2/3 页 3 CN 11429911