(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210509810.4 (22)申请日 2022.05.11 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 司世景　王健宗　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 廖慧贤 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 40/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型的训练方法和装置、 目标识别方法、 设 备、 介质 (57)摘要 本申请实施例提供了一种模型的训练方法 和装置、 目标识别方法、 设备、 介质， 属于人工智 能技术领域。 模 型的训练方法通过对原始可见光 图像进行特征提取， 得到第一特征图像， 对原始 红外图像进行特征提取， 得到第二特征图像， 然 后， 再对第一特征图像和第二特征图像进行跨模 态融合处理， 得到第一融合图像和第二融合图 像， 再根据第一特征图像、 第二特征图像、 第一融 合图像和第二融合图像对双流网络模型进行训 练， 得到目标识别模型， 该目标识别模型用于对 目标图像进行识别处理， 得到目标识别结果。 本 申请实施例的技术方案， 提高了模 型对目标图像 识别的准确性。 权利要求书3页 说明书17页 附图7页 CN 114937189 A 2022.08.23 CN 114937189 A 1.一种模型的训练方法， 其特 征在于， 所述模型的训练方法包括： 获取原始训练图像； 其中， 所述原始训练图像包括原始红外图像和原始可见光图像， 所 述原始红外图像由拍摄预设目标 得到， 所述原 始可见光图像由拍摄所述预设目标 得到； 将所述原始训练图像输入至预设的双流网络模型； 其中， 所述预设的双流网络模型包 括第一网络模型和第二网络模型， 所述第一网络模型和所述第二网络模型相同； 通过所述第 一网络模型对所述原始可见光图像进行第 一初步特征提取， 得到第 一初步 特征图像， 并对所述第一初步特征图像进行第一关键特征提取， 得到第一特征图像； 其中， 所述第一特 征图像用于表征 所述预设目标的特 征； 通过所述第 二网络模型对所述原始 红外图像进行第 二初步特征提取， 得到第 二初步特 征图像， 并对所述第二初步特征图像进行第二关键特征提取， 得到第二特征图像； 其中， 所 述第二特 征图像用于表征 所述预设目标的特 征； 对所述第一特征图像和所述第 二特征图像进行跨模态融合处理， 得到第 一融合图像和 第二融合图像； 其中， 所述第一融合图像用于表征所述预设目标的特征， 所述第二融合图像 用于表征 所述预设目标的特 征； 根据所述第一特征图像、 所述第 二特征图像、 所述第 一融合图像和第 二融合图像， 对所 述双流网络模型进 行训练， 得到目标识别模型； 其中， 所述目标识别模型用于对目标图像进 行识别处理， 得到目标识别结果； 所述 目标图像包括由拍摄第一 目标得到的目标可见光图 像和由拍摄第二目标 得到的目标红外图像， 所述目标识别结果包括： 所述第一目标与所述第二目标相同的第一结果； 或者 所述第一目标与所述第二目标不相同的第二结果。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述第 一初步特征图像进行第 一关 键特征提取， 得到第一特 征图像， 包括： 对所述第一初步特 征图像进行自注意力强化处 理， 得到第一强化图像； 对所述第一强化图像进行 卷积处理， 得到所述第一特 征图像。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述第 一初步特征图像进行自注意 力强化处 理， 得到第一强化图像， 包括： 对所述第一初步特 征图像进行聚合处 理， 得到聚合图像； 对所述聚合图像进行归一激活 处理， 得到通道激活图像； 对所述通道激活图像进行调整处 理， 得到通道 注意力图像； 对所述第一初步特 征图像像进行压缩处 理， 得到压缩图像； 对所述压缩图像进行归一激活 处理， 得到空间激活图像； 对所述空间激活图像进行调整处 理， 得到空间注意力图像； 根据所述第一初步特征图像、 所述通道注意力图像和所述空间注意力图像， 得到所述 第一强化图像。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述通道激活图像进行调整处理， 得到通道 注意力图像， 包括： 获取预设的响应阈值； 获取所述通道激活图像的像素值， 得到通道图像 像素值；权　利　要　求　书 1/3 页 2 CN 114937189 A 2根据所述响应 阈值和所述通道图像像素值， 对所述通道激活图像进行强化或者削弱处 理， 得到所述 通道注意力图像。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述响应 阈值和所述通道图像像 素值， 对所述 通道激活图像进行强化或者削弱处 理， 得到所述 通道注意力图像， 包括： 获取预设的强化因子， 获取 预设的削弱因子； 若所述响应阈值大于或等于所述通道图像像素值， 则以所述强化因子对所述通道图像 像素值对应的区域进行强化处 理， 得到所述 通道注意力图像； 若所述响应阈值小于所述通道图像像素值， 则以所述削弱因子对所述通道图像像素值 对应的区域进行削弱处 理， 得到所述 通道注意力图像。 6.根据权利要求1至5任意一项所述的方法， 其特征在于， 所述根据 所述第一特征图像、 所述第二特征图像、 所述第一融合图像和第二融合图像， 对所述双流网络模型进 行训练， 得 到目标识别模型， 包括： 根据所述第一特征图像、 所述第 二特征图像、 所述第 一融合图像和所述第 二融合图像， 计算得到第一损失值； 根据所述第一特 征图像和所述第二特 征图像， 计算得到第二损失值； 根据所述第一损失值和所述第二损失值， 计算得到目标损失值； 根据所述目标损失值对所述双流网络模型的参数进行更新处理， 得到所述目标识别模 型。 7.一种目标识别方法， 其特 征在于， 所述目标识别方法包括： 获取目标图像； 其中， 所述目标图像包括目标可见光图像和目标红外图像， 所述目标可 见光图像由拍摄第一目标 得到， 所述目标红外图像由拍摄第二目标 得到； 将所述目标可见光图像和所述目标红外 图像输入至目标识别模型； 其中， 所述目标识 别模型为 根据权利要求1至 6任意一项所述的模型的训练方法训练得到； 通过所述目标识别模型对所述目标可见光图像进行识别、 对所述目标红外图像进行识 别， 得到目标识别结果； 其中， 所述目标识别结果包括： 所述第一目标与所述第二目标相同的第一结果； 或者 所述第一目标与所述第二目标不相同的第二结果。 8.一种模型的训练装置， 其特 征在于， 所述模型的训练装置包括： 获取模块， 用于获取原始训练图像； 其中， 所述原始训练图像包括原始红外图像和原始 可见光图像， 所述原始红外图像由拍摄预设目标得到， 所述原始可见光图像由拍摄所述预 设目标得到； 图像输入模块， 用于将所述原始训练图像输入至预设的双流网络模型； 其中， 所述预设 的双流网络模型包括第一网络模型和 第二网络模型， 所述第一网络模型和所述第二网络模 型相同； 可见光提取模块， 用于通过所述第 一网络模型对所述原始可见光图像进行第 一初步特 征提取， 得到第一初步特征图像， 并对 所述第一初步特征图像进 行第一关键特征提取， 得到 第一特征图像； 其中， 所述第一特 征图像用于表征 所述预设目标的特 征； 红外提取模块， 用于通过所述第 二网络模型对所述原始 红外图像进行第 二初步特征提权　利　要　求　书 2/3 页 3 CN 114937189 A 3