(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210338616.4 (22)申请日 2022.04.01 (71)申请人 山东大学 地址 266237 山东省青岛市 即墨滨海路72 号 (72)发明人 彭朝晖　张能威　李彬　褚曜珲　 谢汶羲　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 董雪 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/42(2022.01)G06K 9/62(2022.01) G01S 17/89(2020.01) (54)发明名称 基于语义感知特征增强的短波红外舰船检 测方法及系统 (57)摘要 本发明公开了一种基于语义感知特征增强 的短波红外舰船检测方法及系统， 包括： 获取海 上短波红外图像； 得到增强后的短波红外全局特 征和实例特征； 将短波红外实例特征嵌入到对应 的隐语义空间获得其隐语义表 示， 将短波红外图 像的实例特征和其隐语义表示共同输入训练好 的第二生 成对抗网络， 得到增强后的短波红外实 例特征； 将增强后的短波红外全局特征和增强后 的短波红外实例特征进行合并， 合并后的特征输 入至目标检测头， 得到短波红外舰船的检测结 果。 本发明通过语义感知， 能够更加深入地挖掘 短波红外实例特征的空间信息和语义信息， 特征 合并模块充分考虑了短波红外全局特征和实例 特征的空间关系， 合成更好的特 征表示。 权利要求书3页 说明书8页 附图3页 CN 114758202 A 2022.07.15 CN 114758202 A 1.一种基于语义感知特 征增强的短波红外舰船检测方法， 其特 征在于， 包括： 获取海上短波红外图像； 提取短波红外图像的多尺度特征， 对多尺度 特征进行融合， 得 到短波红外图像的全局特 征； 预测短波红外图像全局特征的候选框， 根据候选框在全局特征图上进行多尺度池化得 到实例特 征； 将短波红外图像的全局特征输入训练好的第 一生成对抗网络， 得到增强后的短波红外 全局特征； 将短波红外实例特征嵌入到对应的隐语义空间获得其隐语义表示， 将短波红外图像的 实例特征和其隐语义表示共同输入训练好的第二生成对抗网络， 得到增强后的短波红外实 例特征； 将增强后的短波红外全局特征和增强后的短波红外实例特征进行合并， 合并后的特征 输入至目标检测头， 得到短波红外舰船的检测结果。 2.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法， 其特征 在于， 采用残差网络作为骨干网络来提取短波红外图像的多尺度特征， 采用特征金字塔网 络来融合多尺度特 征得到全局特 征。 3.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法， 其特征 在于， 所述第一 生成对抗网络的训练过程包括： 构建第一生成对抗网络的训练样本集； 训练样本集包括经过标注的海洋场景下的短波 红外图形和可 见光图像； 固定生成器网络的参数， 将海上短波红外 图像的全局特征输入生成器， 输出增强后的 全局特征， 然后与海 上可见光图像的全局特征共同输入判别器， 计算分类损失， 训练判别器 网络； 固定判别器网络的参数， 将海上短波红外 图像的全局特征输入生成器， 输出增强后的 全局特征； 然后将增强后的全局特 征输入判别器， 计算分类损失， 训练生成器网络 。 4.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法， 其特征 在于， 隐语义表示的学习过程包括： 获得舰船类别嵌入向量表， 将其分别映射为短波红外域的隐语义嵌入向量表 和 可见光域的隐语义嵌入向量表 计算 与 之间的一致性损失， 构建损失 函数Lebd； 将短波红外图像得到的实例特征 嵌入到短波红外隐语义空间得到其隐语义表示 计算 和隐语义嵌入向量表 的相似度， 构建损失函数 将可见光图像得到的实例特征 嵌入到可见光隐语义空间得到其隐语义表示 计算 和隐语义嵌入向量表 的相似度， 构建损失函数 将短波红外图像得到的实例特征 输入生成器网络， 先由解码器得到潜在表示， 将潜 在表示与隐语义表示 逐元素相加， 然后输入解码器得到增强后的短波红外实例特征权　利　要　求　书 1/3 页 2 CN 114758202 A 2将 映射到可见光域的 隐语义空间Svis， 得到 计算其与隐语义 嵌入向 量表 的相似度， 构建损失函数 基于上述损失函数， 使用短波红外实例特征 和可见光图像得到的实例特征 来学 习隐语义表示。 5.如权利要求4所述的一种基于语义感知特征增强的短波红外舰船检测方法， 其特征 在于， 使用短波红外实例特征 和可见光图像得到的实例特征 来训练第二生成对抗 网络； 具体包括： (1)固定生成器网络的参数， 将短波红外 实例特征 输入生成器得到增强后的实例特 征， 与可见光实例特 征 共同输入判别器网络并计算分类损失， 训练判别器网络； (2)固定判别器网络的参数， 将短波红外实例特征 输入生成器得到增强后的实例特 征， 然后将增强后的实例特 征输入判别器网络并计算分类损失， 训练生成器网络 。 6.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法， 其特征 在于， 将增强后的短波红外全局特 征和增强后的短波红外实例特 征进行合并， 具体包括： 取增强后的短波红外图像的全局特征设定步长的特征图， 分别在其上每个像素点设置 设定尺度的锚框； 将增强后的短波红外实例特征在原图上的边界框视为在原图上的一个区域； 对所述特 征图的每一个像素点， 计算其锚框和短波红外实例特征对应的区域的权重， 然后将重新赋 予权重的短波红外实例特征以逐元素相加的方式融入增强后的短波红外全局特征， 得到合 并后的特 征， 权重考虑了锚框和区域的重 叠面积和空间关系。 7.如权利要求1所述的一种基于语义感知特征增强的短波红外舰船检测方法， 其特征 在于， 合并后的特征输入至目标检测头， 目标检测头利用所述特征预测舰船目标的边界框 和类别。 8.一种基于语义感知特 征增强的短波红外舰船检测系统， 其特 征在于， 包括： 全局特征获取模块， 用于根据所获取的海上短波红外 图像； 提取短波红外 图像的多尺 度特征， 对多尺度特 征进行融合， 得到短波红外图像的全局特 征； 实例特征获取模块， 用于预测短波红外 图像全局特征的候选框， 根据候选框在全局特 征图上进行多尺度池化得到实例特 征； 特征增强模块， 用于将短波红外 图像的全局特征输入训练好的第一生成对抗网络， 得 到增强后的短波红外全局特征； 将短波红外实例特征嵌入到对应的 隐语义空间获得其隐语 义表示， 将短波红外图像的实例特征和其隐语义表示共同输入训练好的第二生成对抗网 络， 得到增强后的短波红外实例特 征； 特征合并模块， 用于将增强后的短波红外全局特征和增强后的短波红外实例特征进行 合并， 合并后的特 征输入至目标检测头， 得到短波红外舰船的检测结果。 9.一种终端设备， 其包括处理器和存储器， 处理器用于实现各指令； 存储器用于存储多 条指令， 其特征在于， 所述指 令适于由处理器加载并执行权利要求 1‑7任一项所述的基于语 义感知特 征增强的短波红外舰船检测方法。权　利　要　求　书 2/3 页 3 CN 114758202 A 3