(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210333408.5 (22)申请日 2022.03.31 (71)申请人 西安电子科技大 学 地址 710000 陕西省西安市雁塔区太白南 路2号 (72)发明人 秦翰林　罗国慧　延翔　欧洪璇　 孙鹏　张昱赓　陈嘉欣　冯冬竹　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 李薇 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于模态差异特征引导的红外可见光融合 识别系统和方法 (57)摘要 本发明公开了一种基于模态差异特征引导 的红外可见光融合识别系统， 包括双流骨干网络 模块、 光照热度感知模块和级联区域提议模块， 其中， 所述双流骨干网络模块包括红外特征提取 单元、 可见光特征提取单元 以及特征引导单元， 其中， 红外特征提取单元获取原始红外图像的不 同尺度红外特征， 可见光特征提取单元获取可见 光图像的不同尺度可见光特征； 特征引导单元获 得加权的红外特征和加权的可见光特征； 光照热 度感知模块获取可见光特征的可信度权值和红 外特征的可信度权值； 级 联区域提议模块用于获 得目标的识别结果。 本发明采用模态间特征差异 引导补充学习的层级间特征生 成方式， 提升了模 态间特征表 示的依赖性， 并提高了网络系统的泛 化能力。 权利要求书3页 说明书12页 附图2页 CN 114898189 A 2022.08.12 CN 114898189 A 1.一种基于模态差异特征引导的红外可见光融合识别系统， 其特征在于， 包括双流骨 干网络模块、 光照热度感知模块和级联区域 提议模块， 其中， 所述双流骨干网络模块包括红外特征提取单元、 可见光特征提取单元以及特征引导单 元， 其中， 所述红外特征提取单元用于获取原始红外图像的不同尺度红外特征， 所述可见光 特征提取单元用于获取与所述红外图像为同一场景的可见光图像的不同尺度可见光特征； 所述特征引导单元用于对当前尺度的红外特征和可见光特征进行融合和加权， 获得加权的 红外特征和加权的可见光特征， 以交叉引导所述红外特征提取单元和所述可见光特征提取 单元中下一尺度红外特 征和可见光特征的形成； 所述光照热度感知模块用于根据原始红外图像的图像热度值、 原始可见光图像的图像 照明值， 获得 可见光特征的可信度权值和红外特 征的可信度权值； 所述级联区域提议模块用于根据不同尺度的红外特征、 不同尺度的可见光特征、 以及 可见光特征的可信度权值和红外特 征的可信度权值， 获得目标的识别结果。 2.根据权利要求1所述的基于模态差异特征引导的红外可见光融合识别系统， 其特征 在于， 所述红外特征提取单元包括多个级联 的红外特征提取卷积层， 以获得不同尺度的红 外光特征； 所述可见光特征提取单元包括多个级联 的可见光特征提取单元， 以获得不同尺 度的可见光特征； 所述特征引导单元包括多个级联的模态差异引导子单元， 其中， 所述模态差异引导子 单元利用当前尺度的红外光特征和可见光特征以及上一个模态差异引导子单元获取的红 外可见光融合向量， 获得加权的红外特征、 加权的可见光特征以及红外可见光融合向量， 并 将加权的红外特征传输至下一尺度的可见光特征提取单元， 将加权的可见光特征传输至下 一尺度的红外特征提取单元， 以交叉引导所述红外特征提取单元和所述可见光特征提取单 元中下一尺度红外特征和可见光特征的形成， 同时将所述红外可见光融合向量传输至下一 个模态差异引导子单 元。 3.根据权利要求2所述的基于模态差异特征引导的红外可见光融合识别系统， 其特征 在于， 所述模态差异引导子单 元具体用于： 对当前可见光特征、 当前红外特征以及前一模态差异引导子单元输出的可见光红外融 合特征进行融合， 并通过三个并行的3 ×3卷积层进行特征分离， 获得包括更多语义信息的 可见光特征、 红外特征以及可见光红外融合特征， 随后利用Sigmoid激活函数得到 当前可见 光特征和当前红外特 征对应的权值， 从而形成加权的可 见光特征和加权的红外特 征。 4.根据权利要求1所述的基于模态差异特征引导的红外可见光融合识别系统， 其特征 在于， 所述红外特征提取单元具体包括第一基础层、 第一密集融合层、 第二密集融合层、 第 三密集融合层和第四密集融合层， 所述可见光特征提取单元具体包括第二基础层、 第 五密 集融合层、 第六密集融合层、 第七密集融合层和 第八密集融合层， 所述特征引导单元包括第 一模态特征差异引导子单元、 第二模态特征差异引导子单元、 第三模态特征差异引导子单 元、 第四模态特 征差异引导子单 元， 其中， 所述第一基础层用于输入原始可见光图像并获得第 一尺度可见光特征， 所述第 二基础 层用于输入原始红外图像并获得第一尺度红外特征， 所述第一模态特征差异引导子单元用 于对所述第一尺度可见光特征和所述第一尺度红外特征进 行融合， 并获得第一尺度红外可 见光融合向量、 第一加权红外特 征和第一加权可 见光特征；权　利　要　求　书 1/3 页 2 CN 114898189 A 2所述第一密集融合层用于利用所述第 一加权红外特征和第 一尺度可见光特征， 获得第 二尺度可见光特征； 所述第五密集融合层用于利用所述第一加权可见光特征和 第一尺度红 外特征， 获得第二尺度 红外特征； 所述第二模态特征差异引导子单元用于对所述第二尺度 可见光特征、 所述第二尺度 红外特征以及第一尺度 红外可见光融合向量进行融合， 获得第 二尺度红外可 见光融合向量、 第二加权红外特 征和第二加权可 见光特征； 所述第二密集融合层用于利用所述第 二加权红外特征和第 二尺度可见光特征， 获得第 三尺度可见光特征； 所述第六密集融合层用于利用所述第二加权可见光特征和 第二尺度红 外特征， 获得第三尺度 红外特征； 所述第三模态特征差异引导子单元用于对所述第三尺度 可见光特征、 所述第三尺度 红外特征以及第二尺度 红外可见光融合向量进行融合， 获得第 三尺度红外可 见光融合向量、 第三加权红外特 征和第三加权可 见光特征； 所述第三密集融合层用于利用所述第 三加权红外特征和第 三尺度可见光特征， 获得第 四尺度可见光特征； 所述第七密集融合层用于利用所述第三加权可见光特征和 第三尺度红 外特征， 获得第四尺度 红外特征； 所述第四模态特征差异引导子单元用于对所述第四尺度 可见光特征、 所述第四尺度 红外特征以及第三尺度 红外可见光融合向量进行融合， 获得第 四尺度红外可 见光融合向量、 第四加权红外特 征以及第四加权可 见光特征； 所述第四密集融合层用于利用所述第四加权红外特征和第四尺度 可见光特征， 获得第 五尺度可见光特征； 所述第八密集融合层用于利用来自所述第四加权可见光特征和第四尺 度红外特 征， 获得第五尺度红外特 征。 5.根据权利要求4所述的基于模态差异特征引导的红外可见光融合识别系统， 其特征 在于， 所述第一基础层和所述第二基础层均由步长为1的5 ×5卷积核、 步长为1的1 ×1卷积 核和步长为2的3 ×3卷积核组成； 所述第一密集融合层、 第二密集融合层、 第三密集融合层、 第四密集融合层、 第五密集融合层、 第六密集融合层、 第七密集融合层和 第八密集融合层均 由步长为2的shul lflenetv2基础卷积核组成。 6.根据权利要求1所述的基于模态差异特征引导的红外可见光融合识别系统， 其特征 在于， 所述光照热度感知模块包括光照热度感知单元、 光照 感知机制单元和热度感知机制 单元， 其中， 所述光照热度感知单元用于根据输入的原始可见光图像和原始红外图像进获得目标 区域的最低光照值和最高光照值， 以及目标区域的最低热度值和最高热度值； 所述光照感知机制单元用于根据目标区域的最低 光照值和最高光照 值， 获得在 当前光 照条件下的可 见光特征可信度权值和红外特 征可信度权值； 所述热度感知机制单元用于根据目标区域的最低热度值和最高热度值， 获得在 当前热 度条件下的可 见光特征可信度权值和红外特 征可信度权值。 7.根据权利要求6所述的基于模态差异特征引导的红外可见光融合识别系统， 其特征 在于， 所述光照热度感知单元包括两个卷积层和三个全连接层， 在所述卷积层与所述全连 接层之间采用RELU激活函数和2 ×2最大池化层， 以对特征进行压缩和提取， 所述光照热度 感知单元的光照强度损失为： 其中， wd和wn是所述光照热度感知单元获取的目标区域的最低光照值和最高光照值， 权　利　要　求　书 2/3 页 3 CN 114898189 A 3