(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210516263.2 (22)申请日 2022.05.12 (71)申请人 吉林大学 地址 130000 吉林省长 春市朝阳区前进大 街2699号 (72)发明人 张素民　白日　何睿　刘洁美　 李星辰　 (74)专利代理 机构 西安知诚思 迈知识产权代理 事务所(普通 合伙) 61237 专利代理师 何秀娟 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/22(2022.01) G06V 10/25(2022.01)G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06T 3/00(2006.01) G06T 7/80(2017.01) (54)发明名称 基于可见光图像与红外图像融合的行人检 测方法、 模型、 电子设备和计算机可读介质 (57)摘要 本发明公开了基于可见光图像与红外图像 融合的行人检测方法、 模型、 电子设备和计算机 可读介质， 方法包括： 对同步获取的包含有行人 的红外图像与可见光图像进行标定、 配准、 构成 公共标签文件； 对公共 标签文件中的图像分别进 行特征提取， 并获取红外图像的ROI信息； 将红外 图像的ROI信息映射到对应的可见光图像的特征 图上， 得到融合后的特征图； 对于融合后的特征 图， 经分类、 调整位置， 提取出目标类别和识别 框， 从而实现行人检测。 本发明融合红外和光学 特征， 并将红外图像生成ROI信息映射到可见光 图像提取的特征图中， 结合了可见光图像纹理清 晰、 红外图像行人特征显著的优势， 有效地克服 了光照条件 对行人检测的影响。 权利要求书2页 说明书11页 附图5页 CN 114937309 A 2022.08.23 CN 114937309 A 1.基于可 见光图像与红外图像融合的行 人检测方法， 其特 征在于， 包括： 同步获取包 含有行人的红外图像与可 见光图像； 对获取的所述红外图像与所述可 见光图像进行 标定、 配准； 配准的红外图像与对应的可 见光图像组成数据对， 各 数据对构成公共标签文件； 对所述公共标签文件中的红外图像和可见光图像分别进行特征提取， 获得各自的特征 图， 并获取其中所述红外图像的ROI信息； 将所述红外图像的ROI信息映射到对应的可见光图像的特征图上， 得到融合后的特征 图； 对于所述融合后的特征图， 采用softmax方法分类， 并用目标框回归方法调整位置， 最 终提取出目标类别和识别框， 从而实现行 人检测。 2.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法， 其特征在 于， 对所述红外图像与所述可 见光图像进行 标定、 配准， 具体包括以下步骤： 分别定义红外相机和光学相机在世界坐标系下的坐标， 在对应坐标系下对标定板上不 同位姿和距离的角点拍摄红外图像和可 见光图像； 根据红外相机或光学相机的尺寸因子、 角点在像素坐标系和世界坐标系的坐标， 得到 红外相机或光学相 机的单应性矩阵， 再根据多组角点坐标和约束性条件， 得到红外相 机或 光学相机的内参矩阵和外参矩阵； 所述红外相机或光学相机的外参矩阵包括角点相对于红 外相机或光学相机主点的旋转矩阵和平 移矩阵； 根据角点相对于红外相机和光学相机的外参矩阵， 得到红外相机相对于光学相机的旋 转矩阵和平 移矩阵， 确定红外相机和光学相机之间的坐标系转变关系， 完成标定； 对于获取的所述包含有行人的红外图像与 可见光图像， 根据确定的所述红外相机和光 学相机之间的坐标系转变关系， 进行配准。 3.根据权利要求2所述的基于可见光图像与红外图像融合的行人检测方法， 其特征在 于， 在确定红外相机和光学相机 之间的坐标系转变关系的过程中， 还包括： 输入红外相机和 光学相机的畸变矩阵。 4.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法， 其特征在 于， 所述各 数据对构成公共标签文件的过程， 包括以下步骤： 对配准后的红外 图像与对应的可见光图像分别进行标注， 形成各自的标注项； 由所述 红外图像与所述可见光图像的标注项， 分别构成所述红外图像与所述可见光图像的标签文 件； 遍历所述红外图像与 所述可见光图像的标注项， 计算两个标签文件中各个标注项之间 的交并比； 对于一个标签文件中的标注项， 在另外一个标签文件中仅有一个对应标注项与 之的交并比大于设定阈值时， 将该 标注项与对应标注项存 入共用标签文件中； 当所述标注项未检索到与之交并比大于设定阈值的对应标注项时， 则 舍弃该所述标注 项； 当所述标注项检索到多项与之交并比大于设定阈值的对应标注项时， 对所述设定阈值 进行更新， 再次进入标注过程， 直到标签文件所有标注项完成标注过程， 结束循环。 5.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法， 其特征在 于， 对于所述公共标签文件中的红外图像， 经过改进的Darknet主干网络进行多次特征提 取， 得到红外图像的特征图； 其中， 每次所述特征提取均由上一层特征图为输入， 经过卷积权　利　要　求　书 1/2 页 2 CN 114937309 A 2层、 残差网络、 稠 密块处理， 分别进 行特征提取、 跳跃连接、 特征重用， 得到下一层特征图， 最 后一层特 征提取模块获得的特 征图作为红外图像的特 征图。 6.根据权利要求5所述的基于可见光图像与红外图像融合的行人检测方法， 其特征在 于， 获取所述红外图像的ROI信息的过程， 包括以下步骤： 在所述红外图像的特征图中生成先验框， 并设计三个所述先验框与 所述红外图像的特 征图的面积比， 以及三个所述先验框与所述红外图像的特征图的高宽比； 对于所述红外图 像的特征图的每 个特征点生成9个先验框； 以所述红外图像的特征图为输入， 通过一个卷积层处理， 融合不同通道之间的特征， 得 到红外图像的融合特 征图； 将所述红外图像的融合特 征图分别进行1 ×1×36和1×1×18卷积； 将经1×1×36卷积输出的特 征图进行目标框回归， 获得初步的目标框信息； 将经1×1×18卷积输出的特征 图利用softmax函数区分前景图像和背景图像， 获得特 征图中每个先验框的二分类结果， 识别为前景 的先验框作为候选， 识别为背景 的先验框视 为负样本丢弃； 利用Proposal层综合前景 图像和初步的目标框信息生成包含ROI信息的特征图， 即获 取红外图像的ROI信息 。 7.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法， 其特征在 于， 对于所述公共标签文件中的可 见光图像， 其特 征提取过程， 包括以下步骤： 通过随机缩放、 裁 剪以及排布进行 数据增强， 得到数据增强的可 见光图像特 征图； 对所述数据增强的可 见光图像特 征图进行切片， 获得 可见光图像的小块特 征图； 以所述可见光图像的小块特征 图为输入， 依次输入至CBL模块、 CSP1_1模块中， 进行特 征提取， 得到可 见光图像的第一特 征图； 以所述可见光图像的第一特征图为输入， 通过三个并行的空洞卷积模块， 得到三个并 行的特征图， 合并三个并行的特 征图， 得到可 见光图像的第二特 征图； 将所述可见光图像的第二特征图压缩 处理， 再依次输入至CBL模块、 CSP1_3模块、 CBL模 块、 CSP2_3模块和S PP模块， 进一 步提取特征， 得到所述可 见光图像的特 征图。 8.一种基于可 见光图像与红外图像融合的行 人检测模型， 其特 征在于， 包括： 获取单元， 用于获取包含有行人的红外 图像与可见光图像， 所述红外 图像与可见光图 像用于进行 标定、 配准、 特 征提取以及特 征融合； 提取单元， 用于提取 所述红外图像和可 见光图像的特 征并进行 特征融合； 检测单元， 用于对融合的特 征图进行分类、 调整， 实现行 人检测。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1～7任一所述的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1～7中任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 114937309 A 3