(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111667833.X (22)申请日 2021.12.3 0 (71)申请人 西安建筑科技大 学 地址 710055 陕西省西安市碑林区雁塔路 13号 (72)发明人 张逊逊　彭浪　逯晓宇　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 代理人 李鹏威 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种车辆自适应融合检测方法及系统 (57)摘要 本发明公开了一种车辆自适应融合检测方 法及系统， 通过对同一角度获取的航拍可见光图 像和红外图像 分别进行多级预处理， 采用鲁棒特 征对多级预处理后的可见光图像和红外图像进 行配准， 分别对 可见光图像和红外图像中的车辆 进行检测， 建立基于多特征融合的YOLOv3算法， 准确实现航拍可见光图像的车辆实时检测， 在此 基础上， 设计航拍红外图像中的半监督迁移学习 算法， 实现航拍红外图像的车辆实时检测。 基于 图像质量的车辆自适应融合策略， 实现航拍可见 光红外图像的车辆自适应融合检测， 本发明能够 有效地检测出航拍可 见光红外图像中的车辆 。 权利要求书2页 说明书6页 附图1页 CN 114332655 A 2022.04.12 CN 114332655 A 1.一种车辆自适应融合检测方法， 其特 征在于， 包括以下步骤： S1： 对同一角度获取的可 见光图像和红外图像分别进行多 级预处理； S2： 采用鲁棒特征对多级预处理后的可见光图像和红外图像进行配准， 分别对可见光 图像和红外图像中的车辆进行检测； S3， 对可见光图像与红外图像中检测到的车辆分别进行加权自适应融合， 从而得到对 应车辆准确的融合检测结果， 加权自适应融合 算法为： 其中， mr和mv分别为航拍可见光图像和红外图像中的图像质量； 和 为对应 的依据图像质量自适应调整的权 重； R为融合后的车辆检测框 。 2.根据权利要求1所述的一种车辆自适应融合检测方法， 其特征在于， 多级预处理包括 图像的畸变校正、 匀光处 理和平滑滤波处 理。 3.根据权利要求2所述的一种车辆自适应融合检测方法， 其特征在于， 畸变校正采用几 何校正方法对图像进行畸变校正处理， 实现矫正图像畸变， 匀 光处理采用直方图配准的方 式使相邻两幅图像的直方图趋于一致； 平滑滤波采用高斯滤波法， 分别在水平方向上和垂 直方向上进行一维高斯平 滑。 4.根据权利要求1所述的一种车辆自适应融合检测方法， 其特征在于， 利用生成对抗网 络从可见光图像中生成对应的伪红外图像， 通过加速鲁棒特征算法提取伪红外图像的特征 点信息， 结合鲁棒特征描述子实现特征描述并且基于Hilbert空间重构的核 方法， 建立单高 斯鲁棒点匹配模型， 在 存在异常值的情况下估计映射函数最后采用加权最小二乘法估计变 换类型实现可 见光图像和红外图像 配准。 5.根据权利要求1所述的一种车辆自适应融合检测方法， 其特征在于， 基于多特征融合 的YOLOv3方法实现对可 见光图像的车辆实时检测。 6.根据权利要求1所述的一种车辆自适应融合检测方法， 其特征在于， 可见光图像的车 辆检测网络， 将其作为航拍红外图像车辆检测的预训练网络， 利用半监督迁移学习对其进 行调优， 以建立 最终航拍红外图像车辆检测网络 。 7.根据权利要求6所述的一种车辆自适应融合检测方法， 其特征在于， 基于多特征融合 的YOLOv3方法建立可见光图像车辆检测网络， 以可见光图像车辆检测网络作为红外图像车 辆检测的预训练网络， 利用半监督迁移学习进行调优得到红外图像车辆检测网络， 实现红 外图像的车辆实时检测。 8.根据权利要求6所述的一种车辆自适应融合检测方法， 其特征在于， 判断车辆是否在 航拍可见光图像中准确检测， 车辆在可见光图像中检测框置信度小于阈值， 则删除该检测 结果； 当车辆仅在红外图像中正确检测， 则保留该检测结果； 当车辆同时在可见光图像和红 外图像中均正确检测， 则建立融合策略实现车辆在航拍可 见光红外图像的实时融合检测。 9.根据权利要求6所述的一种车辆自适应融合检测方法， 其特征在于， 在特征提取阶 段， 使用dar knet‑53网络作为特征提取网络， 在纵向上生 成四种尺度大小不同的特征图， 使 用concat操作 与darknet‑53网络自身生成的四种特 征图融合。 10.一种车辆自适应融合检测系统， 其特 征在于， 包括： 预处理模块， 用于对同一角度获取的可 见光图像和红外图像分别进行多 级预处理；权　利　要　求　书 1/2 页 2 CN 114332655 A 2配准模块， 采用鲁棒特征对多级预处理后的可见光图像和 红外图像进行配准， 分别对 可见光图像和红外图像中的车辆进行检测； 融合模块， 用于对可见光图像与红外 图像中检测到的车辆分别进行加权自适应融合， 从而得到对应车辆准确的融合检测结果。权　利　要　求　书 2/2 页 3 CN 114332655 A 3