(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210576849.8 (22)申请日 2022.05.25 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 马昕　程金龙　李贻斌　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李琳 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/40(2022.01) G06V 10/10(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/10(2017.01) G06T 7/62(2017.01) G06T 7/70(2017.01) (54)发明名称 基于多传感器决策级信息融合的车型识别 方法及系统 (57)摘要 本发明属于车型识别技术领域， 提供了基于 多传感器决策级信息融合的车型识别方法及系 统， 通过视觉图像处理的方法， 对输入车辆图像 进行车辆 前围检测和车辆前围识别， 通过设置检 测识别区域和多阶段注意力机制的知识蒸馏的 方法， 克服了车型类内差异性大和类间差异性小 的问题， 得到了基于图像的车型识别输出结果。 另外提出了车型外观尺寸的车型识别方法， 通过 激光雷达传感器得到的信息数据， 经过数据解算 模型得到基于尺寸的车型输出结果。 最后对每一 个传感器预测得到的车型进行综合决策， 得到最 终的预测车型。 该融合方法解决了车辆视觉特征 相似， 但大小尺寸不同的识别难题， 有效提高了 喷涂车间车 型识别的有效性和可靠性。 权利要求书2页 说明书9页 附图6页 CN 114898319 A 2022.08.12 CN 114898319 A 1.基于多传感器决策级信息融合的车 型识别方法， 其特 征在于， 包括： 基于视觉图像传感器和车辆前围检测模型进行检测， 得到车辆前围图像； 将检测得到的车辆前围图像的坐标点与识别区域进行比较， 若当前围坐标点在识别区 域内时， 对当前前围检测图像按坐标进行截取， 根据前围图像和多阶段注意力机制的知识 蒸馏车型识别模型中， 利用教师网络蒸馏训练学生网络， 基于学生网络进 行细粒度 识别， 得 到当前车辆视觉识别结果； 根据获取的限位开关检测信号， 判断车辆是否到达指定位置， 若是， 触发激光雷达传感 器获取点云数据， 将点云数据经 过解算处理得到当前 车体的尺寸识别结果； 结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合决策判断， 得到最终 车型识别结果。 2.如权利要求1所述的基于多传感器决策级信 息融合的车型识别方法， 其特征在于， 所 述车辆前围检测模型采用yo lov5网络结构。 3.如权利要求1所述的基于多传感器决策级信 息融合的车型识别方法， 其特征在于， 所 述教师网络结构以骨干网络为ResNet50的多阶段注意力机制的细粒度车型识别网络， 分别 提取Conv3_x、 Conv4_x、 Conv5_x三个阶段的特征图， 额外添加注意力机制层、 校准层和分类 层， 校准层通过卷积操作将不同通道和 不同尺寸的特征映射到指定通道和尺寸， 对三个阶 段的输出 特征进行融合， 分类 器由全连接层构成， 将特 征图映射成输出类别向量。 4.如权利要求1所述的基于多传感器决策级信 息融合的车型识别方法， 其特征在于， 所 述学生网络以骨干网络为MobinetV3网络， 对Mob inetV3网络进行了分阶段预定义设计， 通 过学生网络的特 征映射函数和网络参数， 得到学生网络每 个阶段的输出值。 5.如权利要求1所述的基于多传感器决策级信 息融合的车型识别方法， 其特征在于， 所 述将点云数据经 过解算处理得到当前 车体的尺寸识别结果， 包括： 通过自优化最小二乘直线拟合算法对预处理过的点云数据进行直线拟合， 得到车体各 侧的旋转角以及定位， 然后根据已知的喷涂 室地形与导轨尺 寸、 已知的车辆尺 寸， 解算出车 体位姿与车体尺寸。 6.如权利要求1所述的基于多传感器决策级信 息融合的车型识别方法， 其特征在于， 所 述车辆前围图像的获取 过程为： 自定义车脸检测数据集， 通过安装在 喷涂车间的防爆摄像头采集的车辆视频数据， 采 集视频数据时， 摄像机固定角度不动， 当车辆进入喷涂车间时开始采集， 到车辆驶入车间终 点时停止， 采集视频图像包 含车辆整个前围部分为有效视频 数据。 7.如权利要求1所述的基于多传感器决策级信 息融合的车型识别方法， 其特征在于， 所 述结合当前 车辆视觉识别结果和当前 车体的尺寸识别结果进行综合决策判断包括： 将当前车辆视觉识别结果和车体的尺寸识别结果的值进行求和， 当前车辆视觉识别结 果为多次识别结果的平均值， 求和得到综合输出 的类别的得分值， 取得分最大值对应的类 别为最终识别结果。 8.基于多传感器决策级信息融合的车 型识别系统， 其特 征在于， 包括： 车辆前围图像获取模块， 用于基于视觉 图像传感器和车辆前围检测模型进行检测， 得 到车辆前围图像； 车辆视觉识别模块， 用于将检测得到的车辆前围图像的坐标点与识别区域进行比较，权　利　要　求　书 1/2 页 2 CN 114898319 A 2若当前围坐标点在识别区域内时， 对当前前围检测图像按坐标进行截取， 根据前围图像和 多阶段注意力机制的知识蒸馏车型识别模型中， 利用教师网络蒸馏训练学生网络， 基于学 生网络进行细粒度识别， 得到当前 车辆视觉识别结果； 车体尺寸识别模块， 用于根据获取的限位开关检测信号， 判断车辆是否到达指定位置， 若是， 触发激光雷达传感器获取点云数据， 将点云数据经过解算处理得到当前车体的尺寸 识别结果； 车型识别模块， 用于结合当前车辆视觉识别结果和当前车体的尺寸识别结果进行综合 决策判断， 得到最终车 型识别结果。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于多传感器决策级信息融合的车型识别方法中 的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于多传感器决策级信息融合的车 型识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114898319 A 3