(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210317048.X (22)申请日 2022.03.29 (65)同一申请的已公布的文献号 申请公布号 CN 114419605 A (43)申请公布日 2022.04.29 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 黄倩　张园　刘云涛　李道勋　 时强　朱永东　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06V 20/58(2022.01)G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06T 3/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112113578 A,2020.12.2 2 CN 113947766 A,2022.01.18 CN 111432017 A,2020.07.17 审查员 丁园园 (54)发明名称 基于多网联车空间对齐特征融合的视觉增 强方法及系统 (57)摘要 本发明公开了一种基于多网联车空间对齐 特征融合的视觉增强方法及系统， 该方法利用网 联车自身及其周围一定范围内的网联车视觉特 征， 空间对齐后基于多特征自学习机制进行特征 融合， 实现网联车的视觉扩展和增强。 本发明设 计了一个基于多特征自学习机制的网络单元， 在 收到周围一定范围内的网联车压缩中间特征图 后， 综合利用网联车的世界坐标和前进方向间的 夹角大小， 对解压缩后的中间特征图进行仿射变 换， 并将变换对齐后的特征图利用基于多特征自 学习机制的网络单元进行特征融合， 去除冗余特 征的同时实现特征间的互补和增强。 利用融合后 的中间特征检测出网联车自身视角下以及被部 分遮挡或全部遮挡的目标障碍物， 从而提高网联 车驾驶的安全性。 权利要求书3页 说明书9页 附图3页 CN 114419605 B 2022.07.19 CN 114419605 B 1.一种基于多网联车空间对齐特征融合的视觉增强方法， 其特征在于， 该方法包括以 下步骤： （1） 在每辆网联 车车顶安装前视中央摄 像头； （2） 基于目标检测网络， 在目标检测网络中语义特征提取部分和检测头部分之间添加 一个基于多特征自学习机制的网络单元， 构建基于多 特征自学习机制的网联车视觉融合的 目标检测网络； 其中基于多特征自学习机制的网络单元通过对多源特征自学习权重方式， 去除冗余特征的同时实现特征间的互补和增强； 所述基于多 特征自学习机制的网络单元的 结构具体为： 输入层大小为 ， 第一层卷积核大小为 ， 第一 层隐藏层大小为 ， 第二层卷积核大小为 ， 第二层隐藏层大小为 ， 输出层卷积核大小为 ， 输出层大小为 ， 其中C为输入 的中间特征层通道数， N为融合特征的网联车数量， w为中间特征图的宽， h为中间特征图的 长， C、 N、 w、 h均为 正整数； （3） 选定一辆网联车作为执行感知任务的网联车， 并记录执行感知任务的网联车及其 周围的网联车同一时刻前视中央摄像头拍摄到的图像、 各自网联车的世界坐标和前进方 向， 将图像输入到基于多特征自学习机制的网联车视觉融合的目标检测网络， 通过语义特 征提取部分得到所有图像的中间特征图， 将周围网联车 的中间特征图压缩后， 与对应车辆 的世界坐标和前进方向信息一 起进行广播； （4） 执行感知任务的网联车收到广播信息， 对收到的中间特征图进行解压缩， 并利用周 围网联车的世界坐标以及与执行感知 任务的网联车之 间前进方向的逆时针夹角大小， 对解 压缩后的中间特 征图进行仿射变换； （5） 利用所有仿射变换后已与执行感知任务的网联车的中间特征图空间对齐的中间特 征图， 和执行感知任务的网联车 的中间特征图依 次按通道方向进行拼接， 将拼接后的特征 图输入基于多 特征自学习机制的网络单元， 完成多辆网联车视觉图像基于多 特征自学习机 制的特征级融合， 并将 融合后的特征图输入检测头网络， 回归出执行感知任务的网联车图 像视野范围内的可 见障碍物目标以及被周围网联 车遮挡的障碍目标。 2.根据权利要求1所述的一种基于多网联车空间对齐特征融合的视觉增强方法， 其特 征在于， 每辆网联 车的前视中央摄 像头技术参数相同， 且摄 像头安装高度、 位置均一 致。 3.根据权利要求1所述的一种基于多网联车空间对齐特征融合的视觉增强方法， 其特 征在于， 所述仿射变换 具体过程如下： （4.1） 将执行感知任务的网联车记为网联车 ， 将网联车 的特征图及解压缩后 的中间特征图集合表示为 ， 为网联车 自身的中间特征图， 为第i辆网联车的中间特征图， ； 对任意 ， 其尺寸均 为 ； N‑1表示 为执行感知任务的网联 车周围的N ‑1辆网联车； （4.2） 对任意 ， 根据网联车i和 前进方向的逆时针夹角大小和各自的世界坐 标， 列出仿射变换矩阵 ； （4.3） 利用仿射变换矩阵 对网联车i的特征图 进行仿射变换， 变换后的特征图 与权　利　要　求　书 1/3 页 2 CN 114419605 B 2空间对齐； （4.4） 按 （4.2） ‑（4.3） 的过程将所有的 的中间特征图进行仿射变换， 变换后且空间 对齐的特 征图集合表示为 。 4.根据权利要求3所述的一种基于多网联车空间对齐特征融合的视觉增强方法， 其特 征在于， 步骤 （4.2） 中， 以网联车 前进方向为y方向， 与前进 方向垂直的方向为x方向， 对 任一网联 车i， 仿射变换矩阵 为： 其中， 表示网联车i和 水平x方向的距离， 表示网联车i和 垂直y方向的 距离， 为网联车i前进方向和 前进方向的逆时针夹角大小。 5.根据权利要求3所述的一种基于多网联车空间对齐特征融合的视觉增强方法， 其特 征在于， 步骤 （4.3） 中， 假设特征图 上的任一点值， 其坐标为 ， 则其仿射变换后的坐 标 为： 即当 ， 时： ； 。 6.根据权利要求5所述的一种基于多网联车空间对齐特征融合的视觉增强方法， 其特 征在于， 对于变换后的特 征图 ， 特征图 上点值缺失的坐标， 均用0值 填充。 7.根据权利要求3所述的一种基于多网联车空间对齐特征融合的视觉增强方法， 其特 征在于， 周围的网联车车辆数根据周围的网联车与执行感知 任务的网联车之间的半径阈值 选择， 以执行感知 任务的网联车前视中央摄像头为原 点， 搜索原 点半径阈值M米范围内的且 垂直方向坐标大于0的离原点最近的N ‑1辆网联车， 半径阈值M以及选择的网联车车辆数根 据实际需求设定 。 8.根据权利要求7所述的一种基于多网联车空间对齐特征融合的视觉增强方法， 其特 征在于， 若搜索到的网联车车辆数小于N ‑1， 则缺失车辆数对应的中间特征图值全用0值填 充。 9.一种基于多网联车空间对齐特征融合的视觉增强系统， 其特征在于， 每辆网联车上 均安装有该系统， 该系统包括坐标记录模块、 图像采集模块、 输入模块、 多网联车空间对齐 特征融合网络模块、 特征压缩模块、 信息广播模块、 信息接收模块、 特征解压缩模块、 仿射变权　利　要　求　书 2/3 页 3 CN 114419605 B 3