(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210000057.6 (22)申请日 2022.01.01 (71)申请人 南昌智能新能源 汽车研究院 地址 330052 江西省南昌市南昌县 迎宾中 大道2111号 (72)发明人 吴名芝　王峥　刘年风　李德信　 孙志朋　 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01)G06T 7/80(2017.01) (54)发明名称 一种基于前向全景图像的近场车辆加塞行 为预测方法 (57)摘要 本发明提出的基于前向全景图像的近场车 辆加塞行为预测方法， 步骤如下： S101： 采 集真实 的结构化道路场景中基于前向全景图像的图像 序列信息， 通过人工方法标注图像序列中车辆目 标的位置以及行为信息； S102： 构建适用于结构 化道路中近场车辆检测与跟踪的深度卷积神经 网络； S103： 构建适用于结构化道路中近场车辆 加塞行为预测的循环神经网络及相应的损失函 数； S104： 将采集到的图像序列信息和标注数据 输入到步骤S103构建的近场车辆加塞行为预测 的循环神经网络中， 根据输出值与目标值之间的 损失值对神经网络中的参数值进行更新， 最后得 到理想的目标检测网络参数； 使智能汽车提升了 对近场车辆实时行为的预测， 对近场车辆加塞行 为及时反应， 提高安全性。 权利要求书2页 说明书6页 附图3页 CN 114255450 A 2022.03.29 CN 114255450 A 1.一种基于前向全景图像的近场车辆加塞行为预测方法， 其特 征在于， 包括如下步骤： S101： 采集真实的结构化道路场景中基于前向全景图像的图像序列信息， 通过人工方 法标注图像序列中车辆目标的位置以及行为信息； S102： 构建适用于结构化道路中近场车辆检测与跟踪的深度卷积神经网络； S103： 构建适用于结构化道路中近场车辆加塞行为预测的循环神经网络及相应的损失 函数； S104： 将采集到的图像序列信息和标注数据输入到步骤S103构 建的近场车辆加塞行为 预测的循环神经网络中， 根据输出值与目标值之间的损失值对神经网络中的参数值进 行更 新， 最后得到理想的目标检测网络参数。 2.根据权利要求1所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于， 在步骤S101中， 图像序列信息的采集与标注步骤如下： S201： 对摄像头的内外参进行标定， 其中外参包括旋转矩阵R和平移向量T， 内参包括 内 参矩阵K， 以及相机畸变系数； S202： 利用装有摄像头的数据采集车， 在真实道路场景中采集视频数据， 并记录采集时 图像内车辆目标的类别； S203： 利用标注工具对采集到的视频数据进行标注， 标注方式包含但不限于车辆目标 类跟踪ID标注、 车辆目标类别标注、 目标物体边界框标注、 车辆加塞开始、 车辆越过车道线 中点以及车辆完成加塞行为的关键帧标注、 车辆加塞行为类别标注， 标注内容最少需要包 含近场车辆的位置、 关键帧以及加塞行为类别信息， 并能进行拓展， 增加可行驶区域、 道路 边界的信息 。 3.根据权利要求1所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于， 所述步骤S102的步骤如下： S301： 构建基于改进的Yolov5的近场车辆目标检测网络， 将输入的视频切片为图像时 间序列， 经过多层卷积与下采样操作， 对输入的图像信息进 行特征提取与特征编 码， 得到将 图片划分好的多维特 征张量； S302： 构建分类网络， 采用非极大抑制操作， 最终得到各个目标的位置信息与分类置信 度信息， 包括对象的分类概 率和定位 概率； S303： 构建基于改进的Deep ‑SORT的近场车辆目标跟踪网络， 将目标检测得到的目标物 体边界框信息以及分类信息作为输入， 对视频中多个对象同时定位与追踪并记录ID和轨迹 信息， 尤其是在 有遮挡的条件 下减少对象ID的变换， 输出目标车辆的跟踪ID、 目标类别以及 目标物体边界框信息 。 4.根据权利要求1所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于， 所述步骤S103的步骤如下： S401： 构建基于门控循环网络的加塞行为时序特征提取网络， 由门控循环网络单元组 成， 用于将检测并跟踪到的近场车辆目标物体边界框时序向量进行编码， 得到对应的时序 特征信息； S402： 将隐状态 输入分类器网络， 用于将时序特征进行分类， 经过Softmax输出加塞 行为分类概 率， 得到近场车辆加塞行为的预测与概 率结果； S403： 将每一帧得到的加塞行为分类概率平均化， 采用交叉熵损失函数 （Cross ‑权　利　要　求　书 1/2 页 2 CN 114255450 A 2Entropy） 作为损失函数， 计算近场车辆加塞行为分类损失； S404： 构建基于Focal  Loss的适用于行为类别不平衡 的行为类别损失函数， 用于计算 网络输出的加塞 行为的预测损失， 并能抑制样本中加塞行为与车道保持行为的比例的不平 衡所造成的影响。 5.根据权利要求1所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于， 所述步骤S104中， 训练神经网络步骤如下： S501： 将采集到的图像序列进行数据预处理， 包括： 将图像进行随机的水平翻转、 裁剪 并统一缩放到固定的尺寸， 标注数据也进 行相应的翻转、 裁剪和缩放， 在此基础上对得到的 图像按通道进行归一 化处理； S502： 将标注数据中的目标物体边界框数据进行归一化处理， 得到边界框时序向量信 息； S503： 将边界框时序向量与标注数据一同输入步骤S103中建立的基于GRU的加塞行为 预测神经网络， 利用基于Focal  Loss的改进的损失函数计算出预测加塞行为分类与真实行 为分类的损失值， 进行网络参数 更新， 迭代后得到理想的网络参数。 6.根据权利要求2所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于： 所述步骤S203记录的车辆目标ID是唯一的。 7.根据权利要求3所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于： 所述步骤S303中的Deep ‑SORT网络中的ReID模块经过了经过重新分类处理的新的车辆 重识别数据集Compcars训练。 8.根据权利要求4所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于： 所述步骤S401中的序列长度有三种选择， 分别为20、 25和3 0； 所述步骤S401输出的隐状态为512维向量； 所述步骤S402构建的分类器为两层全连接网络， 包括256维中间层和3维输出层， 并通 过激活函数增强 非线性拟合能力； 所述步骤S404中， 损失函数的计算公式为： 其中， 是被预测行为对应的正确行为的输出概率， 经过Softmax得到的结果， γ与α 是 控制每一类行为， 减少样本不均衡的超参数。 9.根据权利要求5所述的基于前向全景图像的近场车辆加塞行为预测方法， 其特征在 于： 所述步骤S501所中输出的图像序列， 图像尺寸 为224×224像素。权　利　要　求　书 2/2 页 3 CN 114255450 A 3