(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210632703.0 (22)申请日 2022.06.07 (65)同一申请的已公布的文献号 申请公布号 CN 114708568 A (43)申请公布日 2022.07.05 (73)专利权人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 刘洋　王永富　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/143(2022.01)G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) B60W 60/00(2020.01) (56)对比文件 CN 112965499 A,2021.0 6.15 CN 112232490 A,2021.01.15 CN 112991350 A,2021.0 6.18 审查员 宋晓毓 (54)发明名称 基于改进RTFNet的纯视觉自动驾驶控制系 统、 方法、 介质 (57)摘要 本发明公开了基于改进RTFNet的纯视觉自 动驾驶控制系统、 方法、 介质， 涉及自动驾驶控制 领域。 针对传统自动驾驶方法在夜间、 迎面车灯 眩光、 雨\雪、 沙尘暴和雾霾等低可见度环 境下行 驶效果欠佳的问题， 在语义分割模块引入一种改 进的基于多模态特征融合的语义分割方法 RTFNet， 使用自制数据集训练改进RTFNet网络模 型， 融合RGB图像和热红外图像并进行语义分割 生成分割图， 将分割图作为强化学习系统的输入 状态进行训练， 使两类图像数据优势互补， 从而 提高自动驾驶系统的感知能力、 泛化能力和可靠 性。 在强化学习模块引入模仿 学习预训练和DDPG 算法， 通过在自动驾驶仿真试验台和真实环境中 训练强化学习模型使得自动驾驶系统逐步达到 人类可以接受的驾驶水平。 权利要求书5页 说明书12页 附图4页 CN 114708568 B 2022.10.04 CN 114708568 B 1.基于改进RTFNet的纯视觉自动驾驶控制系统， 包括探测单元、 车载上位机， 其特征在 于： 所述探测单元布置在汽车预设的探测位置处， 采用车载RGB摄像头和车载FLIR红外热 像仪采集道路交通状态的RGB图像和热红外图像； 所述车载上位机嵌入自动驾驶车辆控制程序， 所述自动驾驶车辆控制程序包括语义分 割模块、 强化学习模块、 决策模块， 模块协同工作， 实现自动驾驶控制； 所述语义分割模块， 采用改进的RTFNet网络模型， 使用探测单元采集的热红外 ‑RGB联 合数据集进 行训练， 用以对图像中的自行车、 汽 车、 人体、 车道线、 障碍物和道路边缘进 行语 义分割生成分割图； 所述强化学习模块： 根据专家经验数据集， 对DDP G模型进行预训练， 将分割图输入经预 训练的DDPG模型， 获得D DPG模型的损失函数值和优化D DPG模型参数； 所述决策模块： 根据DDP G模型获取的损失函数值和优化DDP G模型参数自动驾驶仿真试 验台中迭代获得离线 决策模型； 在真实环境中采集真实驾驶动作决策数据集， 对离线 决策 模型进行优化迭代， 获得最终决策模型； 根据最终决策模型进行自动驾驶控制实车决策； 所述热红外 ‑RGB联合数据集： 利用探测单元采集的道路交通状态的RGB图像和热红外 图像； 所述改进的RTFNet网络模型， 包括道路交通状态的RGB图像分支、 道路交通状态的热红 外图像分支、 第一融合层、 第二融合层、 语义特征融合模块、 上采样层模块、 解码器层、 解码 器模块及softmax激活函数； 其中， 道路交通状态的RGB图像分支包括依次连接的编码器、 多头自注意力模块 (MHSA)、 第一残差模块、 第二残差模块、 第三残差模块和第四残差模块； 道路交通状态的热 红外图像分支包括依 次连接的编码器、 多头 自注意力模块、 最大池化模块和连接的三个残 差模块； 第四残差模块的输出的语义特征及道路交通状态的热 红外图像分支的最后一个残 差模块的输出 的语义特征经第一融合层融合后依 次传递到上采样层模块、 解码器层、 解码 器模块， 在道路交通状态的RGB图像分支和热红外图像分支 中编码器的ReLu激活函数分别 与上采样层A之间增 加跃层连接； 经softmax激活函数作用后生成分割图； 其中， 所述编码器包括依次连接的可分离卷积层(separable  convolution)、 批归一化 层、 ReLu激活函数； 所述第一残差模块包括依次连接的融合层、 最大池化层、 残差模块； 所述第二残差模块包括连接的融合层 及残差模块； 所述第三残差模块包括连接的融合层 及残差模块； 所述第四残差模块包括连接的融合层 及残差模块； 所述最大池化模块包括连接的融合层 及最大池化层； 所述上采样层模块包括连接的上采样层A及上采样层 B； 解码器模块包括依次连接的三个解码器层； 设计连接的第 二融合层和语义特征融合模块， 其中， 第 二融合层有四个输入分支， 分别 接收道路交通状态的热红外图像分支中多头 自注意力模块输出的语义特征和输入到三个 残差模块的语义特征， 经融合层融合后传递给语义特征融合模块， 其中， 每一个输入分支的 权重都设置为可学习权重； 语义特征融合模块有四个输出分支， 分别连接RGB图像分支第一权　利　要　求　书 1/5 页 2 CN 114708568 B 2残差模块、 第二残差模块、 第三残差模块、 第四残差模块中的四个融合层， 将四个融合层的 输入语义特 征分别融合， 其中， 每一个输出分支的权 重都设置为可 学习权重。 2.基于改进RTFNet的纯视觉自动驾驶控制方法， 采用权利要求1所述系统， 其特征在 于： 包括以下步骤： S1： 使用预先采集的规范驾驶的经验样本集(st,at,rt,st+1)p作为专家经验数据集， 对 DDPG模型进行预训练直至达到设定的最大迭代次数n1或算法收敛为止； 其中， st是交通状 态， at是驾驶动作指令， st+1是新的交通状态， rt是本次驾驶动作指令的奖励值； S2： 利用车载FLIR红外热像仪和RGB摄像头采集道路交通状态的热红外图像和RGB图 像， 建立热红外 ‑RGB联合数据集， 采用热红外 ‑RGB联合数据集对改进的RTFNet 网络模型进 行训练， 得到用以分割自行车、 汽车、 人体、 车道线、 障碍物和道路边缘的语义分割模块； 通 过RGB摄像头采集自动驾驶车辆前方的交通状态RGB图像I1， 通过FLIR红外热像仪采集自动 驾驶车辆前方的交通状态热红外图像 I2； 在语义分割模块使用改进的RTFN et网络模型将I1、 I2进行多模态融合和语义分割生成分割图I3； 所述改进的RTFNet网络模型， 包括道路交通状态的RGB图像分支、 道路交通状态的热红 外图像分支、 第一融合层、 第二融合层、 语义特征融合模块、 上采样层模块、 解码器层、 解码 器模块及softmax激活函数； 其中， 道路交通状态的RGB图像分支包括依次连接的编码器、 多头自注意力模块 (MHSA)、 第一残差模块、 第二残差模块、 第三残差模块和第四残差模块； 道路交通状态的热 红外图像分支包括依 次连接的编码器、 多头 自注意力模块、 最大池化模块和连接的三个残 差模块； 第四残差模块的输出的语义特征及道路交通状态的热 红外图像分支的最后一个残 差模块的输出 的语义特征经第一融合层融合后依 次传递到上采样层模块、 解码器层、 解码 器模块， 在道路交通状态的RGB图像分支和热红外图像分支 中编码器的ReLu激活函数分别 与上采样层A之间增 加跃层连接； 经softmax激活函数作用后生成分割图； 其中， 所述编码器包括依次连接的可分离卷积层(separable  convolution)、 批归一化 层、 ReLu激活函数； 所述第一残差模块包括依次连接的融合层、 最大池化层、 残差模块； 所述第二残差模块包括连接的融合层 及残差模块； 所述第三残差模块包括连接的融合层 及残差模块； 所述第四残差模块包括连接的融合层 及残差模块； 所述最大池化模块包括连接的融合层 及最大池化层； 所述上采样层模块包括连接的上采样层A及上采样层 B； 解码器模块包括依次连接的三个解码器层； 设计连接的第 二融合层和语义特征融合模块， 其中， 第 二融合层有四个输入分支， 分别 接收道路交通状态的热红外图像分支中多头 自注意力模块输出的语义特征和输入到三个 残差模块的语义特征， 经融合层融合后传递给语义特征融合模块， 其中， 每一个输入分支的 权重都设置为可学习权重； 语义特征融合模块有四个输出分支， 分别连接RGB图像分支第一 残差模块、 第二残差模块、 第三残差模块、 第四残差模块中的四个融合层， 将四个融合层的 输入语义特 征分别融合， 其中， 每一个输出分支的权 重都设置为可 学习权重； S3： 将I3作为交通状态st输入到经过预训练的DDPG模型中， 经过预训练的DDPG模型依据权　利　要　求　书 2/5 页 3 CN 114708568 B 3