(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111579203.7 (22)申请日 2021.12.2 2 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 陈君毅　马依宁　吴建峰　吴靖宇　 熊璐　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 叶敏华 (51)Int.Cl. G06F 30/27(2020.01) G06F 30/15(2020.01) G06N 3/12(2006.01) (54)发明名称 一种基于个性化驾驶员模型的自动驾驶测 试场景生成方法 (57)摘要 本发明涉及一种基于个性化驾驶员模型的 自动驾驶测试场景生成方法， 包括： 基于遗传与 进化思想、 结合强化学习， 模拟人类驾驶员在驾 驶经历中的各个阶段， 逐级训练得到不同成长阶 段的驾驶员模型， 包括新手驾驶员模型、 经验驾 驶员模型和熟练驾驶员模型； 基于不同成长阶段 的驾驶员模 型， 根据人类驾驶员的不同个性化驾 驶特性， 进一步训练得到个性化驾驶员模型， 包 括激进型驾驶员模型、 保守型驾驶员模型、 挑衅 型驾驶员模 型和合作型驾驶员模 型； 根据测试需 求， 将不同成长阶段的驾驶员模 型和不同的个性 化驾驶员模 型按对应的需求比例， 组合生成相应 的目标测试场景。 与现有技术相比， 本发明能够 有效提高生成测试场景的真实性和复杂性、 提升 测试效果和准确性。 权利要求书5页 说明书13页 附图4页 CN 114492157 A 2022.05.13 CN 114492157 A 1.一种基于个性化驾驶员模型的自动驾驶测试场景生成方法， 其特征在于， 包括以下 步骤： S1、 基于遗传与进化思想、 结合强化学习， 模拟人类驾驶员在驾驶经历中的各个阶段， 逐级训练得到不同成长阶段的驾驶员模型， 所述不同成长阶段的驾驶员模 型包括新手驾驶 员模型、 经验驾驶员模型和熟练驾驶员模型； S2、 基于不同成长阶段的驾驶员模型， 根据人类驾驶员的不同个性化驾驶特性， 进一步 训练得到个性化驾驶员模型， 所述个性化驾驶员模型包括激进型驾驶员模型、 保守型驾驶 员模型、 挑 衅型驾驶员模型和合作型驾驶员模型； S3、 根据测试需求， 将不同成长阶段的驾驶员模型和不同的个性化驾驶员模型按照对 应的需求比例， 以组合 生成相应的目标测试场景。 2.根据权利要求1所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法， 其特征在于， 所述 步骤S1具体包括以下步骤： S11、 定义并构建安全型驾驶员模型； S12、 根据安全型驾驶员模型， 基于遗传与进化思想、 结合强化学习， 逐级训练得到新手 驾驶员模型、 经验驾驶员模型以及熟练驾驶员模型。 3.根据权利要求2所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法， 其特征在于， 所述 安全型驾驶员模型的驾驶策略具体为： 当 时， 自车采取 “急减速”动作； 当 时， 自车采取 “减速”动作； 当 时， 自车采取 “减速”动 作； 其中， drel_front为自车与同车道前车的相对距离， vrel_front为自车与同车道前车的相对 速度、 vego为自车速度。 4.根据权利要求3所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法， 其特征在于， 所述新手驾驶员模型的动作空间只有纵向动作， 包括： 纵向匀速、 纵向加速、 纵 向急加速、 纵向减速以及纵向急减速共五种动作； 所述新手驾驶员模型根据自车与他车的纵向相对距离drel、 纵向相对速度vrel、 自车速 度vego以及车道信息来定义状态集， 所述他车包括与本车处于不同车道的车， 当他车在自车 前方时， 他车的纵向速度记为vf， 当他车在自车后方时， 他 车的纵向速度记为vr， 则纵向相对 速度定义如下： 其中， drel包括drel_front、 drel_crear、 drel_left_front、 drel_left_rear、 drel_rigth_front和 drel_right_rear， 它们分别为本车与同车道前方车辆的相对距离、 本车与同车道后方车辆的相 对距离、 本车与左侧车道前方车辆的相对距离、 本车与左侧车道后方车辆的相对距离、 本车 与右侧车道前方车辆的相对距离以及本车与右侧车道后方车辆的相对距离； vrel包括权　利　要　求　书 1/5 页 2 CN 114492157 A 2vrel_front、 vrel_crear、 vrel_left_front、 vrel_left_re ar、 vrel_rigth_front和vrel_right_re ar， 它们分别为本车 与同车道前方车辆的相对速度、 本车与同车道后方车辆的相对速度、 本车与左侧车道前方 车辆的相对速度、 本车与左侧车道后方车辆的相对速度、 本车与右侧车道前方车辆的相对 速度以及本车与右侧车道后方 车辆的相对速度； 所述新手驾驶员 模型根据所在车道来定义车道编号line_id， 根据自车的速度与前车 的相对距离计算得到 并将其分为 三个状态， 具体包括： 根据自车速度与相对速度来计算 并将其分为 三个状态， 具体包括： 所述新手驾驶员模型中， 自车在车道内相对车道中心线的偏移量被量 化为： “偏左”， 即自车位于车道中心线左侧； “居中”， 即自车位于车道中心线上； “偏右”， 即自车位于车道中心线右侧。 5.根据权利要求4所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法， 其特征在于， 所述 步骤S12中训练新手驾驶员模型的具体过程 为： 首先建立车辆随时间的运动模型， 并选取合适的时间步， 同时初始化参数、 生成仿真环 境， 其中， 所述初始化参数包括仿真车辆总数nc、 允许的最大初始化距离 以及仿真时 长tf； 再利用安全型驾驶员模型作为背景 车进行训练， 得到新手驾驶员模型雏形； 然后以新手驾驶员模型雏形代替安全型驾驶员模型作为背景车进行训练， 得到新手驾 驶员模型； 所述新手驾驶员模型训练过程中的奖励函数 具体为： R1＝ωsRsafety+ωeRefficiency 其中， ωs为安全性因素的权 重， ωe为通行效率因素的权 重； Rsafety为考虑安全性的奖励函数， 该部分奖励函数的设计需要考虑责任判别机制和跟 车距离， 所述责任判别机制具体为： 当发生车辆碰撞 时， 若两辆车均无变道， 则前车无交通权　利　要　求　书 2/5 页 3 CN 114492157 A 3