(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111566614.2 (22)申请日 2021.12.20 (71)申请人 上海智能网联汽车技 术中心有限公 司 地址 201499 上海市奉贤区金海公路6 055 号22幢 申请人 上海交通大 学 (72)发明人 张希　殷承良　赵柏暄　陈浩　 林一伟　秦超　张宇超　高瑞金　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 杨宏泰 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 10/06(2012.01)G06Q 50/26(2012.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G08G 1/09(2006.01) (54)发明名称 一种基于SFM-LSTM神经网络模型的过街行 人轨迹预测方法 (57)摘要 本发明涉及一种基于SFM ‑LSTM神经网络模 型的过街行人轨迹预测方法， 该方法包括以下步 骤： 步骤1： 获取过街行人运动状态信息、 个体特 征信息和人车交互场景信息； 步骤2： 进行数据预 处理和数据增强， 建立行人轨迹数据集； 步骤3： 建立并训练LS TM神经网络模型； 步骤4： 通过训练 后的LSTM神经网络模型获取过街行人的预测轨 迹； 步骤5： 采用最大似然估计 法对社会力模型进 行参数标定； 步骤6： 根据社会力模型对 预测轨迹 进行修正， 并输出过街行人的最优预测轨迹； 步 骤7： 将最优预测轨迹广播至附近的车辆， 以协助 智能网联车辆进行决策， 与现有技术相比， 本发 明具有提高行人过街的安全性、 降低车辆的延误 率和提高道路的通行能力等优点。 权利要求书3页 说明书6页 附图1页 CN 114462667 A 2022.05.10 CN 114462667 A 1.一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 该方法包 括以下步骤： 步骤1： 通过多传感器进行数据采集， 以获取过街行人运动状态信息、 个体特征信息和 人车交互场景信息； 步骤2： 进行 数据预处 理和数据增强， 建立行 人轨迹数据集； 步骤3： 建立 LSTM神经网络模型， 基于行 人轨迹数据集对LSTM神经网络模型进行训练； 步骤4： 通过训练后的LSTM神经网络模型获取在未来第一预设时长内过街行人的预测 轨迹； 步骤5： 采用最大似然估计法对社会力模型进行参数 标定； 步骤6： 通过社会力 模型对LSTM神经网络模型的预测轨迹进行修正， 并输出第一预设时 长内过街行 人的最优预测轨 迹； 步骤7： 将最优预测轨 迹广播至附近的车辆， 以协助智能网联 车辆进行决策。 2.根据权利要求1所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的步骤1中， 通过多传感器进行 数据采集的过程具体为： 多传感器包括路侧激光雷达、 毫米波雷达和相机， 选取行人和车辆在 自由流情况下的 斑马线区域进 行前期调查， 采用路侧激光雷达和毫米波雷达采集过街行人和车辆的轨迹坐 标， 同时在路口架设相机， 以平视的角度同步拍摄行人行走视频， 用以标定行人的年龄和性 别， 基于多传感器信息融合算法获取车辆安全包络线范围内的过街行人运动状态信息、 行 人个体特征信息及人 车交互场景信息 。 3.根据权利要求2所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的过街行 人运动状态信息包括行 人当前位置和速度； 所述的人 车交互场景信息包括车辆当前位置、 车速以及车 型； 所述的过街行人个体特征信息包括行人的年龄、 性别、 不同年龄和性别的行人在过街 时的理想 速度vd、 最大速度vmax以及反应时间τ； 所述的理想速度vd为不同年龄和性别的行人在过街时没有任何外界干扰的情况下行走 的平均速度； 所述的最大速度vmax为不同年龄和性别的行人在信号灯闪烁即将由绿灯变为红灯时过 街行人加速通过斑马线时所能够达 到的最大速度； 所述的反应时间τ为不同年龄和性别的行人从当前某一速度变化到理想速度vd所需要 的时间。 4.根据权利要求3所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的步骤3中， 数据预处 理的过程具体为： 对获取的过街行人运动状态信息、 个体特征信息以及人车交互信息进行数据预处理， 以0.2s的间隔将视频分割为图片， 以达到离散轨迹的目的， 从图片中获得行人所在位置像 素点的坐标， 通过直接线性变换法获得初始条件下过街行人行走 的真实轨迹， 以进行社会 力模型参数的标定； 数据增强的过程具体为： 采用轨迹旋转法进行数据增强， 以原始的真实轨迹的起点和终点连线中随机一点为旋 转中心， 以固定角度为间隔进行旋转操作， 进 而扩充数据。权　利　要　求　书 1/3 页 2 CN 114462667 A 25.根据权利要求4所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的步骤2中， 行人轨迹数据集包括过街行人的真实轨迹和行人属性数据， 所述的行 人属性数据包括 年龄和性别。 6.根据权利要求1所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的步骤3中， LSTM神经网络模型以行人的观测序列作为输入特征， 采用编 码器‑解码器框架， 在LSTM神经网络模型中引入注意力机制挖掘观测序列中影响未来轨迹 的隐藏要素， 所述的LSTM神经网络模型的结构包括： 隐藏层： 维度设定为256， 由LSTM单元组成， LSTM单元包括3个控制门， 分别为输入门、 遗 忘门和输出门， 用以控制输入、 输出以及内部状态三 者之间的关系； 输入层： 包括多个输入单元， 各个输入单元分别 采用tanh激活函数， 且各个输入单元分 别与输入特 征对应； 输出层： 包括多个输出单元， 各个输入单元分别 采用tanh激活函数， 对应的输出分别为 第一预设时长内过街行 人的X方向的运动位置和Y方向的运动位置 。 7.根据权利要求6所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的行人的观测序列分别为X方向的过街行人速度、 Y方向的过街行人速度、 X方向的过街行人位置， Y方向的过街行人位置、 年龄、 性别、 X方向的车辆速度、 Y方向的车辆 速度、 X方向的车辆位置、 Y方向的车辆位置和车 型。 8.根据权利要求7所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的步骤3中， 对LSTM神经网络模型进行训练的过程具体包括以下步骤： 步骤301： 基于输入、 输出以及内部状态三 者之间的关系得到LSTM模型的表达式为： it＝σ(Wi·[ht‑1， Xt]+bi) ft＝σ(Wf·[ht‑1， Xt]+bf) Ot＝σ(Wo·[ht‑1， Xt]+bo) Ct＝ft*Ct‑1+it*tanh(Wc·[hi‑1， Xt]+bc) ht＝Ot*tanh(Ct) 其中， it表示输入门， ft表示遗忘门， Ot表示输出门， Ct表示当前t时刻的单元状态， ht表 示当前t时刻的隐藏状态， Ct‑1表示上一时刻的单元状态， ht‑1表示上一时刻的隐藏状态， Xt 表示当前t时刻的输入向量， Wi表示输入门的权重矩阵， Wf表示遗忘门的权重矩阵， Wo表示输 出门的权重矩阵， Wc表示单元状态的权重矩阵， bi表示输入门的偏置项， bf表示遗忘门的偏 置项， bo表示输出门的偏置项， bc表示单元状态的偏置项， σ 表示sigmoid函 数， tanh表示tanh 函数； 步骤302： 通过路侧感知传感器获取过街行人运动 状态信息、 个体特征信息以及人车交 互信息， 对其进行数据预处理和数据增强后， 导入到LSTM神经网络模型对LSTM神经网络模 型的结构权 重和偏置参数进行训练。 9.根据权利要求8所述的一种基于SFM ‑LSTM神经网络模型的过街行人轨迹预测方法， 其特征在于， 所述的步骤4中， 基于LSTM神经网络模型获取在未来第一预设时长内过街行人 的预测轨 迹的过程具体包括以下步骤： 步骤401： 通过多传感器获取当前关于车辆和过街行 人的11个输入特 征； 步骤402： 对获取的输入特征进行数据归一化操作， 并导入到训练好的LSTM神经网络模权　利　要　求　书 2/3 页 3 CN 114462667 A 3