(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221097240 0.3 (22)申请日 2022.08.15 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 秦亚娟　王春燕　赵万忠　张自宇　 杨睿涵　陈宇帆　李政翰　刘利锋　 王展　刘晓强　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 贺翔 (51)Int.Cl. G06V 20/58(2022.01) G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合行人意图和社会力模型的行人过 街轨迹预测方法 (57)摘要 本发明公开了一种融合行人意图和社会力 模型的行人过街轨迹预测方法， 包括以下步骤： 获取自车行驶状态信息、 车辆前方图像和行人运 动状态信息； 对图像中过街行人姿态关键点进行 检测并拟合人体姿态骨架； 根据人体姿态骨架， 选取能表达行人意图的关键点， 计算关键点之间 的距离和角度参数； 判断行人意图； 建立行人在 过街时受到的自驱动力、 目的地吸引力以及人车 交互斥力， 并求取合力； 根据设定的时间步长， 对 行人过街运动轨迹进行预测。 本发 明的行人过街 轨迹预测方法融合了行人意图识别过程， 对传统 的社会力模 型进行改进， 能够反应出真实的行人 过街行为， 提高行 人过街轨 迹预测的准确性。 权利要求书5页 说明书10页 附图3页 CN 115424236 A 2022.12.02 CN 115424236 A 1.一种融合行人意图和社会力模型的行人过街轨迹预测方法， 其特征在于， 包括以下 步骤： (1)获取自车 行驶状态信息、 车辆前 方图像和行 人运动状态信息； (2)根据所述步骤(1)中采集到的车辆前方图像， 利用Op enpose算法对图像中过街行人 姿态关键点进行检测并拟合人体姿态骨架； 根据人体姿态骨架， 选取能表达行人意图的关 键点， 计算关键点之间的距离和角度参数； (3)将所述步骤(2)中的距离和角度参数作 为特征向量输入到训练后的LVQ神经网络模 型中， 判断行 人意图； (4)建立行人在过街时受到的自驱动力、 目的地吸引力以及人车交互斥力， 并求取合 力， 将行人意图 以权重形式在社会力模 型中量化； 根据设定的时间步长， 对行人过街运动轨 迹进行预测。 2.根据权利要求1所述的融合行人意图和社会力模型的行人过街轨迹预测方法， 其特 征在于， 所述 步骤(1)的具体步骤如下： (11)利用车辆CAN总线获取车辆当前行驶状态信息， 所述行驶状态信息包括车辆的行 驶速度信息、 位置信息； (12)利用安装在车辆前挡风玻璃上的摄 像头获取 车辆前方图像； (13)利用安装在车辆前保险杠处的毫米波雷达获取行人的相对运动状态信息， 所述行 人的相对运动状态信息包括行 人相对车辆的位置信息和速度信息； (14)根据 车辆行驶状态信息和行人的相对运动状态信 息， 利用毫米波雷达坐标系到世 界坐标系的参数转换， 得到行 人运动状态信息 。 3.根据权利要求1所述的融合行人意图和社会力模型的行人过街轨迹预测方法， 其特 征在于， 所述 步骤(2)的具体步骤如下： (21)基于Openpose算法， 将所述步骤(1)中获取的车辆前方图像经过VGG ‑19卷积网络 的前十层初始化获得特征图F， 利用双支线多阶段卷积网络检测出过街行人姿态关键点并 拟合人体姿态骨架； (22)根据行人过街时左侧面朝来车的特点， 选取能表达行人意 图的关键点， 具体选取 人体姿态骨架中的脖 子、 左肩、 左肘、 左腕、 左胯、 左膝、 左踝、 右胯、 右膝、 右踝； (23)计算关键点之间的距离和角度作为特征参数： 计算左肩至左腕的距离d1、 左膝、 右 膝关节间距d2、 左踝、 右踝关节间距d3； 计算左前臂与左后臂的夹角α1、 左腿关节角度α2、 右 腿关节角度α3； 上述中某两个关键点之间的距离用欧几里 得距离表示： 式中， ||v||为两个关键点间欧几里得距离， ΔX和ΔY分别为两个关键点在 X轴和Y轴方 向上的距离 差； 两个关键点组成的线段与X轴的夹角记为α， 三个关键点构成一个三角形， 计算其中夹 角： 权　利　要　求　书 1/5 页 2 CN 115424236 A 24.根据权利要求3所述的融合行人意图和社会力模型的行人过街轨迹预测方法， 其特 征在于， 所述 步骤(21)具体包括： (211)双支线多阶段卷积网络包含两个分支， 第一个分支用于预测检测身体部位关键 点的置信图St， 利用非最大抑制获取候选关键点集， 得到图像中人体姿态关键点的位置； 第 二个分支用于预测连接身体部位肢体关键点之间的部位亲和力场Lt， 计算出图像关键点连 接的全局最优解， 获取 人体姿态骨架； (212)利用L2范数分别表示双分支的损失函数， 即用于检测身体部位 关键点置信图的损 失函数 和用于预测连接身体部位肢体关键点之间的部位亲和力场的损失函数 使得 最终的总损失函数f最小； 式中， 表示身体部位关键点置信图的真实值； 表示在第t阶段身体部位关键点置信 图的预测值； 表示部位亲和力场的真实值； 表示在第t阶段部位亲和力场的预测值； W (p)表示损失函数的权重； J表 示置信图分支的样 本数， C表 示部位亲和力场分支的样 本数； f 表示最终的总损失函数； t,T表示迭代阶段。 5.根据权利要求3所述的融合行人意图和社会力模型的行人过街轨迹预测方法， 其特 征在于， 所述 步骤(3)的具体步骤如下： (31)将所述步骤(23)中计算出的6个特征参数作为特征向量输入到训练后的LVQ神经 网络模型中， 判断行人意图； 所述行人意图包括停下避让、 正常通行、 加速通过三种 过街意 图。 6.根据权利要求5所述的融合行人意图和社会力模型的行人过街轨迹预测方法， 其特 征在于， 所述 步骤(31)具体包括： (311)构建一个能够根据人体姿态骨架特征向量识别行人当前过街意 图的LVQ神经网 络模型； (312)LVQ神经网络模型包含： 输入层、 竞争层和线性输出层； 选取输入层神经元个数为 m个， 竞争层神经元个数为n个， 输出层神经元个数为k个， 且输入层神经元个数根据用来识 别行人意图用到的特征参数个数来确定， 输出层神经元个数根据设定的行人过街意图个数 来确定， 竞争层神经 元个数根据经验 估计方法再 经试验确定， 最大迭代次数为p； 其中，权　利　要　求　书 2/5 页 3 CN 115424236 A 3