(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111643897.6 (22)申请日 2021.12.2 9 (71)申请人 武汉中海庭数据技 术有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区软件园东路1号软件园4.1期B6栋 1层、 9层、 10层01室(自贸区武汉片区) (72)发明人 赵彦植　尹玉成　辛梓　贾腾龙　 王小亮　 (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 代理人 范三霞 (51)Int.Cl. G06T 17/05(2011.01) G06T 7/13(2017.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种动态目标位姿信息优化方法 (57)摘要 本发明提供一种动态目标位姿信息优化方 法， 包括： 基于动态目标2D ‑box的位置信息、 单帧 图像的掩膜图像以及第一检测线段集合， 生成对 应的动态 目标3D‑box； 根据对应的动态 目标3D‑ box的位置信息， 利用重投影误差， 优化每帧图像 的动态目标2D ‑box的位置信息； 联合多帧图像生 成的动态目标3D ‑box位姿和车体位姿信息， 对动 态目标3D ‑box位姿进行优 化， 生成动态目标的最 终3D‑box位姿信息。 本发明优化动态目标2d ‑ box， 在每帧图像中的重投影误差， 提高2d ‑box在 图像坐标系下的位置精度； 基于连续多帧图像， 联合此时车体的位姿信息， 对3D ‑box的位姿信息 进行优化， 提高动态目标位姿 估计精度。 权利要求书3页 说明书10页 附图4页 CN 114241148 A 2022.03.25 CN 114241148 A 1.一种动态目标位姿信息优化方法， 其特 征在于， 包括： 对于单目相机拍摄的单帧图像， 基于深度学习模型输出单帧图像 中动态目标2D ‑box的 位置信息， 并生成单帧图像的掩膜图像； 对于单帧图像， 基于线检测算法， 生成单帧图像的所有检测线段， 形成第 一检测线段集 合； 基于动态目标2D ‑box的位置信息、 单帧图像的掩膜图像以及第一检测线段线集合， 生 成对应的动态目标3D ‑box； 根据对应的动态 目标3D‑box的位置信息， 利用重投影误差， 优化每帧图像的动态目标 2D‑box的位置信息； 基于优化后的动态目标2D ‑box的位置信息， 生成对应的动态目标3D ‑box的位置信息； 联合多帧图像生成的动态目标3D ‑box位姿和车体位姿信息， 对动态目标3D ‑box位姿进 行优化， 生成动态目标的最终3D ‑box位姿信息 。 2.根据权利要求1所述的动态目标位姿信 息优化方法， 其特征在于， 所述对于单目相机 拍摄的单帧图像， 基于深度学习模型输出 单帧图像中动态目标2D ‑box的位置信息， 包括： 将单帧图像输入深度学习模型中， 获取所述深度学习模型识别的动态目标2D ‑box在图 像坐标系下的位置信息， 所述位置信息采用位置向量表示[x,y,wi dth,height]， 其中， [x, y]表示动态目标2d ‑box的左上角坐标， [width,height]表示动态目标2d ‑box的宽度和高 度。 3.根据权利要求1所述的动态目标位姿信息优化方法， 其特征在于， 所述对于单帧图 像， 基于线检测算法， 生成单帧图像的所有检测线段， 形成第一检测线段集 合， 包括： 对于单帧图像， 基于canny线检测算法， 生成单帧图像的所有检测线段， 单帧图像中的 所有检测 线段形成第一检测线段集合， 每一条检测 线段的向量表示为： [x1,y1,x2,y2]， 其 中(x1,y1)为检测线段 段的起点坐标， (x2,y2)为检测线段 段的终点 坐标， 且x1<x2。 4.根据权利要求1所述的动态目标位姿信 息优化方法， 其特征在于， 所述基于动态目标 2D‑box的位置信息、 单帧图像的掩膜图像以及第一检测线 段集合， 生 成对应的动态目标3D ‑ box， 包括： 基于掩膜图像， 过滤所述第一检测线段集合L中灰度值为255的检测线段， 并对灰度值 为0的检测线段进行合并和删除操作， 得到第二检测线段集 合Lv； 基于单目相机的姿态角信息， 对所述第二检测线段集合Lv中的检测线段进行筛选， 得 到第三检测线段集 合Lvp； 基于动态目标2D ‑box的位置信息和所述第三检测线段集合Lvp， 生成与动态目标2D ‑ box对应的动态目标3D ‑box的位置信息 。 5.根据权利要求4所述的动态目标位姿信息优化方法， 其特征在于， 所述对灰度值为0 的检测线段进行合并和删除操作， 得到第二检测线段集 合Lv， 包括： 计算第一检测线段集 合中所有灰度值 为0的检测线段的角度， 所述角度用其 斜率表征； 计算每相邻 两条检测线段之间的角度差和距离， 所述每相邻 两条检测线段之间的距离 是指其中一条检测线段的尾点和另一条检测线段的起 点之间的距离； 当所述角度差小于预设角度阈值且所述距离小于预设距离阈值 时， 将所述两条相邻检 测线段进行合并；权　利　要　求　书 1/3 页 2 CN 114241148 A 2将线段长度大于预设长度阈值的检测线段进行删除， 得到第二检测线段集 合Lv。 6.根据权利要求4或5所述的动态目标位姿信息优化方法， 其特征在于， 所述基于单目 相机的姿态角信息， 对所述第二检测线段集合Lv中的检测线段进行筛选， 得到第三检测线 段集合Lvp， 包括： 对单目相机的姿态角信息进行采样； 基于采样得到的相机的姿态角信息， 计算消失点； 基于消失点， 从所述第二检测线段集 合Lv中查找形成消失点的检测线段； 计算消失点与每一条检测线段中点的角度； 基于角度阈值对检测线段进行筛 选， 得到筛选后的第三检测线段集 合Lvp。 7.根据权利要求6所述的动态目标位姿优化方法， 其特征在于， 所述基于动态目标2D ‑ box的位置信息和所述第三检测 线段集合Lvp， 生成与动态目标2D ‑box对应的动态目标3D ‑ box的位置信息， 包括： 对动态目标2D ‑box的位置信息对应的目标框的上边缘进行采样， 得到动态目标3D ‑box 顶部采样点的坐标集{top_pos}； 对于每一个采样点， 计算对应的3D ‑box的8个边缘角坐标， 构成动态目标3D ‑box位置信 息。 8.根据权利要求1所述的动态目标位姿信 息优化方法， 其特征在于， 所述根据对应的动 态目标3D ‑box的位置信息， 利用重投影误差， 优化每帧图像的动态目标2D ‑box的位置信息， 包括： 根据当前单目相机的位姿转换矩阵Rt， 将动态目标3D ‑box的位置信息， 经过重投影， 转 换到图像坐标系下， 生成图像坐标系下的2D ‑box位置信息； 基于重投影后的2D ‑box位置信息与通过深度学习模型提取的原始2D ‑box位置信息， 对 原始动态目标2D ‑box位置信息进行优化。 9.根据权利要求8所述的动态目标位姿优化方法， 其特征在于， 所述基于重投影后的 2D‑box位置信息与通过深度学习模型提取的原始2D ‑box位置信息， 对原始动态目标2D ‑box 位置信息进行优化， 包括： 利用最小二乘法建立优化残差模型： error＝||pos_cal ‑pos_g||2； 其中， pos_cal为重投影后得到的动态目标的2D ‑box位置信息， pos_g为动态目标的原 始2D‑box位置信息； 联合同一动态目标在多帧图像 中的关联， 利用非线性优化算法， 推导出每帧下， 动态目 标的最佳2D ‑box位置信息 。 10.根据权利要求1所述的动态目标位姿信息优化方法， 其特征在于， 所述联合多帧图 像生成的动态目标3D ‑box位姿和车体位姿信息， 对动态目标3D ‑box位姿进行优化， 生成动 态目标的最终3D ‑box位姿信息， 包括： 基于获取的动态目标3D ‑box位姿， 建立动态目标的运动模型来优化3d ‑box的位姿信 息， 其中， 基于连续帧之间同一个动态目标的差 速模型建立如下模型：权　利　要　求　书 2/3 页 3 CN 114241148 A 3