(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933560.7 (22)申请日 2022.08.04 (71)申请人 嬴彻星创智能科技 （上海） 有限公司 地址 201801 上海市浦东 新区 （上海） 自由 贸易试验区临港新片区新杨公路1800 弄2幢2528室 (72)发明人 陆强　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 耿琦 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/56(2022.01) (54)发明名称 单目3D目标检测方法及装置 (57)摘要 本发明提供一种单目3D目标检测方法及装 置， 该方法包括： 获取目标时间段内的待检测图 像； 将待检测图像输入至单目3D目标检测模型 中， 得到单目3D目标检测模型输出的目标检测结 果； 其中， 单目3D目标检测模型是基于训练图片 及训练图片 对应的目标真值训练得到的； 单目3D 目标检测模型用于基于对相邻帧待检测图像提 取得到的相邻帧图像特征进行特征融合、 并对特 征融合后的融合特征进行单目3D目标检测。 本发 明通过将基于相邻帧待检测图像提取的图像特 征进行特征融合， 提升了特征提取的鲁棒性， 进 而便于提高后续单目3D目标检测的精度； 另 外， 消除了因不同帧图像之间的相关性产生的冗余 信息， 降低模型计算 量。 权利要求书2页 说明书9页 附图5页 CN 115359326 A 2022.11.18 CN 115359326 A 1.一种单目3D目标检测方法， 其特 征在于， 包括： 获取目标时间段内的待检测图像； 将所述待检测图像输入至单目3D目标检测模型中， 得到所述单目3D目标检测模型输出 的目标检测结果； 其中， 所述单目3D目标检测模型是基于训练图片及所述训练图片对应的 目标真值训练得到的； 所述单目3D 目标检测模型用于对基于相邻帧待检测图像提取得到的相邻帧图像特征 进行特征融合、 并对特 征融合后生成的融合特 征进行单目3D目标检测。 2.根据权利要求1所述的单目3D目标检测方法， 其特征在于， 所述单目3D目标检测模 型， 包括： 特征提取层， 对所述待检测图像进行 特征提取， 得到对应图像特 征； 特征融合层， 将相邻帧图像特征中的在先待检测图像对应的在先图像特征对齐至当前 待检测图像对应的当前图像特 征中， 并进行 特征融合， 得到融合特 征； 单目3D目标检测层， 对所述融合特 征进行单目3D检测， 得到目标检测结果。 3.根据权利要求2所述的单目3D目标检测方法， 其特征在于， 所述将相邻帧图像特征中 的在先待检测图像对应的在先图像特征对齐至 当前待检测图像对应的当前图像特征中， 并 进行特征融合， 得到融合特 征， 包括： 将所述在先图像特征转换至当前待检测图像的全局坐标系中， 得到在先图像全局特 征； 将所述在先图像全局特 征转换至所述当前图像特 征的像素坐标系中， 得到对齐特 征； 将所述对齐特 征与所述当前图像特 征进行特征融合， 得到融合特 征。 4.根据权利要求2所述的单目3D目标检测方法， 其特征在于， 所述单目3D目标检测模 型， 还包括： 特征展平层， 将所述特 征提取层提取的图像特 征进行展平操作； 全连接层， 对经 所述展平操作后的图像特 征进行整合， 得到对应整合后的图像特 征。 5.根据权利要求4所述的单目3D目标检测方法， 其特征在于， 在对经所述展平操作后的 图像特征进行整合之前， 包括： 基于预设相机 外参矩阵， 将所述图像特 征转换至对应待检测图像的像素坐标系中。 6.根据权利要求1所述的单目3D目标检测方法， 其特征在于， 训练所述单目3D目标检测 模型， 包括： 获取训练图片及所述训练图片对应的目标真值； 将所述训练图片输入值待训练单目3D目标检测模型中， 得到所述待训练单目3D目标检 测模型输出 的第一目标预测结果和第二 目标预测结果； 其中， 所述第一 目标预测结果为所 述待训练模型基于所述训练图片提取得到的训练图片特征进 行单目3D目标检测得到的， 所 述第二目标预测结果为所述待训练模型基于相邻帧训练图片提取得到的相邻帧训练图片 特征进行特征融合、 并利用特 征融合后的融合训练特 征进行单目3D目标检测得到的； 基于所述第 一目标预测结果和所述目标真值构建第 一损失函数， 以及基于所述第 二目 标预测结果和所述目标真值构建第二损失函数； 基于所述第一损 失函数和所述第二损 失函数， 得到总损 失函数， 并基于所述总损 失函 数收敛， 判断结束训练。权　利　要　求　书 1/2 页 2 CN 115359326 A 27.根据权利要求6所述的单目3D目标检测方法， 其特征在于， 所述目标真值包括第一目 标真值和 第二目标真值， 所述第一目标真值包括基于所述训练图片的绝对运动速度得到的 速度真值， 所述第二目标真值包括基于相邻帧训练图片的帧间相对位移得到的速度真值； 在构建所述第一损失函数时， 还 包括： 基于所述第一目标 预测结果和所述第一目标真值， 构建所述第一损失函数； 在构建所述第二损失函数时， 还 包括： 基于所述第二目标 预测结果和所述第二目标真值， 构建所述第二损失函数。 8.一种单目3D目标检测装置， 其特 征在于， 包括： 图像获取模块， 获取目标时间段内的待检测图像； 单目3D目标检测模块， 将所述待检测图像输入至单目3D目标检测模型中， 得到所述单 目3D目标检测模型输出的目标检测结果； 其中， 所述单目3D目标检测模型是基于训练图片 及所述训练图片对应的目标真值训练得到的； 所述单目3D 目标检测模型用于基于对相邻帧待检测图像提取得到的相邻帧图像特征 进行特征融合、 并对特 征融合后的融合特 征进行单目3D目标检测。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述单目3D目标检测方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述单目3D目标检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115359326 A 3