(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211031491.7 (22)申请日 2022.08.26 (71)申请人 北京沃东天骏信息技 术有限公司 地址 100176 北京市大兴区经济技 术开发 区科创十一 街18号院2号楼4层A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 何凤翔　王一凯　黄文炳　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 20/00(2019.01) (54)发明名称 三维目标检测方法及装置 (57)摘要 本申请公开了一种三维目标检测方法及装 置。 方法的一具体实施方式包括： 获取相对应的 三维点云数据和二维图像数据； 通过预训练的目 标检测模型， 基于注意力机制， 确定多个目标检 测标记对于三维点云数据中的每个点云标记和 二维图像数据中的每个图像片标记的注意力权 重； 通过目标检测模型， 根据注意力权重， 得到三 维目标检测结果。 本申请充分融合三维点云数据 和二维图像数据这两种模态的数据， 通过目标检 测标记建立两种模态数据的内在语义相关性， 提 高了三维目标检测结果的准确度。 权利要求书3页 说明书18页 附图6页 CN 115376123 A 2022.11.22 CN 115376123 A 1.一种三维目标检测方法， 包括： 获取相对应的三维点云数据和二维图像数据； 通过预训练的目标检测模型， 基于注意力机制， 确定多个目标检测标记对于所述三维 点云数据中的每 个点云标记和所述 二维图像数据中的每 个图像片标记的注意力权 重； 通过所述目标检测模型， 根据所述注意力权 重， 得到三维目标检测结果。 2.根据权利要求1所述的方法， 其中， 所述通过预训练的目标检测模型， 基于注意力机 制， 确定多个目标检测标记对于所述三 维点云数据中的每个点云标记和所述二维图像数据 中的每个图像片标记的注意力权 重， 包括： 对于所述目标检测模型中的每层注意力网络， 执 行如下操作： 基于注意力 机制， 通过上一层注意力网络输出的多个点云标记和多个目标检测标记中 的一部分目标检测标记， 得到该层注意力网络 输出的多个点云标记； 基于注意力 机制， 通过上一层注意力网络输出的多个图像片标记和多个目标检测标记 中的另一部分目标检测标记， 得到该层注意力网络 输出的多个图像片标记； 基于注意力机制， 通过上一层注意力网络输出的多个点云标记、 多个图像片标记和多 个目标检测标记， 得到该层注意力网络 输出的多个目标检测标记； 以及 所述基于注意力 机制， 确定多个目标检测标记对于所述三维点云数据中的每个点云标 记和所述 二维图像数据中的每 个图像片标记的注意力权 重， 还包括： 将最后一层注意力网络 输出的多个目标检测标记作为所述注意力权 重。 3.根据权利要求2所述的方法， 其中， 所述基于注意力机制， 通过上一层注意力网络输 出的多个点云标记和多个目标检测标记中的一部分目标检测标记， 得到该层注意力网络输 出的多个点云标记， 包括： 基于注意力 机制， 通过上一层注意力网络输出的多个点云标记和多个目标检测标记中 的一部分目标检测标记， 得到该层注意力网络 输出的多个初始点云标记； 确定所述多个初始点云标记和该层注意力网络输出的多个图像片标记之间的对应关 系； 将具有对应关系的初始点云标记和图像片标记进行融合， 得到该层注意力网络输出的 多个点云标记。 4.根据权利要求3所述的方法， 其中， 所述确定所述多个初始点云标记和该层注意力网 络输出的多个图像片标记之间的对应关系， 包括： 根据获取所述二维图像数据的相机设备的相机 内参数据和相机外参数据， 从所述二维 图像数据中确定出 所述多个初始点云标记中的每 个初始点云标记对应的像素的坐标信息； 根据每个初始点云标记对应的坐标信息， 确定出 该点云标记对应的图像片标记。 5.一种目标检测模型的训练方法， 包括： 获取训练样本集， 其中， 所述训练样本集中的训练样本包括三维点云数据、 二维图像数 据、 三维目标检测结果标签和二维目标检测结果标签； 利用机器学习算法， 基于注意力机制， 确定多个目标检测标记对于输入的三维点云数 据中的每个点云标记和二 维图像数据中的每个图像片标记的注意力权重， 将输入的三维点 云数据和二 维图像数据对应的三 维目标检测结果标签和二维目标检测结果标签， 依次作为 基于所述注意力权重得到的三维目标检测结果和二维目标检测结果的期望结果， 训练得到权　利　要　求　书 1/3 页 2 CN 115376123 A 2所述目标检测模型。 6.根据权利要求5所述的方法， 其中， 所述基于注意力机制， 确定多个目标检测标记对 于输入的三维点云数据中的每个点云标记和 二维图像数据中的每个图像片标记的注意力 权重， 包括： 对于初始目标检测模型中的每层注意力网络， 执 行如下操作： 基于注意力 机制， 通过上一层注意力网络输出的多个点云标记和多个目标检测标记中 的一部分目标检测标记， 得到该层注意力网络 输出的多个点云标记； 基于注意力 机制， 通过上一层注意力网络输出的多个图像片标记和多个目标检测标记 中的另一部分目标检测标记， 得到该层注意力网络 输出的多个图像片标记； 基于注意力机制， 通过上一层注意力网络输出的多个点云标记、 多个图像片标记和多 个目标检测标记， 得到该层注意力网络 输出的多个目标检测标记； 以及 所述基于注意力 机制， 确定多个目标检测标记对于输入的三维点云数据中的每个点云 标记和二维图像数据中的每 个图像片标记的注意力权 重， 还包括： 将最后一层注意力网络 输出的多个目标检测标记作为所述注意力权 重。 7.根据权利要求6所述的方法， 其中， 所述基于注意力机制， 通过上一层注意力网络输 出的多个点云标记和多个目标检测标记中的一部分目标检测标记， 得到该层注意力网络输 出的多个点云标记， 包括： 基于注意力 机制， 通过上一层注意力网络输出的多个点云标记和多个目标检测标记中 的一部分目标检测标记， 得到该层注意力网络 输出的多个初始点云标记； 确定所述多个初始点云标记和该层注意力网络输出的多个图像片标记之间的对应关 系； 将具有对应关系的初始点云标记和图像片标记进行融合， 得到该层注意力网络输出的 多个点云标记。 8.根据权利要求7所述的方法， 其中， 所述确定所述多个初始点云标记和该层注意力网 络输出的多个图像片标记之间的对应关系， 包括： 根据获取所述二维图像数据的相机设备的相机 内参数据和相机外参数据， 从二维图像 数据中确定出 所述多个初始点云标记中的每 个初始点云标记对应的像素的坐标信息； 根据每个初始点云标记对应的坐标信息， 确定出 该点云标记对应的图像片标记。 9.根据权利要求6所述的方法， 其中， 所述将输入的三维点云数据和二维图像数据对应 的三维目标检测结果标签和二维目标检测结果标签， 依次作为基于所述注意力权重得到的 三维目标检测结果和二维目标检测结果的期望结果， 包括： 将输入的三维点云数据和二维图像数据对应的三维 目标检测结果标签， 作为基于多个 目标检测标记中的一部分目标检测标记对应的注意力权重得到的三维目标检测结果的期 望结果； 将输入的三维点云数据和二维图像数据对应的二维 目标检测结果标签， 作为基于多个 目标检测标记中的另一部分目标检测标记对应的注意力权重得到的二维目标检测结果的 期望结果。 10.一种三维目标检测装置， 包括： 第一获取 单元， 被配置成获取相对应的三维点云数据和二维图像数据；权　利　要　求　书 2/3 页 3 CN 115376123 A 3