(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210508913.9 (22)申请日 2022.05.10 (71)申请人 北京易航远智科技有限公司 地址 100015 北京市朝阳区酒仙桥北路7号 60幢一层0 30 (72)发明人 陈禹行　彭微　李雪　范圣印　 (74)专利代理 机构 北京庚致知识产权代理事务 所(特殊普通 合伙) 11807 专利代理师 孙敬霞 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 20/58(2022.01)G06V 10/82(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于伪点云的目标检测方法、 装置、 电子设 备和存储介质 (57)摘要 本公开提供了一种基于伪点云的目标检测 方法、 装置、 电子设备和存储介质。 本公开中基于 伪点云的目标检测方法包括： 获取第一图像的第 一伪点云数据， 获取第一图像的3D候选框信息， 获取3D候选框的第一伪点云数据， 根据3D候选框 的第一伪点云数据获得3D候选框的第二伪点云 数据， 根据3D候选框的第二伪点云数据通过特征 编码获得3D候选框所对应目标的第一特征向量， 使第二伪点云数据表征的目标特征在分布上与 激光点云数据表征的目标特征一致， 根据3D候选 框所对应目标的第一特征向量获得3D检测框信 息。 本公开能够提升伪点云目标检测的精度、 同 时使检测结果更准确。 权利要求书4页 说明书17页 附图6页 CN 114842313 A 2022.08.02 CN 114842313 A 1.一种基于伪点云的目标检测方法， 其特 征在于， 包括： 获取第一图像的第一伪点云数据， 所述第一伪点云数据表征的目标特征包括三维3D特 征和类别特 征； 根据所述第一图像的第一伪点云数据， 获取 所述第一图像的3D候选 框信息； 根据所述第 一图像的3D候选框信息和所述第一图像的第一伪点云数据， 获取3D候选框 的第一伪点云数据； 根据所述3D候选框的第一伪点云数据， 获得所述3D候选框的第二伪点云数据， 所述第 二伪点云数据 表征的目标特征包含所述3D候选框的对应目标的3D特征、 类别特征和内部特 征； 根据所述3D候选框的第二伪点云数据， 通过特征编码 获得所述3D候选框的第一特征向 量， 所述特征编码能够使 所述第二伪点云数据 表征的目标特征在分布上与激光点云数据 表 征的目标 特征一致； 根据所述3D候选 框所对应目标的第一特 征向量获得3D检测框信息 。 2.根据权利要求1所述基于伪点云的目标检测方法， 其特征在于， 所述获取所述第 一图 像的第一伪点云数据， 包括： 获取所述第一图像的深度信息； 获取所述第一图像的语义信息； 根据所述第 一图像的深度信 息和语义信 息， 通过坐标转换生成所述第 一图像的第 一伪 点云数据。 3.根据权利要求1或2所述基于伪点云的目标检测方法， 其特征在于， 所述第一伪点云 数据和/或所述第二伪点云数据具有四个维度， 所述四个维度中的一个维度表示 点的类别。 4.根据权利要求1所述基于伪点云的目标检测方法， 其特征在于， 所述根据所述3D候选 框的第一伪点云数据， 获得 所述3D候选 框的第二伪点云数据， 包括： 根据所述3D候选框的第一伪点云数据， 获取所述3D候选框所对应目标的空间关联特 征； 根据所述3D候选框的第一伪点云数据， 获取所述3D候选框所对应目标的通道关联特 征； 根据所述3D候选框的第一伪点云数据中的位置信息， 获取所述3D候选框所对应目标的 3D相对位置特 征； 根据所述3D候选框所对应目标的空间关联特征、 通道关联特征和3D相对位置特征， 获 得所述3D候选 框的第二伪点云数据； 优选地， 所述3D候选框的第二伪点云数据通过预训练的特征关联网络获得， 所述特征 关联网络包括点间注意力模块、 通道间注意力模块、 位置编码模块和融合模块， 所述点间注 意力模块用于获取所述空间关联特征， 所述通道间注意力模块用于获取所述3D候选框所对 应目标的通道关联特征， 所述位置编码模块用于获取所述3D候选框所对应目标的3D相对位 置特征， 所述融合模块用于获得 所述3D候选 框的第二伪点云数据； 优选地， 所述根据所述3D候选框的第二伪点云数据， 通过特征编码获得所述3D候选框 所对应目标的第一特征向量， 包括： 采用关键点相对坐标编码方式将所述3D候选框的第二 伪点云数据编 码为所述3D候选框的伪点云目标特征数据， 所述伪点云目标特征数据在分布权　利　要　求　书 1/4 页 2 CN 114842313 A 2上与激光点云目标特征数据一致， 所述激光点云目标特征数据根据所述3D候选框的激光点 云数据编码得到； 将所述伪点云目标 特征数据解码为固定大小的第一特 征向量； 优选地， 所述根据所述3D候选框的第二伪点云数据， 通过特征编码获得所述3D候选框 所对应目标的第一特征向量， 包括： 通过预训练的第一目标特征编码网络对所述3D候选框 的第二伪点云数据进 行特征编码以获得所述3D候选框所对应目标的第一特征向量， 所述第 一目标特征编码网络包括编码器和解码器； 优选地， 所述第 一目标特征编码网络根据 所述3D候选框所对应目标的第 一特征向量与 第二特征向量训练得到， 所述第二特征向量由第二目标特征编 码网络根据对应所述3D候选 框的激光点云数据获得， 所述第二目标特征编 码网络与所述第一目标特征编码网络结构相 同； 优选地， 所述第一目标特征编码网络的损 失函数包含特征相似性损 失， 所述特征相似 性损失根据所述3D候选 框所对应目标的第一特 征向量和第二特 征向量得到； 优选地， 所述特征相似性损失为所述3D候选框所对应目标的第一特征向量与第 二特征 向量之间的KL散度损失； 优选地， 还包括： 根据所述3D候选框所对应目标的第一特征向量获得所述3D检测框的 置信度； 优选地， 所述3D检测框信息基于预训练的第一前馈神经网络获得， 和/或所述3D检测框 的置信度基于预训练的第二前馈神经网络获得； 优选地， 3D候选框检测网络、 特征关联网络、 第一目标特征编码网络、 第一前馈神经网 络和/或第二前馈神经网络的损失函数表示 为： Ltotal＝α1LRPN+α2Lconf+α3Lreg+α4LKLD 其中， Ltotal表示损失函数的函数值， α1、 α2、 α3、 α4表示权重系数， LKLD表示特征相似性损失， Lconf表示检测框置信度计算损失， Lreg表示3D检测框回归损 失， LRPN表示3D候选 框检测网络的损失； 其中， 所述3D候选框检测网络用于获取所述3D候选框信息， 所述特征关联网络用于获 得所述3D候选框的第二伪点云数据， 所述第一目标特征编 码网络用于获得所述3D候选框所 对应目标的第一特征向量， 所述第一前馈神经网络用于获得所述3D检测框信息， 所述第二 前馈神经网络用于获得 所述3D检测框的置信度。 5.一种基于伪点云的目标检测装置， 其特 征在于， 包括： 伪点云获取单元， 获取第一图像的第一伪点云数据， 所述第一伪点云数据表征的目标 特征包括三维3D特 征和类别特 征； 3D目标候选框提取单元， 用于根据所述第一图像的第一伪点云数据， 获取所述第一图 像的3D候选 框信息； 候选框伪点云单元， 用于根据 所述第一图像的3D候选框信 息和所述第 一图像的第一伪 点云数据， 获取3D候选 框的第一伪点云数据； 特征关联单元， 用于根据所述3D候选框的第一伪点云数据， 获得所述3D候选框的第二 伪点云数据， 所述第二伪点云数据表征的目标特征包含所述3D候选框的对应目标的3D特 征、 类别特 征和内部特 征； 特征编码单元， 用于根据所述3D候选框的第二伪点云数据， 通过特征编码获得所述3D权　利　要　求　书 2/4 页 3 CN 114842313 A 3