(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210615907.3 (22)申请日 2022.05.31 (71)申请人 阿里巴巴 （中国） 有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 张达　苗振伟　刘挺　占新　卿泉　 袁婷婷　 (74)专利代理 机构 北京同钧律师事务所 16 037 专利代理师 杜叶蕊　许怀远 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 检测模型训练方法及 装置、 对象检测方法及 装置 (57)摘要 本申请实施例提供一种检测模型训练方法 及装置， 该方法包括： 获取至少一组训练数据， 其 中， 训练数据中包括多帧样本点云、 多帧样本图 像、 样本点云和样本图像对应的样 本对象检测结 果。 根据检测模 型中的特征提取网络对多帧样本 点云和多帧样本图像进行处理， 得到多帧样本点 云和多帧样 本图像对应的特征信息。 根据检测模 型中的检测网络对特征信息进行处理， 得到对象 检测模型输出的第一对象检测结果。 根据第一对 象检测结果和样本对象检测结果， 更新检测模型 的模型参数。 本申请提供的方法可以有效的提升 对象检测的准确性。 权利要求书4页 说明书22页 附图8页 CN 115019034 A 2022.09.06 CN 115019034 A 1.一种检测模型训练方法， 其特 征在于， 包括： 获取至少一组训练数据， 其中， 所述训练数据中包括多帧样本点云、 多帧样本图像、 所 述样本点云和所述样本图像对应的样本对象检测结果； 根据检测模型中的特征提取网络对所述多帧样本点云和所述多帧样本图像进行处理， 得到所述多帧样本点云和所述多帧样本图像对应的特 征信息； 根据所述检测模型中的检测网络对所述特征信 息进行处理， 得到所述对象检测模型输 出的第一对象检测结果； 根据所述第一对象检测结果和所述样本对象检测结果， 更新所述检测模型的模型参 数。 2.根据权利要求1所述的方法， 其特征在于， 所述特征提取网络中包括特征编码单元和 特征处理单元； 所述根据检测模型中的特征提取网络对所述多帧样本点云和所述多帧样本图像进行 处理， 得到所述多帧样本点云和所述多帧样本图像对应的特 征信息， 包括： 根据所述特征编码单元对所述多帧样本点云和所述多帧样本图像进行处理， 得到各所 述样本点云各自对应的第一 栅格特征， 以及各 所述样本图像各自对应的第二 栅格特征； 根据所述特征处理单元对各所述第 一栅格特征和各所述第 二栅格特征进行处理， 得到 所述特征信息。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述特征编码单元对所述多帧样 本点云和所述多帧样本图像进行处理， 得到各所述样本点云各自对应的第一栅格特征， 以 及各所述样本图像各自对应的第二 栅格特征， 包括： 针对任一帧所述样本 图像， 根据图像采集设备和点云采集设备之间的标定参数， 将所 述样本图像投影至对应的样本点云上， 得到所述样本图像对应的投影后的图像信息； 根据所述多帧样本点云以及所述多帧样本图像各自对应的投影后的图像信 息， 得到各 所述样本点云各自对应的第一特 征图， 以及各 所述样本图像各自对应的第二特 征图； 根据所述第一特 征图， 得到各 所述样本点云各自对应的第一 栅格特征； 根据所述第二特 征图， 得到各 所述样本图像各自对应的第二 栅格特征。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述多帧样本点云以及所述多帧 样本图像各自对应的投影后的图像信息， 得到各所述样本点云各自对应的第一特征图， 以 及各所述样本图像各自对应的第二特 征图， 包括： 针对任一帧所述样本点云， 将所述样本点云投影至目标图像上， 得到所述样本点云对 应的第一投影图， 其中， 所述第一特 征图中包括至少一个第一 栅格； 对所述第一投影图进行 特征提取， 得到所述样本点云对应的第一特 征图； 针对任一帧所述样本图像， 将所述样本图像对应的投影后的图像信 息投影至所述目标 图像上， 得到所述样本图像对应的第二投影图， 其中， 所述第二特征图中包括至少一个第二 栅格； 对所述第二投影图进行 特征提取， 得到所述样本图像对应的第二特 征图。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述第一特征图， 得到各所述样 本点云各自对应的第一 栅格特征， 包括： 针对所述第一特 征图中的任一个所述第一 栅格， 获取 所述第一 栅格中的多个特 征点；权　利　要　求　书 1/4 页 2 CN 115019034 A 2确定各所述特征点各自对应的相关度参数， 其中， 所述相关度参数用于指示所述特征 点和所述第一 栅格之间的相关程度； 根据各所述特征点各自对应的相关度参数， 得到所述第 一栅格对应的栅格特征， 其中， 所述第一 栅格特征包括所述第一特 征图中的多个第一 栅格各自的栅格特 征。 6.根据权利要求4所述的方法， 其特征在于， 所述根据所述第二特征图， 得到各所述样 本图像各自对应的第二 栅格特征， 包括： 针对所述第二特 征图中的任一个所述第二 栅格， 获取 所述第二 栅格中的多个特 征点； 确定各所述特征点各自对应的相关度参数， 其中， 所述相关度参数用于指示所述特征 点和所述第二 栅格之间的相关程度； 根据各所述特征点各自对应的相关度参数， 得到所述第 二栅格对应的栅格特征， 其中， 所述第二 栅格特征包括所述第二特 征图中的多个第二 栅格各自的栅格特 征。 7.根据权利要求2 ‑6任一项所述的方法， 其特征在于， 所述根据 所述特征处理单元对各 所述第一 栅格特征和各所述第二 栅格特征进行处 理， 得到所述特 征信息， 包括： 针对任一个所述第一特征图， 对所述第一特征图进行区域划分， 得N ×M个第一区域， 其 中， 所述N和所述M为大于等于1的整数； 针对任一个所述第二特 征图， 对所述第二特 征图进行区域划分， 得到N ×M个第二区域； 根据各所述第一特征图的第一区域、 各所述第二特征图的第二区域、 各所述第一栅格 特征、 各所述第二 栅格特征， 得到所述特 征信息。 8.根据权利要求7所述的方法， 其特征在于， 所述根据各所述第一特征图的第一区域、 各所述第二特征图的第二区域、 各所述第一栅格特征、 各所述第二栅格特征， 得到所述特征 信息， 包括： 根据各所述第 一特征图的第 一区域以及各所述第 二特征图的第 二区域， 将相同位置的 各所述第一区域和各 所述第二区域， 确定为 一个区域 集合； 针对任一个所述 区域集合， 将所述 区域集合中的各所述第 一区域各自对应的第 一栅格 特征， 以及各所述第二区域各自对应的第二栅格特征， 输入至自注意力网络， 以使 得所述自 注意力网络 输出所述区域 集合对应的子特 征信息； 将各个区域 集合的子特 征信息进行拼接， 得到所述特 征信息。 9.根据权利要求7或8所述的方法， 其特征在于， 所述根据各所述第一特征图的第一区 域以及各所述第二特征图的第二区域， 将相同位置的各所述第一区域和各所述第二区域， 确定为一个区域 集合之后， 所述方法还 包括： 将所述N×M个区域集合确定为原 始层； 对所述原始层中的N ×M个区域集合进行T次降采样处理， 得到T个降采样层， 其中， 第i 个所述降采样层中包括Pi×Qi个区域集合， 其中， 所述T为大于等于1的整数， 所述Pi和所述 Qi为大于等于1的整数， 并且所述Pi小于所述 N， 所述Qi小于所述M， 所述 i的取值为1至T。 10.根据权利要求9所述的方法， 其特征在于， 所述将各个区域集合的子特征信息进行 拼接， 得到所述特 征信息之后， 所述方法还 包括： 针对所述T个降采样层 中的第i个降采样层， 确定所述降采样层 中Pi×Qi个区域集合各 自的子特 征信息； 将所述Pi×Qi个区域集合中各所述个区域集合的子特征信息进行拼接， 得到所述第i个权　利　要　求　书 2/4 页 3 CN 115019034 A 3