(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210554995.0 (22)申请日 2022.05.20 (71)申请人 广州文远知行 科技有限公司 地址 511365 广东省广州市黄埔区广州国 际生物岛螺旋大道68号合景科盛广场 A栋地上第16层01、 02、 0 3、 04单元 (72)发明人 郭湘　陈连胜　韩文韬　何钦尧　 韩旭　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 王文 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/58(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 感知元素相对关系检测方法、 装置、 设备及 存储介质 (57)摘要 本发明涉及人工智能领域， 公开了一种感知 元素相对关系检测方法、 装置、 设备及存储介质， 该方法包括： 获取相机拍摄的待检测图像以及同 一时刻传感器检测的多个感知元素的第一空间 信息； 将所述待检测图像以及对应的多个所述感 知元素的第一空间信息输入预设的空间信息调 整模型， 得到多个所述感知元素的第二空间信 息； 基于所述第二空间信息， 计算多个所述感知 元素之间的相对关系预测值。 本方法设计了一个 新型的神经网络架构， 能够直接利用图像信息捕 捉感知元素之间的相对关系。 同时直接对相对关 系本身建模进行监督， 从而保证输出结果中相对 关系的正确性， 可以解决由于内生的位置估计误 差， 造成的感知元素之间相对关系的不稳定性问 题。 权利要求书3页 说明书10页 附图4页 CN 115272998 A 2022.11.01 CN 115272998 A 1.一种感知元素相对关系检测方法， 其特征在于， 所述感知元素相对关系检测方法包 括： 获取相机拍摄的待检测图像以及同一时刻传感器检测的多个感知元素的第一空间信 息； 将所述待检测图像以及对应的多个所述感知元素的第一空间信息输入预设的空间信 息调整模型， 得到多个所述感知元 素的第二空间信息； 基于所述第二空间信息， 计算多个所述感知元 素之间的相对关系预测值。 2.根据权利要求1所述的感知元素相对关系检测方法， 其特征在于， 所述将待检测图像 以及对应的多个感知元素的第一空间信息输入 预设的空间信息调整模型， 得到多个所述感 知元素的第二空间信息包括： 将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调整模 型， 通过所述空间信息调整模型对所述待检测图像进行特征提取， 得到所述待检测图像的 图像特征； 通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所述待 检测图像， 得到所述多个感知元 素在所述待检测图像中对应的像素位置集 合； 基于所述图像特征和所述像素位置集合对所述感知元素的第 一空间信 息进行调 整， 得 到对应的第二空间信息 。 3.根据权利要求2所述的感知元素相对关系检测方法， 其特征在于， 所述空间信 息调整 模型包括特 征提取网络， 所述特 征提取网络包括卷积神经网络和特 征金字塔网络； 所述将待检测图像以及对应的多个感知元素的第一空间信息输入预设的空间信息调 整模型， 通过所述空间信息调整模型对所述待检测图像进行特征提取， 得到所述待检测图 像的图像特 征包括： 将所述待检测图像输入预设的空间信 息调整模型， 通过所述空间信 息调整模型中的卷 积神经网络对所述待检测图像进行 卷积和池化操作， 得到不同深度的特 征图； 通过所述特征金字塔网络对所述特征图进行特征融合， 得到融合特征图， 并将所述融 合特征图作为所述待检测图像的图像特 征。 4.根据权利要求2所述的感知元素相对关系检测方法， 其特征在于， 所述第 一空间信 息 位于预设的世界坐标系上； 所述通过所述空间信息调整模型根据所述第一空间信息将对应的感知元素投影至所 述待检测图像， 得到所述多个感知元 素在所述待检测图像中对应的像素位置集 合包括： 获取所述相机的内参信 息和外参信 息， 并基于所述内参信 息和所述外参信 息分别得到 所述相机的内参矩阵和外参矩阵； 根据所述内参矩阵， 将各感知元素的第 一空间信 息从所述世界坐标系转换至所述相机 的相机坐标系上； 根据所述外参矩阵， 将所述相机坐标系上的第 一空间信 息转换成所述待检测图像的图 像坐标系上的像素位置坐标； 将各感知元素对应的所有像素位置坐标进行汇总， 得到各感知元素在所述待检测图像 中对应的像素位置集 合。 5.根据权利要求2所述的感知元素相对关系检测方法， 其特征在于， 所述基于所述图像权　利　要　求　书 1/3 页 2 CN 115272998 A 2特征和所述像素位置集合对所述感知元素的第一空间信息进 行调整， 得到对应的第二空间 信息包括： 基于所述待检测图像的图像特征和所述像素位置集合计算对应的感知元素在所述待 检测图像中的图像特 征； 基于预设的自注意力机制， 将所有所述感知元素的图像特征进行信息融合， 计算各感 知元素的空间偏移量； 基于所述空间偏移量对 对应的第一空间信息进行调整， 得到对应的第二偏移量。 6.根据权利要求1 ‑5中任一项所述的感知元素相对关系检测方法， 其特征在于， 所述空 间信息调整模型通过以下步骤训练得到： 获取相机拍摄的多 张历史检测图像、 所述历史检测图像拍摄的同一 时刻传感器检测的 多个历史感知元 素的第三空间信息以及所述历史感知元 素的真实空间信息； 根据所述第 三空间信 息将对应的历史感知元素投影至所述历史检测图像中， 得到多个 历史感知元 素在所述历史检测图像上的像素位置集 合； 根据预设的特征提取网络对所述历史检测图像进行图像特征提取， 得到所述历史检测 图像对应的图像特 征； 基于所述历史检测图像对应的图像特征和所述像素位置集合， 计算对应的历史感知元 素的图像特 征； 基于自注意力 机制对多个所述历史感知元素的图像特征进行信 息融合， 得到所述历史 感知元素的第四空间信息； 基于所述真实空间信息和所述第四空间信息， 计算预设的损失函数， 得到损失函数值； 判断所述损失函数值是否大于预设的损失阈值； 若是， 则根据 所述损失函数值对所述特征提取网络和所述自注意力 机制的网络参数进 行调整， 并通过调整后的特征提取网络和自注意力机制根据输入的历史检测图像和历史感 知元素重复计算所述损失函数， 直至所述损失函数值小于或等于所述损失阈值； 若否， 则根据 所述特征提取网络和所述自注意力 机制的网络参数得到空间信 息调整模 型。 7.根据权利要求6所述的感知元素相对关系检测方法， 其特征在于， 所述损失函数包括 相对关系损失函数和/或直接损失函数； 所述基于所述真实空间信息和所述第 四空间信息， 计算预设的损 失函数， 得到损 失函 数值包括： 根据所述真实空间信息， 计算多个所述历史感知元 素的相对关系真值； 根据所述第四空间信息， 计算多个所述历史感知元 素的相对关系预测值； 根据所述真实空间信息和所述第 四空间信息， 计算所述直接损 失函数和/或根据多个 所述历史感知元 素的相对关系预测值和所述相对关系真值， 计算所述相对关系损失函数。 8.一种感知元素相对关系检测装置， 其特征在于， 所述感知元素相对关系检测装置包 括： 获取模块， 用于获取相机拍摄的待检测图像以及同一 时刻传感器检测的多个感知元素 的第一空间信息； 调整模块， 用于将所述待检测图像以及对应的多个所述感知元素的第 一空间信 息输入权　利　要　求　书 2/3 页 3 CN 115272998 A 3