(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210937447.6 (22)申请日 2022.08.05 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 叶晓青　杨威　 (74)专利代理 机构 北京易光知识产权代理有限 公司 11596 专利代理师 阎敏　王姗姗 (51)Int.Cl. G06T 7/55(2017.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 单目深度估计方法、 装置、 电子设备、 存储介 质及车辆 (57)摘要 本公开提供了一种单目深度估计方法、 装 置、 电子设备、 存储介质及车辆， 涉及人工智能技 术领域， 尤其涉及图像处理、 计算机视觉和深度 学习等技术领域， 可应用于3D视觉、 智能交通等 场景。 具体实现方案为： 从单目图像采集装置采 集的图像中， 提取多个分辨率的特征图； 对多个 分辨率的特征图进行融合处理， 得到多个待处理 特征图； 对多个待处理特征图进行加权处理， 得 到目标特征图； 基于目标特征图进行深度估计， 得到图像的深度图。 基于多个分辨率的特征图能 够从图像中提取出不同层次的尺度不变特征。 对 不同分辨率的特征图进行融合， 得到增强的尺度 不变特征。 增强的尺度不变特征不受物体在图像 中的尺寸影响， 使得该方法能够适用不同相机 。 权利要求书3页 说明书9页 附图8页 CN 115330851 A 2022.11.11 CN 115330851 A 1.一种单目深度估计方法， 包括： 从单目图像采集装置采集的图像中， 提取多个分辨 率的特征图； 对所述多个分辨 率的特征图进行融合处 理， 得到多个待处 理特征图； 对所述多个待处 理特征图进行加权处 理， 得到目标 特征图； 基于所述目标 特征图进行深度估计， 得到所述图像的深度图。 2.根据权利要求1所述的方法， 所述对所述多个分辨率的特征图进行融合处理， 得到多 个待处理特征图， 包括： 从所述多个分辨率的特征图中， 选取目标分辨率的特征图为基准特征图， 从所述目标 分辨率之外的特 征图中选取第一特 征图； 基于注意力机制， 将所述第一特征图与所述基准特征图进行融合， 得到所述第一特征 图对应的融合特 征图； 将所述融合特 征图和所述基准特 征图作为所述待处 理特征图。 3.根据权利要求2所述的方法， 所述基于注意力 机制， 将所述第 一特征图与 所述基准特 征图进行融合， 得到所述第一特 征图对应的融合特 征图， 包括： 在选取出多个所述第一特征图的情况下， 对每个所述第一特征图分别执行以下操作， 得到所述第一特 征图对应的融合特 征图： 基于注意力 机制， 从所述第 一特征图中提取出多种第 一子特征图； 以及， 对所述基准特 征图依序进行 特征提取和采样至所述第一子特 征图的分辨 率， 得到第二子特 征图； 将所述多种第一子特 征图进行融合， 得到第三子特 征图； 将所述第三子特 征图和所述第二子特 征图进行融合， 得到第四子特 征图； 将所述第四子特征图采样至所述目标分辨率， 得到所述第一特征图对应的融合特征 图。 4.根据权利要求2所述的方法， 所述基于注意力 机制， 将所述第 一特征图与 所述基准特 征图进行融合， 得到所述第一特 征图对应的融合特 征图， 包括： 在选取出多个所述第一特征图的情况下， 对每个所述第一特征图分别执行以下操作， 得到所述第一特 征图对应的融合特 征图： 基于注意力机制， 确定所述基准特征图和所述第一特征图的权重， 以及将所述第一特 征图采样至与所述基准特 征图的分辨 率相同， 得到所述第一特 征图对应的中间特 征图； 基于确定的所述权重对所述中间特征图和所述基准特征图进行加权处理， 得到所述第 一特征图对应的融合特 征图。 5.根据权利要求2所述的方法， 所述从所述多个分辨率的特征图中， 选取目标分辨率的 特征图为基准特 征图， 包括： 从所述多个分辨 率的特征图中、 选取分辨 率最高的特 征图作为所述基准特 征图。 6.根据权利要求1 ‑5中任一项所述的方法， 所述对所述多个待处理特征图进行加权处 理， 得到目标 特征图， 包括： 从所述多个分辨 率的特征图中选取 出第二特 征图； 基于所述第二特 征图确定所述多个待处 理特征图各自的融合权 重； 基于所述融合权 重， 对所述多个融合特 征进行加权处 理， 得到所述目标 特征图。 7.根据权利要求6所述的方法， 所述从所述多个分辨率的特征图中选取出第 二特征图，权　利　要　求　书 1/3 页 2 CN 115330851 A 2包括： 从所述多个分辨 率的特征图中、 选取分辨 率最低的特 征图作为所述第二特 征图。 8.一种单目深度估计装置， 包括： 特征提取模块， 用于从单目图像采集装置采集的图像中， 提取多个分辨 率的特征图； 融合模块， 用于对所述多个分辨 率的特征图进行融合处 理， 得到多个待处 理特征图； 加权模块， 用于对所述多个待处 理特征图进行加权处 理， 得到目标 特征图； 估计模块， 用于基于所述目标 特征图进行深度估计， 得到所述图像的深度图。 9.根据权利要求8所述的装置， 所述融合模块， 包括： 第一选取单元， 用于从所述多个分辨率的特征图中， 选取目标分辨率的特征图为基准 特征图， 从所述目标分辨 率之外的特 征图中选取第一特 征图； 融合单元， 用于基于注意力机制， 将所述第一特征图与所述基准特征图进行融合， 得到 所述第一特 征图对应的融合特 征图； 确定单元， 用于将所述融合特 征图和所述基准特 征图作为所述待处 理特征图。 10.根据权利要求9所述的装置， 所述融合单 元， 用于： 在选取出多个所述第一特征图的情况下， 对每个所述第一特征图分别执行以下操作， 得到所述第一特 征图对应的融合特 征图： 基于注意力 机制， 从所述第 一特征图中提取出多种第 一子特征图； 以及， 对所述基准特 征图依序进行 特征提取和采样至所述第一子特 征图的分辨 率， 得到第二子特 征图； 将所述多种第一子特 征图进行融合， 得到第三子特 征图； 将所述第三子特 征图和所述第二子特 征图进行融合， 得到第四子特 征图； 将所述第四子特征图采样至所述目标分辨率， 得到所述第一特征图对应的融合特征 图。 11.根据权利要求9所述的装置， 所述融合单 元， 用于： 在选取出多个所述第一特征图的情况下， 对每个所述第一特征图分别执行以下操作， 得到所述第一特 征图对应的融合特 征图： 基于注意力机制， 确定所述基准特征图和所述第一特征图的权重， 以及将所述第一特 征图采样至与所述基准特 征图的分辨 率相同， 得到所述第一特 征图对应的中间特 征图； 基于确定的所述权重对所述中间特征图和所述基准特征图进行加权处理， 得到所述第 一特征图对应的融合特 征图。 12.根据权利要求9所述的装置， 所述第一选取单元， 用于从所述多个分辨率的特征图 中、 选取分辨 率最高的特 征图作为所述基准特 征图。 13.根据权利要求8 ‑12中任一项所述的装置， 所述加权模块， 包括： 第二选取 单元， 用于从所述多个分辨 率的特征图中选取 出第二特 征图； 权重确定单元， 用于基于所述第二特征图确定所述多个待处理特征图各自的融合权 重； 加权单元， 用于基于所述融合权重， 对所述多个 融合特征进行加权处理， 得到所述目标 特征图。 14.根据权利要求13所述的装置， 所述第 二选取单元， 用于从所述多个分辨率的特征图 中、 选取分辨 率最低的特 征图作为所述第二特 征图。权　利　要　求　书 2/3 页 3 CN 115330851 A 3