(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111682192.5 (22)申请日 2021.12.28 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 张恒　阴俊博　吴奕谦　孟天意　 韩文程　金小刚　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 代理人 姚姝娅 (51)Int.Cl. G06T 7/50(2017.01) G06V 10/26(2022.01) G06K 9/62(2022.01) G06V 10/774(2022.01) (54)发明名称 深度估计方法、 装置、 电子设备和计算机可 读存储介质 (57)摘要 本申请涉及一种深度估计方法和装置、 电子 设备、 计算机 可读存储介质， 该方法包括： 在获取 待处理图像 之后， 将待处理图像输入至预设深度 估计网络中进行深度估计， 得到待处理图像的深 度信息。 因为预设深度估计网络为基于训练集中 各图像帧的语义分割结果及深度估计结果进行 训练所生 成的网络， 所以在将待处理图像输入至 预设深度估计网络中进行深度估计的过程中， 就 能够基于语义分割结果对深度估计结果做出辅 助调整。 最终， 提高所得到的深度信息的准确性。 权利要求书3页 说明书19页 附图11页 CN 114359361 A 2022.04.15 CN 114359361 A 1.一种深度估计方法， 其特 征在于， 包括： 获取待处 理图像； 将待处理图像输入至预设深度估计网络 中进行深度估计， 得到所述待处理图像的深度 信息； 所述预设深度估计网络为基于训练集中各图像帧的语义分割结果及深度估计结果进 行训练所生成的网络 。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 根据所述训练集中的各图像帧和中间深度估计网络得到所述深度估计结果， 以及根据 各所述图像帧和中间语义分割网络得到所述语义分割结果； 根据所述深度估计结果及所述语义分割结果， 对所述中间深度估计网络进行训练， 生 成所述预设深度估计网络 。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述深度估计结果及所述语义分 割结果， 对所述中间深度估计网络进行训练， 生成所述预设深度估计网络， 包括： 根据所述深度估计结果及所述语义分割结果计算损失函数的值； 基于所述损失函数的值对所述中间深度估计网络进行训练， 生成所述预设深度估计网 络。 4.根据权利要求2所述的方法， 其特征在于， 所述根据深度估计结果及所述语义分割结 果， 对所述中间深度估计网络进行训练， 生成所述预设深度估计网络， 包括： 从所述语义分割结果中， 确定所述语义分割结果中的前 景的边缘区域和内部区域； 根据所述边缘区域、 所述内部区域从所述深度估计结果中， 获取所述边缘区域的第一 深度估计结果和所述内部区域的第二深度估计结果； 基于所述第 一深度估计结果及所述第 二深度估计结果， 对所述中间深度估计网络进行 训练， 生成所述预设深度估计网络 。 5.根据权利要求4所述的方法， 其特征在于， 所述从所述语义分割结果中， 确定所述语 义分割结果中的前 景的边缘区域和内部区域， 包括： 对所述语义分割结果中的前景分割结果进行膨胀操作 得到外边缘， 以及对所述前景分 割结果进行腐蚀操作得到内边 缘； 根据所述外边 缘和所述内边 缘确定所述前 景的边缘区域； 将所述前 景分割结果中处于所述 边缘区域之内的区域， 作为所述前 景的内部区域。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述边缘区域、 所述内部区域从 所述深度估计结果中， 获取所述边缘区域的第一深度估计结果和所述内部区域的第二深度 估计结果， 包括： 对所述外边缘上的m个第 一像素点， 在所述内边缘上确定与所述m个第 一像素点距离最 近的m个第二像素点， 基于所述m个第一像素点和对应的所述m个第二像素点得到第一点对 集合， 所述m为 正整数； 在所述内部区域中， 确定n个第三像素点以及与所述n个第三像素点对应的n个第 四像 素点， 基于所述n个第三像素点和所述n个第四像素点得到第二点对集合， 所述n为正整数； 所述第三像素点和所述第四像素点的位置关系满足预设条件； 从所述深度估计结果中， 获取所述第 一点对集合中各点对的第 一深度估计结果和所述 第二点对集合中各点对的第二深度估计结果。权　利　要　求　书 1/3 页 2 CN 114359361 A 27.根据权利要求6所述的方法， 其特征在于， 所述第 三像素点和所述第四像素点的位置 关系满足预设条件， 包括： 所述第三像素点与 所述第四像素点在第 一方向上的距离小于第 一预设距离 阈值、 所述 第三像素点与所述第四像素点在第二方向上的距离之 间的距离小于第二预设距离阈值； 所 述第一方向与第二方向相互垂直。 8.根据权利要求6所述的方法， 其特征在于， 所述基于所述第 一深度估计结果及所述第 二深度估计结果， 对所述中间深度估计网络进行训练， 生成所述预设深度估计网络， 包括： 根据第一点对集合中各第 一点对的第 一深度估计结果及第 一标注深度 结果， 计算第 一 语义损失函数的值； 所述第一语义损失函数用于对第一深度估计结果之间的差值小于第一 预设深度差阈值的所述第一 点对进行惩罚； 根据第二点对集合中各第 二点对的第 二深度估计结果及第 二标注深度 结果， 计算第 二 语义损失函数的值； 所述第二语义损失函数用于对第二深度估计结果之间的差值大于第二 预设深度差阈值的所述第二 点对进行惩罚； 根据所述第 一语义损失函数的值、 所述第 二语义损失函数的值调整所述中间深度估计 网络的参数， 生成所述预设深度估计网络 。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 针对各所述第 一点对， 基于所述第 一点对中所述第 一像素点的第 一深度估计结果与 所 述第一点对中所述第二像素点的第一深度估计结果之 间的差值， 构建所述第一语义损失函 数； 针对各所述第 二点对， 基于所述第 二点对中所述第 三像素点的第 二深度估计结果与 所 述第二点对中所述第四像素点的第二深度估计结果之 间的差值， 构建所述第二语义损失函 数。 10.根据权利要求2所述的方法， 其特征在于， 所述根据各所述训练集中的图像帧和中 间深度估计网络得到所述深度估计结果， 包括： 将所述训练集中的各当前帧输入至初始深度估计网络中进行处理， 生成深度预测结 果； 将所述训练集中各 所述当前帧的相邻帧输入至位姿估计网络， 生成位姿变换信息； 根据所述深度预测结果及所述位姿变换信息， 对所述初始深度估计网络进行训练， 生 成所述中间深度估计网络； 通过所述中间深度估计网络获取 所述当前帧的深度估计结果。 11.根据权利要求10所述的方法， 其特征在于， 所述根据 所述深度 预测结果及所述位姿 变换信息， 对所述初始深度估计网络进行训练， 生成所述中间深度估计网络， 包括： 根据所述深度预测结果及所述 位姿变换信息， 生成合成图像； 根据所述 合成图像和所述当前帧， 计算投影损失函数的值； 通过所述投影损失函数的值对所述初始深度估计网络进行训练， 生成所述中间深度估 计网络。 12.根据权利要求2所述的方法， 其特征在于， 所述根据各所述图像帧和中间语义分割 网络得到所述语义分割结果， 还 包括： 将所述训练集中的各当前帧输入到初始语义分割网络中， 得到语义分割预测结果；权　利　要　求　书 2/3 页 3 CN 114359361 A 3