(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210641767.7 (22)申请日 2022.06.08 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 申请人 山东大学威海工业 技术研究院 (72)发明人 李帅　周华松　高艳博　徐宏伟　 元辉　蔡珣　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06T 7/50(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于帧间相关性的单目深度估计方法及系 统 (57)摘要 本公开涉及场景深度估计技术领域， 提出了 基于帧间相关性的单目深度估计方法及系统， 通 过独立循环神经网络提取帧间相关性， 将循环输 入即上一时刻状态的处理方式改为哈达玛乘积， 解除了循环过程中神经元之间的耦合， 实现每层 神经元的相互独立， 从而简化梯度传播过程； 并 且通过将前一时刻帧的独立循环网络隐藏层状 态映射为与当前时刻一致的隐藏层状态， 根据映 射后的状态对当前帧图像的深度特征进行增强， 通过统一状态， 提高了提取深度信息的清晰度， 使得深度估计的结果更加准确。 权利要求书2页 说明书8页 附图2页 CN 115035173 A 2022.09.09 CN 115035173 A 1.基于帧间相关性的单目深度估计方法， 其特 征在于， 包括如下 过程： 通过构建的深度估计网络对获取的当前帧图像进行处理， 得到多尺度的深度特征， 以 及当前帧图像与上一帧图像的相机变换姿态； 构建卷积 ‑独立循环神经网络， 将多尺度的深度 特征作为输入， 提取当前帧图像的深度 特征， 并提取当前帧图像与下一帧图像的帧间相关性； 根据上一帧图像处理过程中独立循环神经网络提取的帧间相关性， 上一帧图像处理后 得到的深度图， 以及当前帧图像与上一帧图像的相 机变换姿态变换， 将前一时刻帧的独立 循环网络隐藏层状态映射为与当前时刻一致的 隐藏层状态， 根据映射后的状态对当前帧图 像的深度特 征进行增强， 得到增强后的深度特 征； 将增强后的深度特 征进行解码， 得到当前帧图像的深度图； 循环执行上述过程得到连续帧图像 每一帧图像对应的深度图。 2.如权利要求1所述的基于帧间相关性的单目深度估计方法， 其特征在于： 深度估计网 络包括姿态变换网络和深度估计网络； 深度估计网络被配置为用于提取多尺度的深度特征， 姿态变换网络被配置为用于提取 对应不同时刻的相机变换姿态。 3.如权利要求2所述的基于帧间相关性的单目深度估计方法， 其特 征在于： 深度估计网络包括依次连接的深度编码器以及深度解码器， 以及上采样模块， 上采样 模块连接深度编码器 每一级以及深度解码器的每一级； 或者， 姿态变化网络和深度估计网络采用特 征提取网络共享的方式； 或者， 姿态变换网络包括特征提取网络以及卷积网络， 特征提取网络为残差网络， 卷积 网络包括多个级联的卷积层。 4.如权利要求3所述的基于帧间相关性的单目深度估计方法， 其特征在于： 构建的整体 网络模型， 包括姿态变换网络和深度估计网络， 深度估计网络的深度编码器与深度解码器 之间设置有卷积 ‑独立循环神经网络， 用于获取帧间相关性对每 帧图像编码后的特征进行 特征增强。 5.如权利要求 4所述的基于帧间相关性的单目深度估计方法， 其特 征在于： 还包括整体网络模型进行训练的方法， 包括如下步骤： 构建训练集， 训练集包括多帧图像， 上一帧图像作为当前帧图像的源帧图像进行训练； 设置卷积 ‑独立循环网络的初始隐藏层状态， 利用深度编码器对源帧It‑1进行特征提 取， 获得源帧的多尺度深度特 征ft‑1； 将源帧的多尺度深度原始特征ft‑1分别输入到卷积 ‑独立循环网络中， 更新隐藏层状态 ht‑1和输出多尺度深度特 征f′t‑1； 利用深度解码器对多尺度增强的深度特 征f′t‑1进行解码， 获得源帧的深度图Dt‑1； 利用深度解码器对当前目标帧It进行特征提取， 获得目标帧的多尺度原 始深度特 征ft； 利用姿态估计网络预测出的目标帧和源帧相机姿态变化Tt→s和源帧的深度图Dt‑1实现 隐藏层状态的映射h ′t‑1； 将目标帧多尺度原始深度特征ft与压缩后源帧多尺度 深度特征ft‑1拼接后输入到 卷积‑ 独立循环网络中， 利用映射后的隐藏层状态h ′t‑1来更新隐藏层状态ht和输出目标帧多尺度 增强的深度特 征f′t；权　利　要　求　书 1/2 页 2 CN 115035173 A 2利用深度解码器对多尺度增强的深度特 征f′t进行解码， 获得目标帧的深度图Dt； 利用姿态估计网络预测出的目标帧和源帧相机姿态变化Tt→s和目标帧的深度图Dt实现 源帧IS重建目标帧It来提供网络训练的监督信号， 构建损失函数L， 用L进行监督， 计算损失 函数L的值达到设定的数值或者达到设定的训练次数， 训练结束， 确定模型参数， 得到训练 后的网络模型。 6.如权利要求1所述的基于帧间相关性的单目深度估计方法， 其特征在于， 解码的步骤 包括如下： 按照特征通道数将特 征提取过程中浅层特 征逐级拼接 到上采样之后的深层特 征上； 通过卷积块完成空域深度信息的多尺度特征融合： 通过卷积层和Sigmoid激活函数逐 级解码拼接的深度特征获得多尺度的深度图； 通过双边线性插值到与输入图像相同尺寸的 深度图， 在输入图像尺寸上完成目标帧的重建， 得到 输入图像对应的深度图。 7.如权利要求6所述的基于帧间相关性的单目深度估计方法， 其特征在于： 目标帧的重 建过程为视点合成过程， 对于目标帧的每个像素位置， 通过深度图Dt、 视频源帧与 视频目标 帧的相对姿态Tt→s及相机内参K， 计算出其对应的源帧位置坐标， 再将求得的源帧位置的像 素值赋给对应的目标帧位置像素值获取重建目标帧Is→t。 8.基于帧间相关性的单目深度估计系统， 其特 征在于， 包括： 特征以及姿态提取模块： 被配置为用于通过构建的深度估计网络对获取的当前帧图像 进行处理， 得到多尺度的深度特 征， 以及当前帧图像与上一帧图像的相机变换姿态； 相关性提取模块： 被配置为用于构建卷积 ‑独立循环神经网络， 将多尺度的深度 特征作 为输入， 提取当前帧图像的深度特 征， 并提取当前帧与下一帧图像的帧间相关性； 更新模块： 被配置为用于根据 上一帧图像处理过程中独立循环神经网络提取的帧间相 关性， 上一帧图像处理后得到的深度图,以及当前帧图像与上一帧图像的相 机变换姿态变 换， 将前一时刻帧的独立循环网络隐藏层状态映射为与当前时刻一致的隐藏层状态， 根据 映射后的状态对当前帧图像的深度特 征进行增强， 得到增强后的深度特 征； 解码模块： 被 配置为用于将增强后的深度特 征进行解码， 得到当前帧图像的深度图。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项方法所述 的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑7任一项方法所述的步骤。权　利　要　求　书 2/2 页 3 CN 115035173 A 3