(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111672271.8 (22)申请日 2021.12.31 (71)申请人 上海海事大学 地址 201306 上海市浦东 新区海港大道 1550号 申请人 中国人民解 放军海军大连舰艇学院 (72)发明人 刘涛　贾梓　金鑫　 (74)专利代理 机构 太原申立德知识产权代理事 务所(特殊普通 合伙) 14115 代理人 郭海燕 (51)Int.Cl. G06T 7/50(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种无监 督单视图船舶深度估计方法 (57)摘要 本发明涉及一种船舶深度估计方法， 针对其 他深度估计方法存在的缺陷， 公开了一种无监督 单视图船舶深度估计方法。 本发 明首先搭建了一 个知识蒸馏网络框架， 在框架下使用高性能的教 师网络对低参数量的学生网络进行训练， 提高学 生网络的深度估计性能， 获得低参数量和高性能 的深度估计网络； 然后， 通过渲染软件和船舶3D 模型构造船舶数据集； 最后， 在船舶数据集上对 模型进行训练并测试， 获得可以对 船舶进行无监 督单视图深度估计的网络模型。 通过本发明的模 型和方法首次完成基于单视图的船舶深度估计， 训练过程不需要真实深度数据和复杂的图像标 注， 而且具有较小规模 模型参数量。 权利要求书2页 说明书6页 附图4页 CN 114332186 A 2022.04.12 CN 114332186 A 1.一种无监督单视图船舶深度估计模型， 其特征在于， 所述模型包括： 教师网络深度估 计模块、 学生网络深度估计模块、 Light  Net网络、 View  Net网络、 Albe do Net网络、 SD  Net 网络； 其中， 教师网络深度估计模块包括作编码器结构的ResNet网络、 用于多维度特征处理 的自适应密集特 征融合结构以及作解码器结构的拉普拉斯金字塔结构； 学生网络深度估计模块包括作编码器结构的Ghost  Net网络和作解码器结构的 NNConv5结构。 2.根据权利要求1所述的一种无监督单视图船舶深度估计模型， 其特征在于： 所述学生 网络深度估计模块的NNConv5结构由五层网络组成， 每层由一个Depthwise层、 一个 Pointwise层、 一个上采样层组成； Depthwise层和Pointwise层会逐层恢复深度信息， 上采 样层在Depthw ise层和Po intwise层后执 行插值运算， 使图的空间分辨 率翻倍。 3.一种基于权利要求1或2任一项所述估计模型的无监督单视图船舶深度估计方法， 其 特征在于， 包括以下步骤： 无监督单视图船舶深度估计模型的建立； 无监督单视图船舶深度估计知识蒸馏网络 框架的建立； 构建船舶深度估计数据集； 无监督单视图船舶深度估计模型的训练； 无监督单视图船舶深度估计模型的测试。 4.根据权利要求3所述的一种无监督单视图船舶深度估计方法， 其特征在于， 所述无监 督单视图船舶深度估计模型包括教师网络深度估计模块、 学生网络深度估计模块、 Light   Net网络、 View  Net网络、 Albedo  Net网络、 S D Net网络； 其中， 教师网络深度估计模块建立的过程为： 使用高性能的ResNet网络作为编码器结构， 使 用自适应密集特征融合结构对多个维度的特征进 行处理， 最后使用拉普拉斯金字塔结构作 为模块的解码器结构； 学生网络深度估计模块建立的过程为： 使用Ghost  Net网络作 为编码器结构， 使用添加 Depthwise和Pointwise结构的NNConv5结构作为深度估计模块的解码器结构； Light Net网络、 View  Net网络、 Albedo  Net网络、 SD  Net网络分别用于提取图像的光 照信息、 视角信息、 反照度图和对称信息图。 5.根据权利要求3所述的一种无监督单视图船舶深度估计方法， 其特征在于， 所述无监 督单视图船舶深度估计知识蒸馏网络 框架建立的具体过程 为： 首先， 将单张RGB图像输入教师网络深度估计模块和Light  Net网络、 View  Net网络、 Albedo Net网络、 SD  Net网络分别 提取图像的深度图、 光照信息、 视角信息、 反照度图和 对 称信息图； 然后， 将提取的光照信 息和深度图通过渲染获得着色深度图； 合成着色深度图、 反照度 图获得规范视角图， 并通过正向渲 染规范视角图、 深度图、 视角信息获得重建的RGB图像； 基 于输入的图像， 构建重建图像的重建损失， 以此回归教师网络模型的参数； 最后， 将教师网络深度估计模块替换为学生网络深度估计模块， 构建重建损失的同时， 构建相同图像输入时教师网络深度估计模块和学生网络深度估计模块的多维度对应特征 图损失， 通过两个损失的联合优化， 轻量型 学生网络获得接 近于教师网络的性能。权　利　要　求　书 1/2 页 2 CN 114332186 A 26.根据权利要求3所述的一种无监督单视图船舶深度估计方法， 其特征在于， 所述船舶 深度估计数据集构建的具体过程为： 创建3D船舶模型， 使用KeyShot  3D真实感渲染软件设 置光照、 视角类物理参数对船舶的3D模型进行渲染， 获得真实感船舶图像作为船舶深度估 计数据集； 所述船舶深度估计数据集包括训练集、 验证集和 测试集。 7.根据权利要求3所述的一种无监督单视图船舶深度估计方法， 其特征在于， 所述无监 督单视图船舶深度估计模型训练的具体过程为： 将船舶深度估计数据集中的训练集图像变 换到设定的分辨率大小， 并按照Batch  Size的数量分批次将 变换后的单视图船舶图像输入 到网络中， 并按照所述无监督单视图船舶深度估计知识蒸馏网络框架建立的过程进行训 练， 经过多次迭代， 迭代Epoch后停止训练， 获得网络权重文件， 并得到能够对船舶 进行深度 估计的模型。 8.根据权利要求3所述的一种无监督单视图船舶深度估计方法， 其特征在于， 所述无监 督单视图船舶深度估计模型测试的具体过程为： 用船舶深度估计数据集中的测试集图像测 试训练后得到的能够对船舶 进行深度估计的模型的效果， 通过与验证集比较获得最 终可用 于深度估计的模型。权　利　要　求　书 2/2 页 3 CN 114332186 A 3