(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211347742.2 (22)申请日 2022.10.31 (71)申请人 深圳市宝润科技有限公司 地址 518000 广东省深圳市南 山区西丽 街 道阳光社区松白路1008号港鸿基高新 智能产业园C 栋501 (72)发明人 李晓磊　王安山　李树峰　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 谢明晖 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) G06T 3/40(2006.01) G06V 10/80(2022.01)G06T 15/00(2011.01) (54)发明名称 基于深度学习的锥束三维DR重建的方法及 系统 (57)摘要 本申请公开了一种基于深度学习的锥束三 维DR重建方法及系统,所述方法包括： 获取DR图 像序列帧； 对DR图像序列帧进行图像几何校正， 并获取位姿先验信息； 对DR图像序列帧进行特征 提取， 并获取粒度先验信息； 对位姿先验信息和 粒度先验信息进行建模， 以获取融合先验信息； 通过迁移学习获取感知特征提取器； 并结合预设 生成对抗网络， 获取DR三维重建模型； 根据DR图 像序列帧、 融合先验信息和DR三维重建模型， 生 成DR三维图像。 通过对DR图像进行几何校正， 减 少了几何偏移对三维重建的影 响， 另外通过融合 先验信息可以对特征之间的关联信息进行建模 以捕获到缺失的细节特征， 提升了重建网络在背 景模糊、 边 缘细节缺失等情形 下的鲁棒 性。 权利要求书2页 说明书9页 附图3页 CN 115393534 A 2022.11.25 CN 115393534 A 1.一种基于深度学习的锥束三维DR重建方法， 其特 征在于， 包括： 获取DR图像序列帧； 对DR图像序列帧通过预设的几何校正算法进行图像校正， 并获取表征图像校正角度的 位姿先验信息； 对DR图像序列帧通过预设的特性提取网络进行特征提取， 并获取表征不同网络层次特 征的粒度先验信息； 对位姿先验信 息和粒度 先验信息进行建模， 以获取表征局部细节特征到全局特征关联 信息的融合先验信息； 基于预设的特 征提取网络， 通过迁移学习以获取感知特 征提取器； 根据感知特 征提取器和预设生成对抗网络， 获取DR三维重建模型； 根据DR图像序列帧、 融合先验信息和DR三维重建模型， 生成DR三维图像。 2.根据权利要求1所述的一种基于深度 学习的锥束三维D R重建方法， 其特征在于， 所述 对DR图像序列帧通过预设的几何校正算法进行图像校正， 并获取表征图像校正角度的位姿 先验信息， 包括： 对DR图像序列帧通过 预设几何校正 算法， 获取 校正图像； 根据校正图像和预设标准校正图像， 通过半监 督学习策略更新预设几何校正 算法； 根据DR图像序列帧和更新后的几何校正 算法， 获取位姿先验信息 。 3.根据权利要求1所述的一种基于深度 学习的锥束三维D R重建方法， 其特征在于， 所述 粒度先验信息包括： 粗粒度先验信息、 细粒度先验信息和精细先验信息， 所述对DR图像序列 帧通过预设的特性提取网络进行特征提取， 并获取表征不同网络层次特征的粒度先验信 息， 包括： 对DR图像序列帧进行特征提取， 分别获取不同分辨率下的粗粒度先验信息、 细粒度先 验信息和精细先验信息； 根据粗粒度先验信息、 细粒度先验信息和精细先验信息， 获取 粒度先验信息 。 4.根据权利要求1所述的一种基于深度 学习的锥束三维D R重建方法， 其特征在于， 所述 对位姿先验信息和粒度先验信息进行建模， 以获取表征局部细节特征到全局特征关联信息 的融合先验信息， 包括： 对粒度先验信息通过预设注意力模块进行建模， 以获取表征各像素特征之间关联信 息 的注意力图； 基于位姿先验信息和注意力图， 对粒度先验信息进行融合， 以获取融合先验信息 。 5.根据权利要求1所述的一种基于深度 学习的锥束三维D R重建方法， 其特征在于， 所述 根据感知特 征提取器和预设生成对抗网络， 获取DR三维重建模型， 包括： 根据预设生成对抗网络和感知特 征提取器， 构建三维重建网络； 根据DR图像序列帧， 对三维重建网络进行 预设轮次的迭代训练， 获取DR三维重建模型。 6.根据权利要求5所述的一种基于深度 学习的锥束三维D R重建方法， 其特征在于， 所述 预设生成对抗网络包括 生成器和判别器， 每一轮的训练过程包括： 对生成器生成的DR三维图像， 通过感知特征提取器进行特征提取， 并获取感知先验信 息； 将感知先验信 息添加到判别器， 并通过判别器计算DR三维图像与预设真实DR三维图像权　利　要　求　书 1/2 页 2 CN 115393534 A 2的差异， 并将相应参数反馈 到生成器； 根据反馈参数对生成器进行 更新， 并对当前DR图像再次通过生成器获取DR三维图像。 7.根据权利要求1所述的一种基于深度 学习的锥束三维D R重建方法， 其特征在于， 所述 根据DR图像序列帧、 融合先验信息和DR三维重建模型， 生成DR三维重建图像之后， 包括： 对DR三维图像进行 特征提取以获取序列帧特 征； 根据序列帧特 征， 通过预设编码 ‑解码器获取超分辨 率语义特 征； 根据超分辨 率语义特 征对DR三维图像进行修 正， 以获取 更高分辨 率的DR三维图像。 8.根据权利要求7所述的一种基于深度 学习的锥束三维D R重建方法， 其特征在于， 所述 根据序列帧特 征， 通过预设编码 ‑解码器， 获取超分辨 率语义特 征， 包括： 对序列帧特 征进行位置编码获取序列编码特 征； 对序列帧特 征通过感知特 征提取器， 获取 先验信息嵌入序列； 根据序列编码特 征和先验信息嵌入序列， 通过解码获取超分辨 率语义特 征。 9.一种基于深度学习的锥束三维DR重建系统， 其特 征在于， 包括： 图像数据获取模块 （101） ， 用于获取DR图像序列帧； 先验信息提取模块 （102） ， 用于对DR图像序列帧通过预设的几何校正算法进行图像校 正， 并获取表征图像校正角度的位姿先验信息， 再对DR图像序列帧通过预设的特性提取网 络进行特征提取， 并获取表征不同网络层次特征 的粒度先验信息， 最后对位姿先验信息和 粒度先验信息进行建模， 以获取表征局部细节特 征到全局特 征关联信息的融合先验信息； 重建模型获取模块 （103） ， 用于基于预设的特征提取网络， 通过迁移学习以获取感知特 征提取器， 根据感知特 征提取器和预设生成对抗网络， 获取DR三维重建模型； 三维图像生成模块 （104） ， 用于根据DR图像序列帧、 融合先验信息和DR三维重建模型， 生成DR三维图像。 10.一种计算机可读存储介质， 存储有能够被处理器加载并执行如权利要求1至8任一 项所述的一种基于深度学习的锥束三维DR重建方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 115393534 A 3