(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221019190 5.6 (22)申请日 2022.03.01 (65)同一申请的已公布的文献号 申请公布号 CN 114266702 A (43)申请公布日 2022.04.01 (73)专利权人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 索津莉　张博　戴琼海　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 5/232(2006.01)G02B 27/58(2006.01) (56)对比文件 CN 112288847 A,2021.01.2 9 CN 112218072 A,2021.01.12 CN 110545379 A,2019.12.0 6 CN 111428751 A,2020.07.17 CN 102186 016 A,201 1.09.14 US 201716 3971 A1,2017.0 6.08 CN 103913228 A,2014.07.09 Jinli Suo 等.Computati onal Imaging and Artificial I ntelligence: The Next Revolution of Mobi le Vision. 《https:// arxiv.org/abs/2109.08 880》 .arxiv.org,2021, 柯钧等.压缩感知在光学成像领域的应用. 《光学学报》 .2020,第40卷(第01期), 审查员 解欣 (54)发明名称 基于压缩感知和深度光学的高速超分辨成 像方法及装置 (57)摘要 本申请公开了一种基于压缩感知和深度光 学的高速超分辨成像方法及装置， 其中， 方法包 括： 基于衍射光学和压缩感知理论， 建立衍射光 学元件和视频单帧压缩共同作用的成像模型， 并 利用深度学习框架端到端优化点扩散函数和重 构网络， 进而对三维视觉信号在空域进行编码， 生成第一编码信息， 并采用随机采样矩阵对三维 视觉信号在时域进行编码， 生成第二编码信息， 并通过重构网络对时域和空域压缩采集的单帧 低分辨观测图像进行重建， 生 成成像结果。 由此， 解决了相关技术采用分布式方法解决高速成像 和超分辨 成像问题， 导致无法同时考虑时间与空 间两个维度， 视觉信息采集的效率和通量较低， 无法有效满足 成像需求的技 术的问题。 权利要求书2页 说明书10页 附图6页 CN 114266702 B 2022.07.15 CN 114266702 B 1.一种基于 压缩感知和深度光学的高速超分辨成像方法， 其特 征在于， 包括以下步骤： 基于衍射光学和压缩感知理论， 建立衍射光学元件和视频单帧压缩共同作用的成像模 型， 并利用深度学习框架端到端优化 点扩散函数和重构网络； 基于优化后的点扩散函数设计衍射光学元件， 对三维视觉信号在空域进行编码， 生成 第一编码信息， 并采用随机采样矩阵对所述三维视觉信号在时域进行编码， 生成第二编码 信息； 以及 基于所述第 一编码信 息和所述第 二编码信 息， 通过所述重构网络对时域和空域压缩采 集的单帧低分辨观测图像进行重建， 生成 成像结果。 2.根据权利要求1所述的方法， 其特征在于， 所述基于优化后的点扩散函数设计衍射光 学元件， 对三 维视觉信号在空域进 行编码， 生成第一编 码信息， 并采用随机采样矩阵对所述 三维视觉信号在时域进行编码， 生成第二编码信息， 包括： 在光学系统 的傅里叶平面放置相位调制元件， 以在像平面上获得清晰图像卷积点扩散 函数的结果， 编码为空域超分辨成像提供支持的高频空域信息， 得到所述第一编码信息 。 3.根据权利要求1或2所述的方法， 其特征在于， 所述基于优化后的点扩散函数设计衍 射光学元件， 对三 维视觉信号在空域进 行编码， 生成第一编码信息， 并采用随机采样矩阵对 所述三维视觉信号在时域进行编码， 生成第二编码信息， 包括： 采用随机二值图像编码视频帧， 在时域压缩编码为 时域超分辨成像提供支持的场景信 息， 得到所述第二编码信息 。 4.根据权利要求3所述的方法， 其特 征在于， 所述采用随机二 值图像编码视频帧， 包括： 由空间光调制器采集0或1的随机二 值图像。 5.根据权利要求4所述的方法， 其特征在于， 所述空间光调制器为硅基液晶或者数字微 镜装置。 6.根据权利要求4或5所述的方法， 其特征在于， 在采集所述0或1的随机二值图像之后， 还包括： 对所述随机二 值图像进行归一 化处理， 得到对比度满足预设条件的编码图像； 利用所述编码图像对观测图像进行能量归一化处理， 得到预处理后的观测图像， 以进 行重建。 7.一种基于 压缩感知和深度光学的高速超分辨成像装置， 其特 征在于， 包括： 优化模块， 用于基于衍射光学和压缩感知理论， 建立衍射光学元件和视频单帧压缩共 同作用的成像模型， 并利用深度学习框架端到端优化 点扩散函数和重构网络； 编码模块， 用于基于优化后的点扩散函数设计衍射光学元件， 对三维视觉信号在空域 进行编码， 生成第一编码信息， 并采用随机采样矩阵对所述三维视觉信号在时域进 行编码， 生成第二编码信息； 以及 成像模块， 用于基于所述第一编码信息和所述第二编码信息， 通过所述重构网络对时 域和空域压缩 采集的单帧低分辨观测图像进行重建， 生成 成像结果。 8.根据权利要求7所述的装置， 其特征在于， 所述编码模块， 进一步用于在光学系统的 傅里叶平面放置相位调制元件， 以在像平面上获得清晰图像卷积点扩散函数 的结果， 编码 为空域超分辨成像提供支持的高频空域信息， 得到所述第一编码信息 。 9.根据权利要求7或8所述的装置， 其特 征在于， 所述编码模块包括：权　利　要　求　书 1/2 页 2 CN 114266702 B 2获取单元， 用于采用随机二值图像编码视频帧， 在时域压缩编码为时域超分辨成像提 供支持的场景信息， 得到所述第二编码信息 。 10.根据权利要求9所述的装置， 其特征在于， 所述获取单元， 进一步用于由空间光调制 器采集0或1的随机二 值图像。 11.根据权利要求10所述的装置， 其特征在于， 所述空间光调制器为硅基液晶或者数字 微镜装置 。 12.根据权利要求10或1 1所述的装置， 其特 征在于， 所述编码模块， 还 包括： 第一处理单元， 用于对所述随机二值图像进行归一化处理， 得到对比度满足预设条件 的编码图像； 第二处理单元， 用于利用所述编码图像对观测图像进行能量归一化处理， 得到预处理 后的观测图像， 以进行重建。 13.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑6任一项所 述的基于 压缩感知和深度光学的高速超分辨成像方法。 14.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑6任一项所述的基于压缩感知和深度光学的高速超分辨成 像方法。权　利　要　求　书 2/2 页 3 CN 114266702 B 3