(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210475190.7 (22)申请日 2022.04.29 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 (72)发明人 李晖　陈伟灵　何燕成　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 厉洋洋 (51)Int.Cl. G06T 7/50(2017.01) H04N 5/232(2006.01) (54)发明名称 散焦深度测量方法、 装置、 电子设备及存储 介质 (57)摘要 本发明涉及散焦深度测量方法、 装置、 电子 设备及存储介质， 属于计算机视觉三维空间测量 领域。 本发 明利用焦叠相机的相机参数和散焦图 像确定辐射度与深度信息的关联关系， 并将该关 联关系引入第一目标函数， 通过最小化第一目标 函数对场景的深度信息进行估计， 能够降低辐射 度对深度信息测量过程的影 响， 从而提高散焦深 度测量方法的准确性。 权利要求书3页 说明书11页 附图2页 CN 115049716 A 2022.09.13 CN 115049716 A 1.一种散焦深度测量方法， 其特 征在于， 包括： 利用焦叠相机对场景采集预设数量的散焦图像序列， 其中， 每个所述散焦图像序列包 含多个聚焦于所述场景中不同深度的散焦图像； 对于每个所述散焦图像， 基于所述焦叠相机的相机参数和所述散焦图像， 通过第一公 式， 确定所述散焦图像对应的第一关联关系， 其中， 所述第一公式表征了相机参数、 散焦图 像、 深度信息和辐 射度之间的关联关系， 所述第一关联关系为所述第一公式中的相 机参数 和散焦图像为已知情况 下的第一公式； 基于所述散焦图像序列， 通过第二公式， 确定第二关联关系， 其中， 所述第二公式表征 了散焦图像序列、 散焦图像序列的原图像特性值和深度信息之间的关联关系， 所述第二关 联关系为所述第二公式 中的散焦图像序列为已知情况 下的第二公式； 对于每个所述散焦图像， 基于所述第 二关联关系、 以及所述第一关联关系， 确定所述散 焦图像对应的第一 目标函数， 其中， 所述第一 目标函数表征了原图像特性值和辐 射度之间 的加权和值与深度信息之间的关联关系； 根据各个所述第 一目标函数， 确定第 一深度信 息， 其中， 所述第一深度信息包含每个所 述第一目标函数中的加权和值取最小值时的深度信息； 基于所述第一深度信息， 得到所述场景的深度信息的测量结果。 2.根据权利要求1所述的方法， 其特征在于， 所述焦叠相机的相机参数包括焦距和光圈 值， 所述第一公式表示如下： 其中， Ebz(s)表示辐射度， s表示深度信息， A表示光圈值， Ii(y,x)表示散焦图像， Fi表示 焦距， x和y表示散焦图像中的二维像素坐标， F表示F 范数。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述第一深度信息， 得到所述场 景的深度信息的测量结果， 包括： 对于每个所述散焦图像， 基于所述散焦图像对应的第一深度信息， 确定所述散焦图像 对应的散焦模糊核图像； 将各个所述散焦图像对应的散焦模糊核图像确定为所述散焦图像序列对应的散焦模 糊核图像序列； 对于每个所述散焦图像， 将所述散焦图像和所述散焦图像对应的相机参数输入至第 三 公式， 得到所述散焦图像对应的目标辐射度， 其中， 所述第三公式表征了辐 射度、 散焦图像 和相机参数之间的关联关系； 基于所述散焦图像序列和所述散焦模糊核图像序列， 通过第 四公式， 确定第三关联关 系， 其中， 所述第四公式表征了原图像特性值、 散焦图像序列、 散焦模糊 核图像序列和全聚 焦图像序列之 间的关联关系， 所述第三关联关系为所述第四公式中的散焦图像序列和散焦 模糊核图像序列为已知情况 下的第四公式； 对于每个所述散焦图像， 基于所述散焦图像对应的目标辐射度和所述第三关联关系， 确定所述散焦图像对应的第二 目标函数， 其中， 所述第二 目标函数表征了原图像特性值和 辐射度之间的加权和值与全聚焦图像之间的关联关系；权　利　要　求　书 1/3 页 2 CN 115049716 A 2根据各个所述第 二目标函数， 确定目标全聚焦图像序列， 其中， 所述目标全聚焦图像序 列包含每个所述第二目标函数中的加权和值取最小值时的全聚焦图像； 基于所述第 一深度信 息和所述目标全聚焦图像序列， 得到所述场景的深度信 息的测量 结果。 4.根据权利要求3所述的方法， 其特征在于， 所述焦叠相机的相机参数包括焦距和光圈 值， 所述第三公式为： 其中， Ebc(I)表示辐射度， A表示光圈值， Ii(y,x)表示散焦图像， Fi表示焦距， x和y表示散 焦图像中的二维像素坐标。 5.根据权利要求3所述的方法， 其特征在于， 所述基于所述第 一深度信 息和所述目标全 聚焦图像序列， 得到所述场景的深度信息的测量结果， 包括： 将所述散焦图像序列、 所述目标全聚焦图像序列、 以及所述散焦模糊核图像序列输入 至第五公式， 得到所述目标全聚焦图像序列的目标图像能量， 其中， 所述第五公式表征了全 聚焦图像序列的图像能量、 散焦图像序列、 散焦模糊核图像序列和全聚焦图像序列之间的 关联关系； 对于每个所述散焦图像， 基于所述第 二关联关系、 所述目标图像能量、 以及所述散焦图 像对应的第一关联关系， 确定所述散焦图像对应的第三目标函数， 其中， 所述第三目标函数 表征了原图像特性 值、 辐射度和图像能量之间的加权和值与深度信息之间的关联关系； 根据各个所述第 三目标函数， 确定第 二深度信 息， 其中， 所述第二深度信息包含每个所 述第三目标函数中的加权和值取最小值时的深度信息； 将所述第二深度信息确定为所述场景的深度信息的测量结果。 6.根据权利要求1至5 中任一项所述的方法， 其特征在于， 所述焦叠相机包括液晶透镜， 所述液晶透镜包括液 晶层和两个器件取向膜， 所述液 晶层包含多壁碳纳米管， 所述液 晶层 设于两个所述器件取向膜之间。 7.根据权利要求6所述的方法， 其特 征在于， 所述液晶层通过如下 方法制备： 将多壁碳纳米管和乙醇进行混合， 得到第一混合物； 利用超声振动器对所述第一混合物进行振荡处 理； 将振荡处 理后的所述第一混合物与液晶进行混合， 得到第二混合物； 利用超声振动器对所述第二混合物进行振荡处 理； 利用烘箱对振荡处理后的所述第二混合物进行乙醇去除操作； 将所述第二混合物重复预设次数的所述振荡处理和所述乙醇去除操作， 得到第 三混合 物； 在第一预设温度 下将所述第 三混合物灌入液晶盒， 当所述液晶盒的温度达到第 二预设 温度时对 所述液晶盒进 行密封， 得到所述液晶层， 其中， 所述第一预设温度大于所述第二预 设温度。 8.一种散焦深度测量装置， 其特 征在于， 包括： 获取模块， 用于利用焦叠相机对场景采集预设数量的散焦图像序列， 其中， 每个所述散权　利　要　求　书 2/3 页 3 CN 115049716 A 3