(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111635615.8 (22)申请日 2021.12.2 9 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 王立志　李林根　黄华　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 代理人 张利萍 (51)Int.Cl. G01J 3/28(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种衍射快照光谱成像方法 (57)摘要 本发明公开的一种衍射快照光谱成像方法， 属于计算摄像学领域。 本发明应用于衍射快照光 谱成像系统， 通过数据驱动的方式对衍射光学元 件的编码结构和重建解码神经网络进行联合优 化， 得到相对最优的光学编码结构及其对应的计 算解码模型， 使得编码和解码 部分更加与彼此契 合； 光学编码结构在优化阶段考虑实际制造中的 量化要求， 使得优化得到的衍射光学元件结构和 制造的衍射光学元件结构一致， 提升重建图像精 度； 采用编码自由度高的衍射光学元件作为编码 部分， 具有体积小巧、 结构紧凑的优点， 具有实时 成像的能力。 采用可微分的模型对整个编码和解 码过程进行建模， 进而在任何机器学习自动微分 框架中均可实现模型并进行优化， 提升本发明的 通用性。 权利要求书3页 说明书9页 附图3页 CN 114353946 A 2022.04.15 CN 114353946 A 1.一种衍 射快照光谱成像方法， 其特 征在于： 包括如下步骤： 步骤101： 按照衍 射光学理论构建光学物理编码前向模型； 步骤102： 对步骤一构建的光学物理编码前向模型中的衍射光学元件高度图进行量化 感知处理， 使其呈现量 化台阶的样式； 步骤103： 基于可微分的神经网络构建计算解码模型， 利用所述计算解码模型预测推理 原始的光谱图像重建图像； 步骤104： 通过数据驱动的方式对衍射快照光谱成像系统中的衍射光学元件的编码结 构和重建解码神经网络进 行联合优化， 得到相对最优的光学编 码结构及其对应的计算解码 模型； 同时在优化阶段通过步骤102量化感知处理使衍射光学元件的编码结构呈现量化台 阶的样式， 进而实现在优化 阶段考虑实际制 造中的量化要求， 使得优化得到的衍射光学元 件结构和制造的衍 射光学元件结构一 致， 进而提升整个光谱成像系统的重建图像精度。 2.如权利要求1所述的一种衍射快照光谱成像方法， 其特征在于： 还包括步骤105、 步骤 106： 步骤105： 根据步骤104优化得到的光学编码结构制造衍射光学元件， 利用所述衍射光 学元件和RGB图像传感器搭建衍射快照光谱成像系统， 由于衍射光学元件编码自由度高， 能 够减小搭建的衍 射快照光谱成像系统的体积， 提高衍 射快照光谱成像系统的紧凑度； 步骤106： 使用步骤105搭建好的衍射快照光谱成像系统拍摄目标场景， 并使用步骤104 中优化得到的计算解码模型对实物系统拍摄的观测图像进 行解码重 建， 以得到所需要的目 标场景对应的高光谱图像， 进 而提升整个光谱成像系统的重建图像精度。 3.如权利要求1或2所述的一种衍射快照光谱成像方法， 其特征在于： 步骤101中所述光 学物理编码前向模型基于点扩散函数模型构建； 根据入射光方向， 当自然场景 的一个点光 源波长为λ的波场传播一定的距离d后到达衍射光学编码器的衍射光学元件前 的平面位置 (x,y)时， 表示 为U0： 其中， i是复数单位； 衍射光学元件会对波场产生相位上的调制， 调制后的波场U1表示 为： 其中， A(x,y)是光圈函数， 其值若为0则意味着阻止此位置的传播， 其值为1意味着允许 此位置的传播； φ(x,y, λ )是衍射光学元件在平面位置(x,y)上对波长为λ 的波场产生的相 位偏移： φ(x， y， λ )＝(nλ‑1)H(x， y)    (3) 其中， nλ是衍射光学元件对于λ波长光的折射率， H(x， y)是衍射光学元件设计结构的在 平面位置(x， y)上高度； 波场继续传播z距离后到 达RGB图像传感器平面， 其被表示 为U2： 其中fx和fy分别是空间位置(x， y)对应的频率变量。 根据传感器平面的波场得出点扩散 函数P， 其是传感器平面上复波场的平方 大小： P(x， y， λ ) ∝|U2(x， y， λ )|2   (5)权　利　要　求　书 1/3 页 2 CN 114353946 A 2在获取点扩散函数后， 将对应波长λ的目标场景图像I(x， y， λ， d)与相应点扩散函数P (x， y， λ )分别进行 卷积运算： 即获得对应波长和场景深度的调制后图像I ′(x， y， λ )； 求得的调制后场景I ′包含了全 集波长Λ与全集深度D中每种情况 下调制后图像I ′λ， d： I＝{I′λ， d| λ∈Λ， d∈D}    (7)调制后图像经过RGB图像传感器根据其在[ λ0， λ1]范围内 的光谱响应曲线Rc采集后， 得到观测的调制后RGB图像Ic∈{R， G， B}(x， y)： 其中η为传感器噪声； 至此， 建立 光学编码的前向模型如公式(1 ‑8)所示。 4.如权利要求3所述的一种衍射快照光谱成像方法， 其特征在于： 步骤102中对衍射光 学元件高度图进行量 化感知处 理， 量化感知后的高度图表示 为： Haq＝α×F(Q(Hf))+(1‑α )×Hf   (9) 其中， Hf为全精度的原始高度图权重， α为量化感知控制参数， 随着训练步数而变化， T0 和T1分别对应量 化感知开始和结束的训练步数： Q为量化操作函数， 将输入的高度图H量 化为在hmax之内的L个台阶的样式： F为自适应微调函数： F(Q(Hf))＝Q(Hf)+Wl   (12) 其根据自适应量化损失动态调整Wl， 以将原本每一个均匀台阶的物理高度调整到一个 最优的量 化形式。 5.如权利要求4所述的一种衍射快照光谱成像方法， 其特征在于： 步骤103所述计算解 码模型为任意可微分的神经网络结构模块N， 其从光学编码模块调制后的图像Ic∈{R， G， B}(x， y)预测推理原 始的光谱图像重建图像 即计算解码模型被表示 为： 6.如权利要求5所述的一种衍射快照光谱成像方法， 其特征在于： 步骤104的实现方法 为： 对步骤101构建的光学物理编 码前向模 型和步骤103构建的计算解码模型分别设置学习 率、 权值初始 化方式、 权值衰减系数， 并设置联合优化的批处理大小、 优化方法、 迭代次数以 及步骤102的量化感知处理开始和结束的参数； 将步骤101构建的光学物理编码前向模 型的 输出作为步骤103构建的计算解码模 型的输入， 构建的联合编解码光谱成像模型， 对其进 行 端到端地联合优化训练， 得到相对最优的光学编码结构及其对应的计算解码模型； 同时光 学编码结构在 优化阶段考虑实际制造中的量化要求， 使得优化得到的衍射光学元件结构和 制造的衍 射光学元件结构一 致， 进而提升整个光谱成像系统的重建图像精度。权　利　要　求　书 2/3 页 3 CN 114353946 A 3