(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210394912.6 (22)申请日 2022.04.15 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 何赛灵　马腾飞　付帅　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林松海 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/80(2017.01) G06T 3/00(2006.01) G01S 7/497(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的高光谱和激光雷达4D防抖 融合方法及系统 (57)摘要 本发明公开了一种基于深度学习的高光谱 和激光雷达4D防抖融合方法及系统。 所述方法： 1） 激光雷达采集得到的点云首先通过已知内参 进行3D‑2D空间变换， 生成深度图； 2） 该深度图和 高光谱图像被一起输入进HLFN （高光谱相机和激 光雷达融合网络） 中， HLFN分别对高光谱和深度 图进行特征提取并对二者进行特征融合， 根据融 合后的特征计算出旋转向量r和平移向量t； 3） 将 旋转向量r变换成旋转矩阵R， 最终生成一个预测 变换矩阵T； 4） 原始点 云再通过预测变换矩阵T进 行3D‑3D空间变 换， 生成校正点 云； 5） 校正点 云与 高光谱图像处于同一坐标系下， 融合生成最终的 4D融合数据。 本发明可 实现在设备机械抖动条件 下快速精确采集高光谱形貌4D融合信息， 可应用 于多领域。 权利要求书2页 说明书5页 附图2页 CN 114882329 A 2022.08.09 CN 114882329 A 1.一种基于深度学习的高光谱和激光雷达4D防抖融合方法， 其特 征在于： 步骤如下： 1） 激光雷达采集得到的点云首先通过已知内参进行3D ‑2D空间变换， 生成相应的深度 图； 2） 该深度图和高光谱图像被一起输入进HLFN （高光谱相机和激光雷达融合网络） 中， HLFN分别对高光谱和深度图进 行特征提取并对二者进 行特征融合， 根据融合后的特征计算 出旋转向量r和平 移向量t； 3） 将旋转向量r通过罗德里格斯公式(SE(3))变换成旋转矩阵R， 最终生成一个预测变 换矩阵T， 该矩阵指明了高光谱相机与激光雷达之间的外参关系； 4） 原始点云再通过 预测变换矩阵T 进行3D‑3D空间变换， 生成校正 点云； 5） 校正点云与高光谱图像处于同一 坐标系下， 二 者融合生成最终的4D融合数据。 2.根据权利要求1所述的方法， 其特 征在于： 所述HLFN训练方法， 步骤如下： 2.1） 用真实变换矩阵对点云进行3D ‑3D空间变换， 并与高光谱图像融合， 得到对照点 云、 对照深度图和对照光谱图； 2.2） 将点云和高光谱图像按照所述的步骤1） 至步骤3） 计算得 出预测变换矩阵； 2.3） 用预测变换矩阵对点云进行3D ‑3D空间变换， 并与高光谱图像融合， 得到校正点 云、 校正深度图和校正 光谱图； 2.4） 对照点云和校正点云之间形成几何损失约束， 对照深度图和校正深度图之间形成 光度损失约束， 对照光谱图和校正 光谱图之间形成光谱损失约束； 2.5） 最终的损失是2.4） 中所述 三个损失之和， 并由三个超参数平衡它 们； 2.6） 通过反向传播， HLFN网络参数不断迭代训练， 使损失函数最小化。 3.根据权利要求2所述的方法， 其特征在于： 步骤2.1） 中真实变换矩阵由高光谱相机和 激光雷达使用传统外参标定方法获得。 4.根据权利 要求2所述的方法， 其特征在于： 2.6） 所述的损失函数， 分别是光谱损失、 光 度损失和几何损失。 5.根据权利要求2或者 4所述的方法， 其特 征在于： 所述的光度损失： 光度损失计算对照深度图与 校正深度图所有相同位置的像素值的差 值之和； 所述的光谱损失： 光谱损失计算对照 光谱图与 校正光谱图所有相同位置的光谱向量的 距离之和； 所述的几何损失： 几何损失计算对照点云和校正 点云之间的空间距离 。 6.根据权利要求1所述的方法， 其特征在于： 所述的HLFN网络结构： 深度图和高光谱图 像首先分别经过两个由卷积层构成的用于特征提取的分支， 然后再将它们的特征串联起 来， 并再通过7个卷积层进行深度特征融合， 最后融合特征被分为两个分支， 每个分支各自 经过一个1×1的卷积和一个全连接层， 分别得到 旋转向量r和平 移向量t。 7.一种采用根据权利要求1所述的方法的系统， 其特征在于： 包括高光谱相机模块、 激 光雷达模块、 电源模块、 无线通信模块、 上位机模块、 显示模块、 信息处理和控制模块、 高光 谱图像和点云防抖融合模块； 所述的信息处理和控制模块分别与高光谱相机模块、 激光雷达模块、 电源模块、 高光谱权　利　要　求　书 1/2 页 2 CN 114882329 A 2图像和点云防抖融合模块相连， 所述的信息处理和控制模块通过无线通信模块与上位机模 块相连； 所述的信息处 理和控制模块用于信息处 理和控制 相连模块； 所述的高光谱相机模块用于获取目标物体的高光谱信息； 所述的激光雷达模块用于获取目标物体的点云数据； 所述的高光谱图像和点云防抖融合模块用于高光谱图像和点云数据的4D防抖融合； 所述的电源 模块用于供电； 所述的无线通信模块用于上位机模块与信息处 理和控制模块之间传输数据。 8.根据权利要求7所述的系统， 其特征在于： 所述的上位机模块设有高光谱相机和激光 雷达标定模块， 受上位机模块的调用， 用于高光谱相机和激光雷达之间的外参标定 。 9.根据权利要求7所述的系统， 其特征在于： 高光谱相机模块包括电光可调谐滤波片和 高速CCD相机。 10.根据权利要求7所述的系统， 其特征在于： 所述的高光谱相机模块进一步包括一个 RGB相机， 与所述的高速 CCD相机组合成共 轭模式。权　利　要　求　书 2/2 页 3 CN 114882329 A 3