(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111542134.2 (22)申请日 2021.12.16 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 初秀民　马玉鹏　田国昊　祝添权　 郑茂　 (74)专利代理 机构 湖北武汉 永嘉专利代理有限 公司 42102 代理人 王杰 (51)Int.Cl. G06T 17/00(2006.01) G06T 5/50(2006.01) G06T 7/11(2017.01) G06T 5/00(2006.01)G06F 30/15(2020.01) G06F 30/20(2020.01) (54)发明名称 基于视频图像与激光雷达点云融合建立船 舶模型的方法 (57)摘要 本发明涉及一种基于视频图像与激光雷达 点云融合 建立船舶模型的方法， S1通过摄像机和 激光雷达分别获取港口过往船舶 的视频图像数 据和点云数据， 存储完毕后通过无线网络传输给 阿里云数据处理服务器， 进行数据初步处理； S2 阿里云数据处理服务器将点云数据与视频图像 数据按照时间差值进行双向数据匹配， 获得在同 一时间节点的匹配数据集； S3、 使用加权融合法 对点云数据和正向视频图像数据进行融合， 获得 附带光谱特质的点云数据； S4、 将附带光谱特质 的点云数据进行格式转换输入建模 软件， 进行点 云数据截取， 开启点云捕捉， 逆向建模。 本发明利 用视频图像与激光雷达点云数据融合建立船舶 模型的方法， 提高了船舶模型的建模精度， 减少 了人工建模的工作量。 权利要求书3页 说明书6页 附图4页 CN 114187409 A 2022.03.15 CN 114187409 A 1.一种基于视频图像与激光雷达点云融合建立船舶模型的方法， 其特征在于， 包括以 下步骤： S1、 将摄像机安装于港口正视船舶位置， 摄像机正视水面定时拍摄水面过往船舶图片， 并进行视频图像数据存储； 同时， 将激光雷达布设于港口定点位置， 定时扫描 水面过往船舶 获得点云数据， 并进 行点云数据存储； 视频图像数据及点云数据存储完 毕后， 通过无线网络 传输给阿里云数据处 理服务器， 进行 数据初步处 理； S2、 阿里云数据处理服务器定时接收到激光雷达一帧点云数据和摄像机拍摄的一帧视 频图像数据， 数据接收完毕后将点云数据与视频图像数据按照时间差值进行双向数据匹 配， 获得在同一时间节点的匹配数据集； S3、 当阿里云数据处理服务器创建匹配数据集后， 已获得正向视频图像数据与点云数 据， 使用加权融合法对激光雷达点云数据和正向视频图像数据进行融合， 在振 幅上对图像 结果进行突出处 理， 达到图像增强的效果， 获得附带光谱特质的点云数据； S4、 将附带光谱特质的点云数据进行格 式转换后输入到建模软件， 进行点云数据截取， 开启点云捕捉， 进行 数据截取， 根据用户自身需求， 最终生成船舶3D模型。 2.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法， 其 特征在于， 步骤S1中阿里云数据处 理服务器对所接收数据进行初步处 理包括： (1)对视频图像数据进行初步处理： 删除具有航标、 桥墩及其余障碍物的图像区域； 用 预处理过后的当前帧图像进行区域增强， 对视频图像进行边缘补足， 获得船舶的视频图像 数据； (2)对点云数据进行初步处理： 对点云数据进行点云精简， 删除不属于目标范围内的点 云数据， 获得 船舶的点云数据。 3.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法， 其 特征在于， 步骤S2具体包括以下分步： S2.1、 原始点云数据通过滤波处理， 获得基础点云数据， 通过内插DEM完成点云图形区 分； S2.2、 在利用软件获取DEM的基础 上， DEM与视频图像数据进行配准， 综合双向数据即可 得到正向视频图像数据， 完成了影 像的数字微分纠正过程； S2.3、 原始点云数据经过边缘增强、 阈值处理的图像预处理过程后， 剔除了激光雷达点 云数据中的粗差， 完成了数据的融合配准处理， 点云数据与正向视频图像数据按照时间差 值可进行双向数据匹配， 获得完整的在同一时间节点的匹配数据集。 4.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法， 其 特征在于， 步骤S3具体包括以下步骤： S3.1、 在建立匹配数据集后， 对图像进行线性复合， 从振幅上对图像结果进行突出化处 理， 从而达 到图像增强的效果； S3.2、 增强结束后， 进行加权融合的方法为灰度值加权融合， 加权融合公式为： F(i,j) ＝c1A(i,j)+c2B(i,j)， 其中， i,j分别为图像中像素的行列表达， i＝1， 2， 3......n， j＝1,2, 3......n； c1、 c2为图像信 息的加权系数， c1+c2＝1， 针对光谱信 息c1＝0,c2＝1， 针对空间信 息c1＝1,c2＝0； A为雷达点云数据、 B为视频图像数据， A(i,j)为激 光雷达点云数据像素行列 表示， B(i,j)为视频图像数据像素 行列表示， F(i,j)为像素 行列叠加终值；权　利　要　求　书 1/3 页 2 CN 114187409 A 2S3.3、 完成融合后， 获得附带光谱特质的船舶点云数据。 5.根据权利要求1所述的基于视频图像与激光雷达点云融合建立船舶模型的方法， 其 特征在于， 步骤S4具体包括以下步骤： S4.1、 将附带光谱特质的点云数据进行格式转换， 转换为 “*.rcs”格式或“*.rcp”格式， 检查点云数据完整度， 完成建模准备工作； S4.2、 矫正 图像坐标系后， 按需求进行点云切片， 选定点云区域； 进行点云数据分析并 进行预处理， 过滤后查看特征是否完整， 是否符合建模需求； 完成后， 在点云对正后截取数 据， 察看处 理效果； S4.3、 判断点云数据结构完整， 特 征明确后， 对图像特 征分级、 拟合， 并编辑关键尺寸； S4.4、 处理完成后， 确认总体特征是否符合建模要求， 使用点云捕捉功能精确捕捉点云 数据的三维点 坐标， 完成船舶模型构建。 6.根据权利要求5所述的基于视频图像与激光雷达点云融合建立船舶模型的方法， 其 特征在于， 所述 步骤S4.1具体包括： (1)取得附带光谱特质的点云数据； (2)转换数据格式， 将点云数据导入Rhi no软件平台。 7.根据权利要求6所述的基于视频图像与激光雷达点云融合建立船舶模型的方法， 其 特征在于， 所述 步骤S4.2具体包括： (3)检查点云数据是否完整， 是否符合建模需求， 根据具体要求进行判断； 如点云数据 符合建模要求则进入下一步， 进行点云数据提取及捕捉， 否则 返回第(1)步， 重新取得点云 数据； (4)矫正导入数据坐标系， 统一需求 坐标， 进行点云切割； (5)数据分析， 去除点云数据噪点， 并对粗 值过滤； (6)得到初步处理点云数据， 要求点云数据剩余70％以上， 且特征保存良好， 如点云数 据符合要求则进入下一 步， 否则返回第(5)步， 重新进行 数据分析步骤； (7)点云对正， 并进行点云截取， 察看效果。 8.根据权利要求7所述的基于视频图像与激光雷达点云融合建立船舶模型的方法， 其 特征在于， 所述 步骤S4.3具体包括： (8)点云细化处 理； (9)经细化处理后， 检查点云特征是否完好， 如点云特征完好则进入下一步， 否则返回 第(7)步， 重新进行点云对正 步骤； (10)对所采集的点云数据进行特征分析、 特征分级， 确定特征形态， 并划分特征重要级 别； (11)进行光谱特征拟合， 在匹配前影像像元光谱与参考光谱要经过连续统去除处理， 然后用最小二乘法拟合像元光谱和 参考光谱经连续统去除后的曲线， 并进行误差分析， 减 小误差程度； 若结果误差过大， 则 返回特征拟合步骤， 重新拟合特征， 如结果误差属于可接 受范围， 则进入下一 步； (12)图形区域分割后进行关键尺寸编辑、 调整； (13)图形其 余特征导入， 修饰； (14)图形基本构件完成， 检查总体特征， 是否符合建模需求， 如符合则完成图形保存，权　利　要　求　书 2/3 页 3 CN 114187409 A 3