(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211075864.0 (22)申请日 2022.09.05 (71)申请人 珠海翔翼航空技 术有限公司 地址 519030 广东省珠海市 保税区32号 地 (72)发明人 郑福君　曾宇　杨磊　李德斌　 伍伟略　 (74)专利代理 机构 北京市恒有知识产权代理事 务所(普通 合伙) 11576 专利代理师 郭文浩　尹文会 (51)Int.Cl. H04N 5/265(2006.01) H04N 5/21(2006.01) G06V 20/64(2022.01) G06V 10/30(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 图像成像方法及装置 (57)摘要 本申请涉及图像处理技术领域， 具体涉及一 种图像成像方法及装置； 包括以下方法： 基于图 像采集装置对待成像物体进行图像采集并在显 示终端进行目标图像的成像， 包括以下方法： 采 集所述待成像物 体第一图像和第二图像， 并提取 第一图像数据和第二图像数据； 提取所述第一图 像数据和所述第二图像数据的特征点坐标建立 所述第一图像数据和所述第二图像数据的第一 矩阵和第二矩阵； 基于所述第一矩阵和所述第二 矩阵的映射关系融合所述第一图像和所述第二 图像得到目标图像； 本实施例提供的方法， 能够 获得较为清晰的第一图像以及第二图像， 并且基 于神经网络的方式对第一图像和第二图像进行 融合， 整体处理成本较低并且获得融合图像的匹 配度以及精准度更高。 权利要求书2页 说明书10页 附图2页 CN 115150564 A 2022.10.04 CN 115150564 A 1.一种图像成像方法， 其特征在于， 基于图像采集装置对待成像物体进行图像采集并 在显示终端 进行目标图像的成像， 包括以下 方法： 采集所述待成像物体第一图像和第二图像， 并提取用于表征所述第一图像特征、 所述 第二图像特 征的第一图像数据和第二图像数据； 提取所述第 一图像数据和所述第 二图像数据的特征点坐标， 并建立所述第 一图像数据 和所述第二图像数据的第一矩阵和第二矩阵； 基于所述第 一矩阵和所述第 二矩阵形成对应的映射关系， 基于映射关系融合所述第 一 图像和所述第二图像得到目标图像； 所述图像采集装置包括第 一图像采集装置和第 二图像采集装置， 所述第 一图像采集装 置用于采集待成像物体的二 维图像， 所述第二图像采集装置用于采集所述待成像物体的三 维图像， 所述第一图像特征为像素， 所述第二图像特征为点云， 所述第一图像数据为像素坐 标， 所述第二图像数据为 点云坐标。 2.根据权利要求1所述的图像成像方法， 其特征在于， 采集所述待成像物体第 一图像和 第二图像， 并提取用于表征所述第一图像特征、 所述第二图像特征 的第一图像数据和第二 图像数据， 包括： 采集多个第一图像和多个第二图像， 并提取用于表征多个所述第一图像、 所述第二图 像特征的多个第一图像数据和多个第二图像数据； 对多个所述第 一图像数据和多个所述第 二图像数据进行降噪处理， 得到降噪后的第 一 图像数据和降噪后的第二图像数据； 采集多个第一图像和多个第二图像包括基于相同的时间间隔采集不同时间段的多个 第一图像和多个第二图像。 3.根据权利要求2所述的图像成像方法， 其特征在于， 对多个所述第 一图像数据进行降 噪处理， 包括： 对多个所述第一图像中的每个对应的第一图像特征进行均值处理得到去除多个第一 图像特征中的随机噪音， 具体包括： 对多个所述第 一图像中的同一位置的像素值进行相加， 再除以多个所述第 一图像的数 量值， 获取像素值均值， 取像素值均值对应的像素点构成的新的第一图像作为降噪后的第 一图像。 4.根据权利要求2所述的图像成像方法， 其特征在于， 对多个所述第 二图像数据进行降 噪处理， 包括： 针对多个所述第二图像数据确定初始降噪图像数据； 基于所述初始降噪图像数据确定对应的点云坐标特征， 所述点云坐标特征包括： 该点 云坐标与邻近的每 个其他点云点之间的空间分布差异特 征； 基于所述 点云坐标 特征， 确定所述第二图像特 征中的噪点； 根基于所述噪点， 对所述第二图像数据进行降噪。 5.根据权利要求4所述的图像成像方法， 其特征在于， 针对多个所述第 二图像数据确定 初始降噪图像数据， 包括： 获取多个所述第 二图像数据中每一点云点对应的多个激光反射率， 对多个所述激光反 射率进行均值处理， 并基于均值处理后的点云点构成新的第二图像为初始降噪图像， 具体权　利　要　求　书 1/2 页 2 CN 115150564 A 2包括： 对多个所述第 二图像数据中的多个点云点的激光反射率进行相加， 再除以多个所述第 二图像的数量值， 获取激光反射率均值， 取激光反射率值均值对应的点云点构成的新的第 二图像为初始降噪图像数据。 6.根据权利要求5所述的图像成像方法， 其特征在于， 基于所述初始降噪图像数据确定 对应的点云坐标 特征， 包括： 根据所述初始降噪图像数据， 确定所述每个其他点云点对应的激光反射率以及该点云 点对应的激光反射 率； 根据所述每个其他点云点对应的激光反射率， 以及该点云点对应的激光反射率， 确定 该点云点与所述每 个其他点云点之间在激光反射 率上的空间分布差异特 征。 7.根据权利要求4所述的图像成像方法， 其特征在于， 基于所述点云坐标特征， 确定所 述第二图像特 征中的噪点， 包括以下 方法： 针对所述第 二图像数据中的每个点云点， 若确定该点云点对应的点云点特征的特征值 未落入设定特 征值范围内， 识别该点云点 为噪点。 8.根据权利要求1所述的图像成像方法， 其特征在于， 基于所述第 一矩阵和所述第 二矩 阵形成对应的映射关系， 基于映射关系融合所述第一图像和所述第二图像得到目标图像， 包括以下 方法： 建立像素坐标点和点云坐标点 一一对应的矩阵作为训练集； 设置初始训练模型； 基于所述训练集及所述初始训练模型进行训练， 得到目标训练模型； 基于所述目标训练模型对所述第一图像和所述第二图像进行融合。 9.根据权利要求8所述的图像成像方法， 其特征在于， 所述初始训练模型结构为神经网 络结构， 所述神经网络结构包括输入层、 外参乘积层、 内参乘积层， 所述输入层为点云坐标 矩阵， 所述外参乘积层权 重为外参矩阵， 所述内参乘积层权 重为内参矩阵； 所述初始训练模型包括静态标定的外参矩阵以及内参矩阵； 基于所述训练集及所述初始训练模型进行训练， 得到目标训练模型， 包括： 基于所述训 练集、 所述静态标定的外参矩阵和所述内参矩阵进行训练直至所述神经网络 收敛， 得到 收 敛后的神经网络中的目标外参矩阵； 基于所述目标外参矩阵对三维点云和二维图像进行融合。 10.一种图像成像装置， 其特 征在于， 包括： 采集模块， 用于采集待成像物体第一图像和第二图像， 并提取用于表征所述第一图像 特征、 所述第二图像特 征的第一图像数据和第二图像数据； 矩阵建立模块， 用于提取所述第一图像数据和所述第二图像数据的特征点坐标， 并建 立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵； 融合模块， 用于基于所述第一矩阵和所述第二矩阵形成对应的映射关系， 基于映射关 系融合所述第一图像和所述第二图像得到目标图像。权　利　要　求　书 2/2 页 3 CN 115150564 A 3