(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741028.5 (22)申请日 2022.06.27 (71)申请人 东南大学 地址 211189 江苏省南京市江宁区东 南大 学路2号 (72)发明人 李春国　陆敬奔　杨绿溪　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 唐少群 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于FPFH特征和深度神经网络的点云 超分辨率方法 (57)摘要 本发明公开了一种基于FPFH特征和深度神 经网络的点云超分辨率方法， 包括： 获取公开点 云超分辨率数据集， 构建训练集、 验证集， 并做归 一化处理； 估计低分辨率点云的法向量， 使用估 计的法向量计算点 云的FPFH 特征； 构建一个基于 密集连接1 ×1卷积核卷积神经网络、 k近邻图和 特征扩充的深度神经网络； 将低分辨率点云的坐 标和FPFH特征输入神经网络， 联合对应样本的高 分辨率点云， 以监督学习的方式训练神经网络， 输出得到高分辨率点云； 在测试集上评估网络模 型的超分辨率性能。 本发明设计的神经网络可以 动态设置网络参数量， 算法可以关注更多的表面 几何信息， 生成的高分辨率点云距离真实点云分 布更近， 超分辨 率效果优于主流方法。 权利要求书3页 说明书8页 附图4页 CN 115018710 A 2022.09.06 CN 115018710 A 1.一种基于FPFH特 征和深度神经网络的点云超分辨 率方法， 其特 征在于， 所述包括： 步骤S1、 获取点云数据集， 并对该点云数据集做归一化处理， 其中， 该点云数据集包括 高分辨率和低分辨 率点云对； 步骤S2、 在不同的选取半径下， 估计低分辨率点云的法向量， 使用估计的法向量计算点 云的SPFH特征， 并对不同选取半径下的S PFH特征进行融合， 得到FPFH特 征； 步骤S3、 构建深度神经网络， 该网络包括基于密集连接卷积神经网络、 k近邻图和特征 扩充这三个网络模块， 其中， 首先， 输入特征经过基于密集连接卷积神经网络， 将低 维度的 坐标信息映射到高维度空间， 完成基本特征抽取； 然后， 将密集连接卷积神经网络的输出特 征输入至k近邻图模块中， 建立k近邻图， 生 成k近邻图特征， 并且k近邻图特征与密集连接卷 积神经网络的输出特征建立了残差 关系， 以加速网络收敛； 最后， 将基于密集连接卷积神经 网络以及k近邻图的这两个网络模块的输出特征进行拼接输入至特征扩充模块中， 提高特 征的通道数， 并对特 征进行尺度变换； 步骤S4、 以步骤S1中的点云数据集中低分辨率点云对， 以及从该低分辨率点云对应的 FPFH特征作为步骤S 3中构建的深度神经网络的输入， 以该低分辨率点云对对应的高分辨率 点云对作为标签进行有监督训练， 训练完成得到训练模型， 再通过该训练模型输出得到超 分辨率点云。 2.根据权利要求1所述的一种基于FPFH特征和深度神经网络的点云超分辨率方法， 其 特征在于， 所述 步骤S1包括： 步骤S101、 获取公开的点云数据集PU1K， 该数据集的训练验证集包含69000个点云对， 低分辨率点云包含256个点， 高分辨率点云包含2048个点， 是4倍超分辨率数据集； 测试集包 含了127个物体的点云数据， 每个物体有4种尺度的4倍超分辨率点云对， 分别为256点— 1024点、 512点—2048点、 1024点—4096点和2048点—8 192点， 测试集的点云数据未经过分 块处理， 每个点云图像都表示 一个完整的三维物体； 步骤S102、 将训练验证集随机分成训练集、 验证集， 其中训练集包含65000个点云对， 验 证集包含4000个点云对； 步骤S103、 对输入点云做归一 化处理。 3.根据权利要求2所述的一种基于FPFH特征和深度神经网络的点云超分辨率方法， 其 特征在于， 所述 步骤S103具体包括： 首先， 通过对低分辨 率点云所有点的三个坐标求平均值， 得到整个点云的中心点； 然后， 对低分辨率点云计算所有点到中心点的欧式距离， 并取最大距离作为归一化距 离； 最后， 将低、 高分辨率点云的整体坐标减去中心点坐标， 并处以归一化距离， 用以将数 据集点云三个坐标的取值归一 化到‑1和1之间， 生成归一 化处理后的点云。 4.根据权利要求1所述的一种基于FPFH特征和深度神经网络的点云超分辨率方法， 其 特征在于， 所述 步骤S2包括： 步骤S201、 通过统计归一化低分辨率点云的点间距离分布， 调用open3d库法向量估计 函数， 设置邻点选取半径为0.2、 0.4， 估计出点云中每 个点的法向量信息； 步骤S202、 联合点云的法向量信息与归一化坐标， 调用open3d库FPFH特征计算函数， 借 助不同选取半径内邻点信息， 计算出不同选取半径下点云各点的FPFH特 征；权　利　要　求　书 1/3 页 2 CN 115018710 A 2步骤S203、 设计卷积神经网络， 对多选取半径下的FPFH特征进行特征融合， 融合特征的 维度与单个FPFH特 征相同。 5.根据权利要求4所述的一种基于FPFH特征和深度神经网络的点云超分辨率方法， 其 特征在于， 在所述 步骤S202中， 所述FPFH特 征的计算方法为： 步骤S2021、 针对目标点ps与其某一邻点pt建立局部坐标系， 其包括： 定义ps与pt对应的法向量分别为ns、 nt， 再使用 表示L2范数的平方， 则局部坐标系三 个坐标轴用u、 v、 w表示如下： u＝ns (1) w＝u×v (3) 步骤S2022、 针对步骤S2021构建的局部坐标系， 两点的SPFH特征通过以下三个角 度值 表征： α ＝v·nt (4) θ ＝arctan(w ·nt,u·nt) (6) SPFH(pt)＝( α,φ, θ ) (7) 步骤S2023、 对任意查询点pq与其k个邻点pk， 查询点的FPFH特征由各自的SPFH特征计算 生成： 6.根据权利要求1所述的一种基于FPFH特征和深度神经网络的点云超分辨率方法， 其 特征在于， 在所述 步骤S3中， 所述的基于密集连接卷积神经网络， 其包括： 每个卷积层使用1 ×1的卷积核； 网络包含多层中间特征， 每层中间特征的尺度相同， 通 过前面所有中间特 征在特征维度拼接后送入该层卷积层进行 卷积计算获得； 密集连接卷积神经网络的输入、 输出特征维度设为相同， 多个相同结构的密集连接卷 积神经网络进行级联， 以增强点云信息的抽取能力； 其中， 使用了4级相同结构的密集连接卷积神经网络， 对1、 3级网络输入点云FPFH特征 进行信息融合， 2、 4级网络 输入坐标 特征进行信息融合。 7.根据权利要求6所述的一种基于FPFH特征和深度神经网络的点云超分辨率方法， 其 特征在于， 在所述 步骤S3中， 所述的k近邻图具体包括： 每个卷积层使用1 ×1的卷积核； 对每层卷积层的输入特征， 其每个点特征首先使用k近 邻算法， k个近邻点特征组成该点邻域特征， 之后点特征与对应的邻域特征作差获得相对特 征， 相对特 征和输入点特 征组成了k近邻图特 征， 以送入卷积层进行 特征变换； 通过将卷积层的输出特征维度设为与输入特征相同， 多个相同结构的k近邻图卷积神 经网络进 行级联， 且每个网络都使用一次k近邻算法， 动态生 成该级网络的k近邻图特征， 并权　利　要　求　书 2/3 页 3 CN 115018710 A 3