(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111666209.8 (22)申请日 2021.12.31 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 董守斌　李文刚　胡金龙　杨杰　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 代理人 冯炳辉 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/62(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的时序点云数据增强方法 (57)摘要 本发明公开了一种基于深度学习的时序点 云数据增强方法， 包括： 1)按采集的时间顺序对 点云进行排序； 2)抽取k个点云作为原始样本， 并 指定网络的总共迭代次数为T， 网络包含增强器 和分类器； 3)将原始样本输入到增强器中进行数 据增强， 得到增强样本； 4)将原始样本与增强样 本输入到分类器中， 利用分类器的分类结果得到 分类损失值与增强损失值； 5)利用分类损失值与 增强损失值， 采用反向传播算法更新增强器与分 类器的参数， 若网络的迭代次数t小于网络的总 共迭代次数T， 则跳转至步骤2)， 否则终止训练， 得到最终的分类器参数。 本发明为使用时序点云 作为输入样本的深度学习模型提供一种数据增 强方法， 缓解深度学习模型的过拟合情况， 协助 对点云进行分类的任务。 权利要求书4页 说明书8页 附图1页 CN 114373108 A 2022.04.19 CN 114373108 A 1.基于深度学习的时序点云数据增强方法， 其特 征在于， 包括以下步骤： 1)按采集的时间顺序对点云进行排序， 形成具有时间顺序的点云， 指定点云点数数目 为n， 并将每 个点云的点数固定为 n， 对每个点云中的点进行排序； 2)从步骤1)得到的具有时间顺序的点云中， 抽取k个点云作为原始样本， 并指定 网络的 总共迭代次数为T， 其中所述网络包 含增强器和分类 器； 3)将步骤2)得到的原始样本输入到增强器 中， 设定增强器对样本 中的每个点云进行数 据增强的概率为paug， 使增强器对样本中的每个点云以paug的概率进行数据增强， 得到的样 本称为增强样本； 4)将步骤3)得到的增强样本与对应的原始样本输入到分类器 中， 利用分类器的分类结 果得到分类损失值 LC与增强损失值 LA； 5)利用步骤4)得到的分类损失值LC与增强损失值LA， 采用反向传播算法更新增强器与 分类器的参数， 若网络的迭代次数t小于网络的总共迭代次数T， 则跳转至步骤2)， 否则， 终 止训练， 得到最终的分类 器参数。 2.根据权利要求1所述的基于深度学习的时序点云数据增强方法， 其特征在于， 在步骤 1)中， 固定点云的点数的方法为： 若点云点数大于n， 则用最远点采样算法在该点云中采集n 个点； 若点云点数小于n， 则随机选取该点云中的点填充点云， 使点云点数等于n； 若点云点 数等于n， 直接保留该点云中的所有点； 点云中的点， 表示 为： πi＝[σi1, σi2,..., σir],i＝1,2,...,n 式中， πi是指点云中第i个点， σi1, σi2,..., σir是πi的第1,2,...,r种特征， 每个点都有r 种特征， 每个点云有n个点； 对每个点云中的点进行排序的方法为： 根据点云中点的特征对点进行排序， 使得点云 中的点的特 征满足字典序。 3.根据权利要求1所述的基于深度学习的时序点云数据增强方法， 其特征在于， 在步骤 2)中， 抽取k个点云作为样 本的方法为： 从步骤1)得到的具有时间顺序的点云中， 抽取k个点 云， 使得在时间上相 邻的两个点云之间的时间间隔小于或等于指定的阈值δ， 且时间顺序上 最后一个点云与第一个点云之间的时间 间隔等于指定的阈值 ε， 表示 为： uq,q＝1,2,. ..,k 0＜time(uq+1)‑time(uq)≤ δ,q＝1,2,. ..,k‑1 time(uk)‑time(u1)＝ ε 式中， uq是指第q个点云， 共有k个点云； time(uq)是指点云uq对应的采集时间， time (uq+1)是指点云uq+1对应的采集时间， time(uk)是指点云uk即最后一个 点云对应的采集时间， time(u1)是指点云u1即第一个点云对应的采集时间。 4.根据权利要求1所述的基于深度学习的时序点云数据增强方法， 其特征在于， 在步骤 3)中， 将一维卷积操作标记 为Conv(·)， 批归一化操作标记为BN( ·)、 线性整流函数标记为 ReLU(·)， 全连接层标记为FC( ·)， 最大池化操作标记为MaxPool( ·)， 预先设定对点云进 行旋转的概 率为pm， 对点云进行 逐点位移的概 率为pd； 利用增强器对样本中的每 个点云进行 数据增强， 具体过程如下： 3.1)提取点云中每个点的特征： 提取点云的三维坐标， 得到尺寸为n ×3的张量Π， 进行权　利　要　求　书 1/4 页 2 CN 114373108 A 2以下操作， 得到尺寸 为n×64的张量Π1与尺寸为n×64的张量Π2： Π1＝ReLU(BN(Co nv(Π))) Π2＝ReLU(BN(Co nv(Π1))) 以上两个一维卷积 操作的卷积核大小分别为1 ×3、 1×64， 步长均为1； 3.2)提取点云的全局特征： 进行以下操作， 得到尺寸为n ×128的张量П3、 尺寸为n ×512 的张量П4与尺寸为1×512的张量VG： П3＝ReLU(BN(Co nv(П2))) П4＝ReLU(BN(Co nv(Π3))) VG＝MaxPool(Π4) 以上两个一维卷积操作的卷积核大小为1 ×64、 1×128， 步长为1； 最大池化操作的核大 小为n×1， 步长为1； 3.3)指定噪声维度为τN， 生成符合高斯分布的噪声值组成的尺寸为1 ×τN的张量VN， 拼 接VG与VN， 得到尺寸为1 ×(512+τN)的张量VG～N； 进行以下操作， 得到尺寸为1 ×512的张量V1、 尺寸为1×256的张量V2与尺寸为1×4的张量VR＝[a,b,c,d]： V1＝FC(VG) V2＝FC(V1) VR＝FC(V2) 其中， sin( ·)是指正弦函数， cos( ·)是指余弦函数， θ是指整片点云的旋转角度， vx是 指旋转轴在X坐标轴上的分量， vy是指旋转轴在Y坐标轴上的分量， vz是指旋转轴在Z坐标轴 上的分量， 增强器会直接学习a、 b、 c、 d四个参数， 所以无需额外指定θ、 vx、 vy、 vz； 利用四元 数的性质， 得到 旋转矩阵M的表达式为： 3.4)堆叠张量VG～N， 得到尺寸 为n×(512+τN)的张量Π5： 将张量Π2与张量Π5张横向拼接， 得到尺寸 为n×(64+512+τN)的张量Π6： Π6＝(Π2 Π5)权　利　要　求　书 2/4 页 3 CN 114373108 A 3