(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210500678.0 (22)申请日 2022.05.10 (71)申请人 中山大学 地址 510006 广东省广州市海珠区新港西 路135号 (72)发明人 苏卓　谭宇帝　周凡　王若梅　 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/50(2011.01) G06T 7/593(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于表面隐函数的单目图像着装人体重建 方法与系统 (57)摘要 本发明公开了一种基于表面隐函数的单目 图像着装人体重建方法与系统。 包括： 获取高精 度着装人体模 型并进行渲染和表 面采样， 运用所 述采样点构建训练集， 提取所述渲染得到的着装 人体图像的特征图和粗预测SMPL， 将所述生成的 SMPL体素化并使用三维卷积融合各部分的特征， 得到三维空间下融合编码后的体素特征， 获取给 定查询点的混合局部特征， 通过图卷积和交叉注 意力获取空间中给定查询点的局部点云特征， 训 练和构建离散点占有率估算模型， 生成着装人体 模型。 本发 明具备对输入图像更好的保真性和细 节恢复能力； 设计的网络保证模型结构的鲁棒 性， 提高模型对人体图像与3D语义特征的感知和 表达能力， 并保证重建人体模型的完整性和细致 程度， 可视化效果更好。 权利要求书4页 说明书9页 附图2页 CN 114782634 A 2022.07.22 CN 114782634 A 1.一种基于表面隐函数的单目图像着装人体重建方法， 其特 征在于， 所述方法包括： 从数据集获取高精度着装人体模型， 并在3 60度视角下渲染出3 60张着装人体图像； 对所述数据集人体模型进行表面采样， 并按照高斯分布对采样点延法线方向作偏移， 为每个采样点设置人体内部和外 部的标签数据， 该部分采样点即对应训练集； 通过神经网络获取所述着装人体图像的特征图， 所述特征图的图像分辨率和所述着装 人体图像保持一 致； 通过图卷积网络GCN获取针对所述着装人体图像的粗预测的基于蒙皮的参数化人体模 型SMPL； 将所述生成的SMPL体素化， 得到三维体素空间的离散特征， 对所述离散体素特征使用 三维卷积融合各个部分的特 征， 最终得到三维空间下融合编码后的体素 特征； 对所述特征图的图像特征和所述三维空间下融合编码后的体素特征分别进行插值， 拼 接后得到给定查询点的混合局部特 征； 在所述SMPL粗预测模型的表面采样后进行图卷积， 得到SMPL采样点融合特征图后的混 合特征， 再使用交叉注意力得到空间中给定查询点的局部点云特 征； 对所述给定查询点的混合局部特征和所述给定查询点的局部点云特征做拼接， 得到最 终的给定查询点的混合特征， 输入到多层感知机MLP中得到给定查询点对于人体模型 的占 有概率， 与标签值作差得到损失值， 通过梯度下降类方法更新网络权重， 使该损失迭代收敛 至尽可能小， 以此训练形成离 散点占有率估算模型； 设置一个单位立方体， 在该单位立方体内部按用户设定的离散点分辨率设置均匀间隔 分布的离散点， 由所述离散点占有率估算模型得出所述离散点分辨率下所有离散点的占有 率后， 使用立方体匹配算法Marching  Cube生成三角形面片网格模型得到最终的着装人体 模型。 2.如权利要求1所述的基于表面隐函数的单目图像着装人体重建方法， 其特征在于， 所 述从数据集获取高精度着装人体模型， 并在360度视角下渲染出360张着装人体图像， 具体 为： 所述数据集来自清华大学开源数据集THuman2.0， 所述渲染方法采用球谐波光照离线 渲染， 并生成对应的人体图像遮罩， 处 理背景为白色。 3.如权利要求1所述的基于表面隐函数的单目图像着装人体重建方法， 其特征在于， 所 述通过神经网络获取所述着装人体图像的特征图， 所述特征图的图像分辨率和所述着装人 体图像保持一 致， 具体为： 所述神经网络采用堆叠沙漏网络SHG， 设置堆叠数量为4块， 每一层内部包含四层递归 式网络结构， 对图像进行多尺度编码； 将所述后 三块的特征图作为该图像编码模块的输出， 保证浅层网络能在梯度 下降中更 容易有权值更新。 4.如权利要求1所述的基于表面隐函数的单目图像着装人体重建方法， 其特征在于， 所 述通过GCN获取针对所述着装人体图像的粗预测的SMPL， 具体为： 将所述着装人体图像输入到一个普通的卷积神经网络， 编码出全局语义信息， 然后作 为一个特征拼接上预定义S MPL顶点的位置信息和法向量信息， 在固定拓扑结构下输入GCN， 所述GCN输出SMPL顶点的三维坐标；权　利　要　求　书 1/4 页 2 CN 114782634 A 2对所述SMPL模型的6890个顶点进行下采样到1732个顶点， 预测出该部分顶点位置后， 通过上采样恢复出 所有顶点 位置； 所述GCN在原数据集上进行预训练， 其余网络参数训练时， 该部分网络参数不参与权值 更新， 其中所述标签数据的SMPL 参数使用多视角版本的SMPl ify‑X得到。 5.如权利要求4所述的基于表面隐函数的单目图像着装人体重建方法， 其特征在于， 所 述多视角版本的SMPl ify‑X方法， 具体为： 对密集视角下的渲染图像先用Op enPose生成2D 关节位置作为真实2D 关节位置， 并选取 其中的17个关节顶点作为参考数据， 然后基于解最优化方程的方法， 对若干视角的图像求 出其SMPL参数， 保证该参数下的关节位置通过投影后， 在各个视角下和参考数据的关节位 置误差尽可能小， 所述过程的具体公式如下： 其中， f表示从给定SMPL参数θ, β 生成关节位置的函数， 为可微函数， πi,k表示关节k在视 角i下的2D投影， 表示关节k在视角i下的真实2D位置 。 6.如权利要求1所述的基于表面隐函数的单目图像着装人体重建方法， 其特征在于， 所 述将所述生成的SMPL体素化， 得到三维体素空间的离散特征， 对所述离散体素特征使用三 维卷积融合各个部分的特 征， 最终得到三维空间下融合编码后的体素 特征， 具体为： 所述三维卷积网络采用多块结构， 使用后三块网络的三维特征图作为输出， 保证浅层 网络权重更容易更新， 所述网络结构使用的开源方案具体公式如下： 其中 为给定查询点在数据集的模型空间中是否属于模型内部的标签值， 若在模型内 部， 则为1， 否则为0， f2d,f3d,fpoint分别代表所述着装人体图像的特征图的图像特征， 所述三 维空间下融合编码后的体素 特征和所述空间中给定查询点的局部点云特 征。 7.如权利要求1所述的基于表面隐函数的单目图像着装人体重建方法， 其特征在于， 所 述在所述S MPL粗预测模 型的表面采样后进 行图卷积， 得到S MPL采样点融合特征图后的混合 特征， 再使用交叉注意力得到空间中给定查询点的局部点云特 征， 具体为： 将所述生成的SMPL表面进行采样， 得到若干采样点位置和其所在面片的法向量， 作为 该采样点3D几何特征， 然后按给定相 机参数进行弱透视投影， 用所述生成的着装人体图像 的特征图插值得到该采样点的2D图像特征， 与3D几何特征拼接后得到S MPL表面采样点的混 合特征， 所述混合特征基于S MPL的预定义拓扑结构进 行图卷积操作得到有全局感知的点云 特征， 所述图卷积网络使用和所述用多块结构的三维卷积网络采的类似结构， 只是将其中 的三维卷积模块替换为图卷积模块， 由于网络输入来自局部混合特征， 因此使用先前网络 的多块输出， 但权值更新在同样参数的网络中进行； 对所述给定查询点的混合局部特征和所述给定查询点的局部点云特征进行交叉注意 力操作， 该部 分以SMPL采样点的混合局部特征为K矩阵， 查询点混合局部特征为Q矩阵， S MPL 采样点的点云编码特 征为V矩阵， 得到给定查询点的局部点云特 征， 具体过程的公式如下： fpoint＝WV(V)×Softmax(WQ(Q)×WK(K)T) 其中WV， WQ， WK分别为所述 三个矩阵对应的待学习参数矩阵。权　利　要　求　书 2/4 页 3 CN 114782634 A 3