(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210821889.4 (22)申请日 2022.07.12 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 申请人 清华大学　 海信视像科技股份有限公司 (72)发明人 李梦成　刘烨斌　杨智远　张思栋　 王宝云　于芝涛　吴连朋　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 苑琳琳 (51)Int.Cl. G06T 17/20(2006.01) G06T 15/00(2011.01)G06T 15/04(2011.01) G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人手 重建方法及设备 (57)摘要 本申请涉及三 维重建技术领域， 提供一种人 手重建方法及设备， 将单视角或多视角的人手 RGB图像输入人手重建网络， 获得带有纹理的人 手三维模型。 该人手重建网络包括编码器和解码 器， 编码器从每张人手RGB图像中提取不同尺度 的特征图和人手特征向量， 解码器对 各人手特征 向量进行若干次图卷积和上采样操作生成人手 几何模型； 由于不同尺度的特征图包含的人手信 息的丰富度不同， 图卷积操作时， 将每张人手RGB 图像对应的不同尺度的特征图中提取的人手信 息与相应的人手特征向量进行融合， 使得上采样 后的目标人手几何顶点集合包含更多的人手全 局信息和细 节信息， 从而提高了人手三维模型的 准确性和真实性。 权利要求书2页 说明书12页 附图6页 CN 115272608 A 2022.11.01 CN 115272608 A 1.一种人手重建方法， 其特 征在于， 包括： 获取至少一个视角的人手RGB图像； 通过训练好的人手重建网络中的编码器， 从所述人手RGB图像中提取出不同尺度的特 征图以及人手特 征向量； 当所述人手RGB图像的数量为一张时， 通过所述人手重建网络中的解码器， 对所述人手 RGB图像中提取的人手特征向量进行若干次图卷积操作， 得到目标人手几何顶点集合； 其 中， 在若干次图卷积操作中， 将所述人手RGB图像对应的不同尺度的特征图中提取的人手信 息， 分别与所述人手RGB图像对应的人手特 征向量进行融合； 根据所述目标 人手几何顶点 集合中几何顶点的三维坐标， 获得 人手几何模型； 根据至少一张人手RGB图像对所述人手几何模型进行可微渲染， 得到纹理贴图后的人 手三维模型。 2.如权利要求1所述的方法， 其特 征在于， 当所述人手RGB图像的数量 为多张时： 针对每一张所述人手RGB图像中提取的人手特征向量， 通过所述人手重建网络中的解 码器进行若干次图卷积操作， 得到初始人手几何顶点集合； 其中， 在若干次图卷积操作中， 将所述人手RGB图像对应的不同尺度的特征图中提取的人手信息， 分别与所述人手RGB图像 对应的人手特 征向量进行融合； 根据多个视角下采集所述人手RGB图像的RGB相机的参数， 将多张所述人手RGB图像对 应的初始人手几何顶点 集合进行融合， 得到目标 人手几何顶点信息 。 3.如权利要求2所述的方法， 其特征在于， 多个视角RGB相机的参数是通过以下方式确 定的： 根据每张所述人手RGB图像提取出的人手特征向量， 通过所述解码器的至少一个全连 接层和激活函数， 计算相应RGB相机的参数； 或者 根据多个视角的RGB相机采集的标定物图像， 预先标定出所述每个视角上RGB相机的参 数； 其中， 每个RGB相机的参数包括人手相对于所述RGB相机的旋转矩阵和平移向量， 用于 对多个所述初始人手几何顶点集合进 行融合时， 将多个所述初始人手几何顶点集合中的几 何顶点统一到一个坐标系下。 4.如权利要求1 ‑3中任一项所述的方法， 其特征在于， 在若干次图卷积操作中， 将所述 人手RGB图像对应的不同尺度的特征图中提取的人手信息， 分别与所述人手RGB图像对应的 人手特征向量进行融合时， 所述人手特征向量融合的所述人手信息对应的特征图的尺度， 随着图卷积 操作次数的增 加而增大。 5.如权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述根据 所述目标人手几何顶点 集合中几何顶点的三维坐标， 获得 人手几何模型， 包括： 将所述目标人手几何顶点集合中几何顶点进行反向图卷积操作和全连接操作， 获得人 手骨架节点的三维坐标； 根据预先设定的蒙皮参数， 驱动所述人手骨架节点的三维坐标变化， 得到驱动后的人 手几何模型。 6.如权利要求1 ‑3中任一项所述的方法， 其特征在于， 每次图卷积操作后进行上采样操 作以增加图卷积 操作后获得的几何顶点的数量。权　利　要　求　书 1/2 页 2 CN 115272608 A 27.一种重建设备， 其特征在于， 包括处理器、 存储器、 显示屏和通信接口， 所述通信接 口、 所述显示屏、 所述存 储器和所述处 理器通过总线连接； 所述存储器包括数据存储单元和程序存储单元， 所述程序存储单元存储有计算机程 序， 所述处 理器根据所述计算机程序， 执 行以下操作： 通过所述通信接口， 获取至少一个视角的RGB相机采集的人手RGB图像， 并存储至所述 数据存储单元； 通过训练好的人手重建网络中的编码器， 从所述人手RGB图像中提取出不同尺度的特 征图以及人手特 征向量； 当所述人手RGB图像的数量为一张时， 通过所述人手重建网络中的解码器， 对所述人手 RGB图像中提取的人手特征向量进行若干次图卷积操作， 得到目标人手几何顶点集合； 其 中， 在若干次图卷积操作中， 将所述人手RGB图像对应的不同尺度的特征图中提取的人手信 息， 分别与所述人手RGB图像对应的人手特 征向量进行融合； 根据所述目标 人手几何顶点 集合中几何顶点的三维坐标， 获得 人手几何模型； 根据至少一张人手RGB图像对所述人手几何模型进行可微渲染， 得到纹理贴图后的人 手三维模型， 并通过 所述显示屏进行显示。 8.如权利要求7所述的重建设备， 其特征在于， 当所述人手RGB图像的数量为多张时， 所 述处理器还执 行： 针对每一张所述人手RGB图像中提取的人手特征向量， 通过所述人手重建网络中的解 码器进行若干次图卷积操作， 得到初始人手几何顶点集合； 其中， 在若干次图卷积操作中， 将所述人手RGB图像对应的不同尺度的特征图中提取的人手信息， 分别与所述人手RGB图像 对应的人手特 征向量进行融合； 根据多个视角下采集所述人手RGB图像的RGB相机的参数， 将多张所述人手RGB图像对 应的初始人手几何顶点 集合进行融合， 得到目标 人手几何顶点信息 。 9.如权利要求7或8所述的重建设备， 其特征在于， 在若干次图卷积操作中， 将所述人手 RGB图像对应的不同尺度的特征图中提取的人手信息， 分别与所述人手RGB图像对应的人手 特征向量进行融合时， 所述人手特征向量融合的所述人手信息对应的特征图的尺度， 随着 图卷积操作次数的增 加而增大。 10.如权利要求7或8所述的重建设备， 其特征在于， 所述处理器在每次图卷积操作后进 行上采样操作以增 加图卷积 操作后获得的几何顶点的数量。权　利　要　求　书 2/2 页 3 CN 115272608 A 3