(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111659975.1 (22)申请日 2021.12.31 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 翁冬冬　王怡晗　李冬　郭署山　 (74)专利代理 机构 北京理工大 学专利中心 11120 代理人 李微微 (51)Int.Cl. G06T 7/246(2017.01) G06T 5/00(2006.01) (54)发明名称 基于时间反演对称性的光学动作捕捉标记 点实时补全方法 (57)摘要 本发明提供一种基于时间反演对称性的光 学动作捕捉标记点实时补全方法， 旨在首次将 “时间反演 对称性”用于标记点补全， 根据运动 在 随时间正向和反向流动时的对称特性,表明沿时 间双向提取的序列特征对丢失信息补全是有意 义的， 在此基础上， 本发明提出了利用双向长短 期记忆网络， 可以实时补全丢失的光学动捕标记 点； 相比现有技术的离线方式， 本发明能够实现 标记点实时补全， 同时能够解决现有技术中难以 处理长时间丢失数据的问题， 具有更高的补全精 度。 权利要求书1页 说明书3页 附图2页 CN 114299118 A 2022.04.08 CN 114299118 A 1.一种基于时间反演对称性的光学动作捕捉标记点实时补全方法， 其特 征在于， 包括： 步骤1、 获取训练数据， 具体为： 获取已有的各 标记点连续多帧的在光学坐标系中三维位置坐标作为原 始输入数据； 将原始输入数据从光学坐标系转换至根节点坐标系； 根节点坐标系以腰部的标记点的 几何中心为原点； 将原始输入数据中标记点 位置坐标随机 置零来模拟标记点丢失， 得到训练数据； 步骤2、 将步骤1的训练数据输入到网络结构中进行网络训练； 步骤3、 对于实时获取的需要补点的一段动作序列， 将各标记点的坐标转换到根节点坐 标系， 再输入到步骤2训练好的网络结构中， 得到位置坐标补齐后的动作序列。 2.如权利要求1所述的一种基于时间反演对称性的光学动作捕捉标记点实时补全方 法， 其特征在于， 所述 步骤1中根节点 坐标系的建立过程 为： 记根节点坐标系的三个坐标轴x， y， z的归一化向量分别为rx,ry,rz,用最优化方法取距 离腰部上所有标记点最近的直线和平面,则直线的方向向量和平面的法向量的初始 值分别 定义为rx,和ry,,则z轴归一 化向量表示 为： rz＝rx,×ry, (1) 令rx,与坐标轴z的归一 化向量rx一致， 即rx＝rx,,则： ry＝rz×rx； 由此建立 根节点坐标系。 3.如权利要求1所述的一种基于时间反演对称性的光学动作捕捉标记点实时补全方 法， 其特征在于， 所述 步骤1中标记点 位置坐标随机 置零的方法为： 将原始输入数据中各标记点的位置矩阵表示为Praw∈Rf×N,其中位置矩阵的行数为该段 序列的帧数f,列数与标记点数量N一致， 每个元素存储的为各标记点的根节点坐标系的坐 标； 随机置零的过程为： 首先生成与位置矩阵大小一致的随机数矩阵A， 其中的每个元素aij ∈[0,1],设定丢失率为α,若aij<(1‑α ),则aij＝1,反之 aij＝0,则得到新的矩阵Ap,则随机置 零后的训练数据矩阵为： Pmiss＝Ap·Praw。 4.如权利要求1所述的一种基于时间反演对称性的光学动作捕捉标记点实时补全方 法， 其特征在于， 所述网络结构为Bi LSTM、 BiRN N或者BiGRU网络 。 5.如权利要求4所述的一种基于时间反演对称性的光学动作捕捉标记点实时补全方 法， 其特征在于， 所述网络结构采用Bi LSTM网络， 损失函数L oss采用均方误差 。权　利　要　求　书 1/1 页 2 CN 114299118 A 2基于时间反演对称性的光学动作捕捉标记点 实时补全方 法 技术领域 [0001]本发明属于光学动作捕捉技术领域， 具体涉及一种基于时间反演对称性的光学动 作捕捉标记点实时补全方法。 背景技术 [0002]基于标记点的光学动作捕捉是运动获取、 分析和映射等过程中的一项关键技术, 该技术由空间中的相机等设备采集标记点图像坐标并重 建各标记点的空间位置,再根据标 记点云的三 维位置坐标计算人体各骨骼当前时刻的位置和朝向。 空间环境和人体自身动作 很容易遮挡 标记点,由此造成的标记点丢失可能会导致由标记点重建位姿失败.如何在标 记点丢失时对其进行补全是基于标记点的光学动作捕捉 技术亟待解决的问题。 [0003]Vicon是目前学术研究中最常用的光学动作捕捉系统之一。 在标记点丢失时， Vicon系统的配套 软件Nexus提供多种插值补全方法， 主要有基于轨迹的三次或五次样条插 值(Spline  Fill),基于一个相关标记的轨迹插值(Pattern  Fill)和基于三个及以上的相 关标记的轨 迹插值(Rigid  Body Fill)， 这些方法可以重建出平 滑的运动轨 迹。 [0004]Vicon系统只能在获取一段动捕数据后离线补全标记点， 无法实 时补全， 且最多能 处理60帧连续丢失， 长时间丢失无法补全。 [0005]该方案使用卡尔曼滤波， 根据恒速采样， 使用历史帧计算速度， 再根据历史速度预 测当前帧丢失标记点的位置 。 发明内容 [0006]有鉴于此， 本发明的目的是提供一种基于时间反演对称性的光学动作捕捉标记点 实时补全方法， 能够解决现有技术中难以处理长时间丢失数据的问题， 具有更高的补全精 度。 [0007]一种基于时间反演对称性的光学动作捕捉标记点实时补全方法， 包括： [0008]步骤1、 获取训练数据， 具体为： [0009]获取已有的各标记点连续多帧的在光学坐标系中三维位置坐标作为原始输入数 据； [0010]将原始输入数据从光学坐标系转换至根节点坐标系； 根节点坐标系以腰部的标记 点的几何中心为原点； [0011]将原始输入数据中标记点 位置坐标随机 置零来模拟标记点丢失， 得到训练数据； [0012]步骤2、 将步骤1的训练数据输入到网络结构中进行网络训练； [0013]步骤3、 对于 实时获取的需要补点的一段动作序列， 将各标记点的坐标转换到根节 点坐标系， 再输入到步骤2训练好的网络结构中， 得到位置坐标补齐后的动作序列。 [0014]较佳的， 所述 步骤1中根节点 坐标系的建立过程 为： [0015]记根节点坐标系的三个坐标轴x， y， z的归一化向量分别为rx,ry,rz,用最优化方法 取距离腰部上所有标记点最近的直线和平面,则直线的方向向量和平面的法向量的初始 值说　明　书 1/3 页 3 CN 114299118 A 3