(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211407435.9 (22)申请日 2022.11.10 (71)申请人 南京宇天智云仿真技 术有限公司 地址 210000 江苏省南京市 建邺区奥体大 街68号01幢14层 (72)发明人 朱震宇　李兴德　孙靖　刘伟伟　 魏世博　徐建军　韦洋　祝小康　 (74)专利代理 机构 南京创略知识产权代理事务 所(普通合伙) 32358 专利代理师 闫方圆 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/00(2011.01) G06T 19/20(2011.01) G06T 7/80(2017.01)G06V 10/80(2022.01) (54)发明名称 基于动态视点的模拟器多屏幕视景模拟方 法 (57)摘要 本发明公开了基于动态视点的模拟器多屏 幕视景模拟方法， 首先在多屏幕的两侧各放置一 个Kinect传感器采集驾驶学员的头部原始点云 数据， 并对采集到的原始点云数据进行条件滤波 和去噪处理， 得到已处理点云数据； 本发明使用 的头部位姿估计算法能够实时跟踪头部， 并 能够 同时检测头部和对头部位姿参数进行估计， 还能 够通过驾驶学员的头部位姿变化来实时更新屏 幕虚拟视点的位置和角度， 并实现高度临场感的 虚拟场景， 且针对动态视点系统对噪声特别敏 感， 使用Accela滤波来增 强投影参数的稳定性， 并对头部参数运动曲线进行平滑处理， 能够避免 在头部运动过程中出现的抖动对屏幕视景内容 的影响， 适 合被广泛推广和使用。 权利要求书6页 说明书15页 附图2页 CN 115457220 A 2022.12.09 CN 115457220 A 1.基于动态视点的模拟器多屏幕视景模拟方法， 其特 征在于： 包括以下步骤， 步骤 （A） ， 在多屏幕 的两侧各放置一个Kinect传感器采集驾驶学员的头部原始点云数 据， 并对采集到的原 始点云数据进行 条件滤波和去噪处 理， 得到已处 理点云数据； 步骤 （B） ， 采用三面标靶算法对Kinect传感器的外参旋转矩阵 和平移向量 进行标 定， 并将已处理点云数据统一到全局坐标系， 完成两台Kinect传感器已处理点云数据的融 合； 步骤 （C） ， 基于已处理点云数据的融合， 采用 算法实时获得头部位姿 参数， 并完成驾驶学员的人脸区域检测 和头部位姿估计， 得到虚拟三维场景的物体模型； 步骤 （D） ， 将得到的虚拟三维场景物体模型经视变换、 投影变换、 透视除法和视口变换 映射到屏幕坐标系下进行 可视化； 步骤 （E） ， 根据每块屏幕 的实际摆放位置及尺寸大小在  3D 空间中分别计算出虚拟视 点到每块屏幕的透视矩阵， 再基于Accela滤波增强投影参数的稳定性， 并对头部参数运动 曲线进行平滑处理， 完成模拟器的多屏幕视景模拟工作。 2.根据权利要求1所述的基于动态视点的模拟器多屏幕视景模拟方法， 其特征在于： 步 骤 （A） ， 在 多屏幕的两侧各放置一个Kinect传感器采集驾驶学员的头部原始点云数据， 并对 采集到的原 始点云数据进行 条件滤波和去噪处 理， 得到已处 理点云数据， 具体步骤如下， 步骤 （A1） ， 对采集到的原始点云数据进行条件滤波， 使用条件滤波算法对点云数据的 轴、 轴和 轴进行处 理， 滤除掉各轴的无用信息和背景， 轴的滤波如公式 （1） 所示， 其中， ， 表示经条件滤波后的点云数据集合， 表示输入的原始点 云数据集 合； 步骤 （A2） ， 对采集到的原始点云数据进行去噪处理， 使用双边滤波算法如公式 （2） 所 示， 其中， 表示双边滤波前的点云特征信息， 表示经过双边滤波算法获取的点云特征 信息， 表示整体权重参数， 表示点云双边滤波前法向量的特征信息； 而整体权重参数 定义的具体步骤如下， 步骤 （A21） ， 的定义如公式 （3） 所示， 其中， 表示特征保持权重计算函数， 表示平滑滤波权值计算函数， 表示 点 的 个近邻值， 表示点 到其近邻区域内任一点 的矢量距离， 表示点 在近邻区域内的法向矢量特 征信息； 步骤 （A22） ， 公式 （3） 中 和 分别如公式 （4） 和公式 （5） 所示，权　利　要　求　书 1/6 页 2 CN 115457220 A 2其中， 和 表示点 所在切平面的高斯滤波系数。 3.根据权利要求2所述的基于动态视点的模拟器多屏幕视景模拟方法， 其特征在于： 步 骤 （B） ， 采用三 面标靶算法对Ki nect传感器的外参旋转矩阵 和平移向量 进行标定， 并将 已处理点云数据统一到全局坐标系， 完成两台Kinect传感器已处理点云数据的融合， 其具 体步骤如下， 步骤（B1）， 设向量 为三维坐标系下的向量， 即   ， 为三维坐标系的点， 而 在坐标系 和 分别定义为 和 ， 对 和 进行归一 化处理并得到单位向量 和 ， 且单位向量 和 之间如公式 （6） 所示， 其中， 表示外参旋转矩阵； 步骤（B2）， 设定由旋转向量 构成的矩阵 ， 且矩阵 能使得 ， 矩阵 如公式 （7） 所示， 其中， 表示三阶单位矩阵； 步骤 （B3） ， 利用 组向量在 和 坐标系下的单位向量 和 能求得旋转矩阵 ， 设 ， ， 则旋转矩阵 求得的过程如公式 （8） 、 公式 （9） 和公式 （10） 所示， 其中， ， 表示旋转向量， 表示 ， 表示 ；权　利　要　求　书 2/6 页 3 CN 115457220 A 3