(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210906282.6 (22)申请日 2022.07.29 (71)申请人 深圳职业 技术学院 地址 518000 广东省深圳市南 山区西丽湖 镇西丽湖畔 (72)发明人 蔡铁峰　 (74)专利代理 机构 深圳市科吉华烽知识产权事 务所(普通 合伙) 44248 专利代理师 胡吉科 (51)Int.Cl. G06T 15/00(2011.01) G06T 7/70(2017.01) G06T 7/55(2017.01) G06F 3/01(2006.01) G06F 9/50(2006.01)G06Q 50/20(2012.01) H04N 21/2187(2011.01) G09B 5/06(2006.01) (54)发明名称 基于XR技术的沉浸式互动直播构建方法、 系 统及介质 (57)摘要 本发明公开了一种基于XR技术的沉浸式互 动直播构建方法、 系统及介质， 该方法包括： 设定 直播虚拟场景的直播三维成像区间以及直播虚 拟场景坐标系与基准观众视场坐标系的旋转缩 放平移关系； 计算基准观众在直播虚拟场景中的 瞳距与观看位姿； 渲染生 成直播虚拟场景的直播 三维成像区间的立体视觉直播画面， 并把立体视 觉直播画面发送给各观众； 任意观众接收立体视 觉直播画面， 和/或立体视觉直播画面与观众体 验空间其它体验内容的立体视觉画面合成为边 看虚拟场景直播边进行其它内容体验的立体视 觉画面， 画面显示给观众看； 观众与直播虚拟场 景进行互动。 本发明能适配不同用户的瞳距， 使 直播场景正确融入到用户的体验空间， 能适配所 有不同瞳距的用户。 权利要求书3页 说明书16页 附图5页 CN 115423916 A 2022.12.02 CN 115423916 A 1.一种基于XR技 术的沉浸式互动直 播构建方法， 其特 征在于， 所述方法包括以下步骤： 步骤S10： 设定直播虚拟场景的直播三维成像区间以及直播虚拟场景坐标系与基准观 众视场坐标系的旋转缩放平 移关系； 步骤S20:根据直播虚拟场景坐标系与基准观众视场 坐标系的旋转缩放平移关系， 计算 基准观众在直 播虚拟场景中的瞳距与观看位姿； 步骤S30： 基于所述基准观众在直播虚拟场景中的瞳距与观看位姿， 渲染生成直播虚拟 场景的直 播三维成像区间的立体视 觉直播画面， 并把 立体视觉直播画面发送给 各观众； 步骤S40:任意观众接收立体视觉直播画面， 和/或立体视觉直播画面与观众体验空间 其它体验内容的立体视觉画面合成为边看虚拟场景直播边进行其它内容体验的立体视觉 画面， 显示给观众看。 2.根据权利要求1所述的方法， 其特征在于， 所述步骤S30生成的立体视觉直播画面带 有深度信息， 在所述步骤S40中， 对于任意观众hk， hk接收的立体视觉 直播画面与其体验空间 其它体验内容的立体视觉画面合成为hk边看虚拟场景直播边进行其它内容体验的立体视 觉画面， 在立体视觉直播画面与hk对其它内容体验生成的立体视觉画面合成时， 需要根据 各画面在hk视场的深度信息进行遮挡计算。 3.根据权利要求2所述的方法， 其特征在于， 在所述步骤S10设定的直播虚拟场景坐标 系与基准观众视场坐标系的旋转缩放平移关系中， 直播虚拟场景sm的坐标系到基准观众视 场坐标系的缩放系数为 λm， 所述步骤S 20计算出基准观众在直播虚拟场景 sm中的瞳距为 其中 为基准观众的实际瞳距， 根据直播虚拟场景sm坐标系与基准观众视场 坐标系的旋转 缩放平移关系， 计算基准观众在直播虚拟场景中的位姿， 所述步骤S 30根据基准观众在直播 虚拟场景sm的位姿与瞳距， 生成立体视觉直播画面， 其中 为立体视觉画面的左眼图像， 为立体视觉画 面的右眼图像， 为对应的深度图像， 根据缩放系数λm， 计算得到 与 在基准观众视场下的深度信息为深度图像 和 所述步骤S40立 体视觉直播画面与 观众体验空间其它体验内容的立体视觉画 面合成具体实现为： 任意观看 场景sm直播的观众hk， 接收到场景sm的立体视觉直播画面， hk沉浸式体验空间内其它体验内 容生成立体视觉体验画面左眼图像为 右眼图像为 与 在hk视场的深度信息为 深度图 与 hk与基准观众瞳距比值为 场景sm的立体视觉直播画面 与 在基准 观众视场下的深度图像 与 转换成hk视场的深度图像 立体视觉直播 画面与其它体验内容生成的立体视觉体验画面根据深度 图像 进行遮挡计算， 生成合成画面。 4.根据权利要求3所述的方法， 其特征在于， 所述步骤S10， 设定直播虚拟场景的直播三 维成像区间以及直播虚拟场景坐标系与基准观众视场坐标系的旋转缩放平移关系具体包 括： 给直播虚拟场景sm选定三维包围盒Ω ′m， 设定包围盒Ω ′m在场景sm中的位姿， 包围盒Ω ′m权　利　要　求　书 1/3 页 2 CN 115423916 A 2在场景sm框选出一个三维区间Ωm， Ωm就是场景sm的直播三维成像区间， 设定包围盒Ω ′m在 基准观众视场的位姿与缩放关系， 计算出所述虚拟场景sm的直播三维成像区间Ωm在基准观 众视场中对应的三维显示区间 设定了包围盒Ω ′m在直播虚拟场景sm中的位姿以及 Ω′m在基准观众视场的位姿与缩放关系， 也就是设定了直播虚拟场景sm坐标系与基准观众 视场坐标系的旋转缩放平 移关系。 5.根据权利要 求4所述的方法， 其特征在于， 在所述步骤S40中， 对于任意观众hk， 直播虚 拟场景sm在hk体验空间的三维显示区间为 生成hk体验空间其它体验内容的立体视觉 画面时， hk体验空间其它体验内容在三维显示区间 的内容不成像。 6.根据权利要求5所述方法， 其特征在于， 所述步骤S40计算出直播虚拟场景三维成像 区间在任意观众体验空间的三维显示区间的具体实现为： 直播虚拟场景sm在基准观众视场 中的三维显示区间为Ωuser， 由任意观众hk瞳距与基准观众瞳距的比值 计算出sm三维成 像区间Ωm在hk视场中的三维显示区间为 7.根据权利要求1 ‑6任意项所述的方法， 其特征在于， 所述步骤S40后还有步骤S50： 任 意观众hk在其体验空间里与直播的虚拟场景sm进行互动， 生成其体验空间里的互动操作命 令Ak， Ak转换成直播虚拟场景sm里的互动操作命 令Ak′， 把Ak′发送给场景sm， 场景sm对Ak′进行 响应。 8.根据权利要求7 所述方法， 其特 征在于， 所述 步骤S50具体包括： 步骤S501： 任意观众hk在自己体验空间进行互动操作， 生成观众hk体验空间下的互动操 作命令Ak， 命令Ak包含的位姿参数是观众hk体验空间坐标系下位姿， 判断Ak是否为对直播虚 拟场景sm的互动， 如果是对直播虚拟场景sm的互动， 就进入步骤S502， 否则hk体验空间里其 它内容响应互动操作命令Ak， 不进入步骤S5 02； 步骤S502： 根据观众hk体验空间坐标系与hk视场坐标系的旋转平移关系， 互动操作命令 Ak的位姿参数转换成hk视场坐标系下位姿参数； 步骤S503:根据观众hk瞳距dk与基准观众瞳距 的比值， 互动操作命令Ak的位姿参数从 hk视场坐标系下位姿参数转换成基准观众视场坐标系下位姿参数； 步骤S504： 根据基准观众视场坐标系与直播虚拟场景sm坐标系旋转缩 放平移关系， 互动 操作命令Ak的位姿参数从基准观众视场坐标系转换到直播虚拟场景sm坐标系下位姿参数， 生成互动操作命令Ak′； 步骤S505： 互动操作命令Ak′， 发送给虚拟直 播场景sm， sm对Ak′响应。 9.一种基于XR技术的沉浸式互动直播构建系统， 其特征在于， 所述系统包括： 沉浸式互 动直播管理服务器、 多台XR应用服务器、 存储服务器， 其中， 用户的XR终端通过无线网络访 问所述管理服务器与所有 XR应用服务器， 所述管理服务器部署有沉浸式互动直播管理控制 中心， 所述存 储服务器部署有XR资源库： 所述XR资源库， 用于存 储XR应用资源； 所述沉浸式互动直播管理控制中心， 用于接收XR终端的虚拟场景体验申请， 指令XR应 用服务器分配虚拟场景实例， 协助XR终端与虚拟场景实例建立通信连接； 接 收用户直播分权　利　要　求　书 2/3 页 3 CN 115423916 A 3