(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211193971.3 (22)申请日 2022.09.28 (71)申请人 辽宁向日葵教育科技有限公司 地址 110000 辽宁省沈阳市东陵区上深沟 村860-1号C418室 (72)发明人 李宏伟　王琳琳　周献阳　王大文　 (74)专利代理 机构 北京久维律师事务所 1 1582 专利代理师 邢江峰 (51)Int.Cl. G06F 3/01(2006.01) G06Q 50/20(2012.01) G06T 17/00(2006.01) (54)发明名称 基于MR录播技术的多人协同虚拟交 互方法 (57)摘要 本发明涉及人工智能技术， 揭露了一种基于 MR录播技术的多人协同虚拟交互方法， 包括： 根 据任意课程的相关课程资料构建教学辅助课件， 并对教学辅助课件进行课件拓展， 得到装配交互 系统， 对基于装配交互系统构建的三维虚拟模型 进行正交变换， 得到变换后的模型， 将变换后的 模型映射至世界坐标系并构建世界坐标系中变 换后的模型对应的虚拟仿真平台， 创建用户终端 对应的流套接字并基于流套接字建立用户终端 与虚拟仿真系统之间的连接， 当接收到内容交互 请求时， 令用户终端对应的用户在所述虚拟仿真 系统中执行虚拟交互操作。 本发 明还提出一种基 于MR录播技术的多人协同虚拟交互装置。 本发明 可以解决基于MR录播技术的多人协 同虚拟交互 的效率较低的问题。 权利要求书2页 说明书15页 附图2页 CN 115469750 A 2022.12.13 CN 115469750 A 1.一种基于 MR录播技术的多人协同虚拟交 互方法， 其特 征在于， 所述方法包括： 获取任意课程的相关课程资料， 将所述相关课程资料划分为不同的课程章节， 并基于 超文本结构的形式将所述 不同的课程 章节组合 为教学辅助课件； 利用预获取的知识库和装配模型交互模块对所述教学辅助课件进行课件拓展处理， 得 到装配交 互系统； 基于所述装配交互系统构建对应的三维虚拟模型， 根据 预构建的正交投影变换矩阵对 所述三维虚拟模型进行正交变换， 得到变换后的模型， 将所述变换后的模型映射至预设世 界坐标系中， 并选取目标仿 真工具构建所述预设世界坐标系中变换后的模 型对应的虚拟仿 真平台， 其中所述预构建的正交 投影变换矩阵为： 其中， To为正交投影变换矩阵， right、 l eft、 top、 bottom、 far和n ear均为形参， tx、 ty和tz 为在x轴、 y轴和z轴上的固定参数； 获取多个不同用户对应的用户终端， 调用预设套接字函数创建所述用户终端对应的流 套接字， 并基于所述 流套接字建立所述用户终端与虚拟仿真系统之间的连接； 当接收到内容交互请求 时， 令所述用户终端对应的用户在所述虚拟仿真系统中执行虚 拟交互操作。 2.如权利要求1所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述将 所述相关课程资料划分为 不同的课程 章节， 包括： 提取出所述相关课程资料中的多个不同的课程标题， 并对多个所述课程标题进行类型 识别， 得到所述课程标题的类型； 以所述类型为预设类型的课程标题作为划分节点将所述相关课程资料划分为不同的 课程章节。 3.如权利要求1所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述基 于超文本结构的形式将所述 不同的课程 章节组合 为教学辅助课件， 包括： 以所述相关课程资料的课程名作为结构起点， 以多个所述课程章节作为结构节点进行 超文本结构 构建， 得到 课件章节划分结构； 基于各知识点的联系对所述课件章节划分结构进行知识拓展， 得到标准划分结构， 并 将所述标准划分结构作为教学辅助课件输出。 4.如权利要求3所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述基 于各知识点的联系对所述课件章节划分结构进行知识拓展， 得到标准划分结构， 包括： 选定所述课程 章节划分结构中的任意 一个课程 章节作为目标章节； 利用知识点 提取模型提取 出所述目标章节中的多个不同的知识点；权　利　要　求　书 1/2 页 2 CN 115469750 A 2基于所述各知识点的联系对多个所述知识点进行关联处 理， 得到标准划分结构。 5.如权利要求1所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述利 用预获取的知识库和装配模型 交互模块对所述教学辅助课件进行课件拓展处理， 得到装配 交互系统， 包括： 构建由帮助信 息板块和记录板块构建的专家系统模块部分， 并将所述专家系统模块部 分嵌入至所述装配模型交 互模块中， 得到标准装配交 互模块； 根据预设的连接关系将所述知识库、 所述标准装配交互模块和检测模块进行模块连 接， 得到装配交 互系统。 6.如权利要求1所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述基 于所述装配交 互系统构建对应的三维虚拟模型， 包括： 利用数据仿真子系统构建所述装配交互系统对应的数据仿真模型和相关特性仿真模 型； 接收外部控制数据， 并对所述外 部控制数据进行 数据解析， 得到控制命令； 将所述控制命令传输给三维模型创建子系统并利用所述三维模型创建子系统对所述 数据仿真模型和所述相关特性仿真模型进行模型加载， 得到三维虚拟模型。 7.如权利要求1所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述将 所述变换后的模型映射至预设世界坐标系中之前， 所述方法还 包括： 分别对变换后的模型进行平 移变换、 旋转变换和缩放变换。 8.如权利要求1所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述调 用预设套接 字函数创建所述用户终端对应的流套接 字， 包括： 根据所述预设套接 字函数创建终端 套接字， 并将所述终端 套接字绑定在指定端口上； 调用连接函数监 听连接请求， 若所述虚拟仿真系统接受所述连接请求则将所述终端套 接字返回为 流套接字。 9.如权利要求1所述的基于MR录播技术的多人协同虚拟交互方法， 其特征在于， 所述根 据预构建的正交投影变换矩阵对所述三维虚拟模型进行正交变换， 得到变换后的模型， 包 括： 提取出所述三维虚拟模型中的三维数据， 并将所述正交投影变换矩阵与所述三维虚拟 模型中的三维数据进行相乘计算； 根据相乘计算得到的数据构建对应的模型， 得到变换后的模型。权　利　要　求　书 2/2 页 3 CN 115469750 A 3