(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210441500.3 (22)申请日 2022.04.25 (71)申请人 佛山市第一人民医院 （中山大 学附 属佛山医院） 地址 528000 广东省佛山市禅城区岭南大 道北81号 (72)发明人 王茂华　虞幼军　谭玲梅　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 刘力 (51)Int.Cl. G09B 5/02(2006.01) G09B 9/00(2006.01) G02B 27/01(2006.01) H04N 13/275(2018.01)H04N 13/122(2018.01) H04N 5/232(2006.01) (54)发明名称 基于VR技术的耳内镜手术模拟教学方法、 系 统、 设备和介质 (57)摘要 本发明涉及虚拟现实技术领域， 公开一种基 于VR技术的耳内镜手术模拟教学方法、 系统、 设 备和介质。 该方法包括： 获取操作手柄的位姿、 操 作手柄上摄像头拍摄到的操作图像以及布设于 模拟手术现场摄像头拍摄的全景图像和近景图 像； 根据操作手柄的位姿以及全景图像和/或近 景图像中特征信息构建虚拟三维图像； 根据第一 虚拟显示终端的位姿对融合后的虚拟三维图像 进行分割， 将分割后的虚拟三维图像与操作手柄 上摄像头拍摄到的操作图像融合， 发送至第一虚 拟显示终端进行显示； 发送虚拟三维图像至第二 虚拟显示终端。 本发明通过跟踪拍摄模拟手术操 作时的操作图像以及图像融合及分割技术， 为操 作者和指导者分配虚拟三维图像， 提升用户的沉 浸式体验。 权利要求书2页 说明书9页 附图3页 CN 114882742 A 2022.08.09 CN 114882742 A 1.一种基于VR技 术的耳内镜手术模拟教学 方法， 其特 征在于， 包括： 获取操作手柄的位姿、 操作手柄上摄像头拍摄到的操作图像以及布设于模拟手术现场 摄像头拍摄的全景图像和近景图像； 根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对象的特征信 息构建操 作手柄和手术对象的虚拟三维图像； 根据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割， 将分割后的虚拟三 维图像与操作手柄上摄 像头拍摄到的操作图像融合， 发送至第一虚拟显示终端 进行显示； 发送虚拟三维图像至第 二虚拟显示终端， 以使第 二虚拟显示终端可显示不同角度的虚 拟三维图像。 2.根据权利要求1所述的基于VR技术的耳内镜手术模拟 教学方法， 其特征在于， 所述根 据操作手柄的位姿以及 全景图像和/或近景图像中表征手术对象的特征信息构建操作手柄 和手术对象的虚拟三维图像， 具体包括以下步骤： 预处理各全景图像和/或近景图像， 使用图像序列的基于设定参考图像修正的前一幅 图像的亮度直方图为目标对当前幅图像进行直方图规定化； 对相邻幅建立多分辨率的图像金字塔， 利用图像金字塔进行帧间运动场估测， 利用运 动估测值及可信度进行仿射 参数拟合； 计算设定不同参考图像时各幅图像与参考图像的变换关系， 确定各 幅图像在所要生成 的虚拟三维图像中的坐标并进行图像拼接， 消除重 叠部分后得到虚拟三维图像； 根据操作手柄的位姿以及表征手术对象的特征信息对各生成的虚拟三维图像进行校 正， 输出校正后的虚拟三维图像。 3.根据权利要求2所述的基于VR技术的耳内镜手术模拟 教学方法， 其特征在于， 所述根 据第一虚拟显示终端的位姿对融合后的虚拟三维图像进行分割， 具体包括以下步骤： 对虚拟三维图像进行特征信息下采样， 捕捉不同尺度的全局上下文信息， 得到下采样 图像； 根据第一虚拟显示终端的位姿筛 选符合角度要求的下采样图像； 使用级联预测模型对筛选出来的下采样图像进行全局细化， 使用高分辨率图像中的图 像剪裁进行局部细化。 4.根据权利要求3所述的基于VR技术的耳内镜手术模拟 教学方法， 其特征在于， 所述使 用级联预测模型对筛选出来的下采样图像进 行全局细化， 使用高分辨率图像中的图像剪裁 进行局部细化， 具体包括以下步骤： 将得到的下采样图像输入至级联预测模型， 在级联的第一级之后， 使用bilinearly上 采样输出的数据取代 其中一个输入通道的数据， 直至下采样图像输入到级联预测模型的最 后一层。 5.根据权利要求1所述的基于VR技术的耳内镜手术模拟教学方法， 其特征在于， 还包 括： 接收第一虚拟显示终端或第 二虚拟显示终端的交互请求， 使第 一虚拟终端和第 二虚拟 终端进行交互。 6.根据权利要求1所述的基于VR技术的耳内镜手术模拟 教学方法， 其特征在于， 所述接 收第一虚拟显示 终端或第二虚拟显示 终端的交互请求， 使第一虚拟终端和 第二虚拟终端进权　利　要　求　书 1/2 页 2 CN 114882742 A 2行交互， 具体包括以下步骤： 接收交互请求， 连接第一虚拟显示终端和第二虚拟显示终端； 将第二虚拟显示终端的指导信息传输至第一虚拟显示终端， 和/或将第一虚拟终端的 虚拟三维 图像传输至第二虚拟显示终端； 所述指导信息包括操作指导图像、 指导打分信息 和/或其他不同角度的虚拟三维图像。 7.根据权利要求1 ‑6任一项所述的基于VR技术的耳内镜手术模拟教学方法， 其特征在 于， 所述第一虚拟显示终端和第二虚拟显示终端为桌面式虚拟现实设备、 头戴式虚拟现实 设备、 CAVA式虚拟现实设备、 移动端虚拟现实设备或裸眼虚拟现实设备。 8.一种基于VR技 术的耳内镜手术模拟教学系统， 其特 征在于， 包括： 操作手柄； 布设于模拟手术现场的摄 像头； 第一虚拟显示终端和第二虚拟显示终端； 采集模块， 用于获取操作手柄的位姿、 操作手柄上摄像头拍摄到的操作图像以及布设 于模拟手术现场摄 像头拍摄的全景图像和近景图像； 图像构建模块， 用于根据操作手柄的位姿以及全景图像和/或近景图像中表征手术对 象的特征信息构建操作手柄和手术对象的虚拟三维图像； 第一图像处理模块， 用于根据第 一虚拟显示终端的位姿对融合后的虚拟三维图像进行 分割， 将分割后的虚拟三维 图像与操作手柄上摄像头拍摄到的操作图像融合， 发送至第一 虚拟显示终端 进行显示； 第二图像处理模块， 用于发送虚拟三维图像至第二虚拟显示终端， 以使第二虚拟显示 终端可显示 不同角度的虚拟三维图像。 9.一种计算机设备， 其特 征在于， 包括： 存储器， 存储有计算机程序； 处理器， 所述处理器执行所述计算机程序时实现如权利要求1 ‑7任一项所述的基于VR 技术的耳内镜手术模拟教学 方法。 10.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7中任一项所述的基于VR技 术的耳内镜手术模拟教学 方法。权　利　要　求　书 2/2 页 3 CN 114882742 A 3