(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210509406.7 (22)申请日 2022.05.11 (71)申请人 山东大学 地址 264209 山 东省威海市文化西路180号 (72)发明人 刘娟　郭燕　陈佳宁　卞玉龙　 刘维莹　董晓舟　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李琳 (51)Int.Cl. G06F 3/0488(2022.01) G06F 9/451(2018.01) G16H 20/30(2018.01) G06V 20/64(2022.01) G06V 10/22(2022.01)G06V 10/774(2022.01) G09B 7/02(2006.01) (54)发明名称 一种基于混合现实的认知训练的交互系统 及方法 (57)摘要 本发明属于混合现实技术领域， 提供了一种 基于混合现实的认知训练的交互系统及方法， 包 括： 采用训练好的目标检测模型对获取的目标顶 视图的彩色图像进行预测， 得到目标的类别和目 标顶视图坐标信息， 利用深度图像获取目标的深 度坐标信息； 响应目标区域的触控信息， 将获取 的触摸坐标信息与 目标的深度坐标信息进行对 比判断， 如果触摸坐标信息与目标区域的位置相 吻合， 在屏幕上显示目标的基本信息， 可 以实时 获得目标的类别和坐标信息， 更好地实现了虚实 融合的目标的识别效果。 权利要求书2页 说明书6页 附图3页 CN 114968054 A 2022.08.30 CN 114968054 A 1.一种基于混合现实的认知训练 的交互系统， 其特征在于， 包括： 目标识别模块和触控 交互模块； 所述目标识别模块， 被配置为： 采用训练好的目标检测模型对获取的目标顶视 图的彩 色图像进行预测， 得到目标的类别和目标顶视图坐标信息， 利用深度图像获取目标 的深度 坐标信息， 根据目标顶视图坐标信息和目标的深度坐标信息得到目标的三维坐标信息； 所述触控交互模块， 被配置为： 响应目标区域的触控信 息， 将获取的触摸坐标信 息与目 标的三维坐标信息进行对比判断， 如果触摸坐标信息与目标区域的位置相吻合， 在屏幕上 显示目标的基本信息 。 2.如权利要求1所述的一种基于混合现实的认知训练 的交互系统， 其特征在于， 所述交 互系统还包括 目标图像获取模块， 所述 目标图像获取模块被配置为： 获取目标顶视图的彩 色图像和与彩色图像相对应的深度图像。 3.如权利要求1所述的一种基于混合现实的认知训练 的交互系统， 其特征在于， 所述交 互系统还包括语音交互模块， 所述语音交互模块包括录音模块、 语音听写模块、 答案匹配模 块、 语音合成及播 放模块。 4.如权利要求3所述的一种基于混合现实的认知训练 的交互系统， 其特征在于， 所述录 音模块， 被配置为： 用实验设备计算机中的麦克风进行录音， 并且可以在录音者结束询问 时， 实时结束录音； 所述语音听写模块， 被配置为： 将录音结束产生的音频文件精准识别为文字并存储在 文本文件中； 所述答案匹配模块， 被配置为： 从目标不同特性方面设置问题和问题对应的答案， 根据 问题的关键词匹配对应的答案； 所述语音合成及播 放模块， 被 配置为： 将文本文件中的文字转换并进行播 放。 5.如权利要求1所述的一种基于混合现实的认知训练 的交互系统， 其特征在于， 所述目 标检测模型采用基于 YOLOv4‑Tiny的目标检测模型。 6.如权利要求1所述的一种基于混合现实的认知训练 的交互系统， 其特征在于， 所述触 控交互模块中， 获取的触摸 坐标信息与目标的深度坐标信息进行对比判断被 配置为： 将触摸坐标的X轴坐标信 息与目标的三维坐标的X轴坐标信 息进行匹配， 若范围匹配一 致则进行Y轴坐标信息的匹配； 当触摸坐标的Y轴坐标信 息大于目标的三维坐标的Y轴坐标信 息时匹配成功， 存储 匹配 成功的目标信息 。 7.一种基于混合现实的认知训练的交 互方法， 其特 征在于， 包括如下步骤： 采用训练好的目标检测模型对获取的目标顶视图的彩色图像进行预测， 得到目标的类 别和目标顶视图坐标信息， 利用深度图像获取目标 的深度坐标信息， 根据目标顶视图坐标 信息和目标的深度坐标信息得到目标的三维坐标信息； 响应目标区域的触控信 息， 将获取的触摸坐标信 息与目标的三维坐标信 息进行对比判 断， 如果触摸 坐标信息与目标区域的位置相吻合， 在屏幕上显示目标的基本信息 。 8.如权利要求7所述的一种基于混合现实的认知训练 的交互方法， 其特征在于， 获取的 触摸坐标信息与目标的深度坐标信息进行对比判断包括： 将触摸坐标的X轴坐标与目标深度坐标进行匹配， 若范围匹配一致则进行Y轴坐标匹权　利　要　求　书 1/2 页 2 CN 114968054 A 2配； 当触摸坐标的Y坐标 大于目标深度坐标时匹配成功， 存 储匹配成功的目标信息； 进行Z轴坐标判断， 选择最靠 近触摸平面的目标， 若相等， 取坐标信息优先存 储的目标。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求7 ‑8中任一项 所述的一种基于 混合现实的认知训练的交互方法中的步 骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求7 ‑8中任一项 所述的一 种基于混合现实的认知训练的交 互方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114968054 A 3