(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210224427.4 (22)申请日 2022.03.07 (65)同一申请的已公布的文献号 申请公布号 CN 114615430 A (43)申请公布日 2022.06.10 (73)专利权人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 史元春　秦岳　喻纯　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 潘红 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/225(2006.01) H04M 1/72415(2021.01)(56)对比文件 WO 20162020 34 A1,2016.12.2 2 US 2019251750 A1,2019.08.15 CN 1086146 61 A,2018.10.02 WO 20170 00150 A1,2017.01.0 5 CN 106648423 A,2017.0 5.10 US 2008252737 A1,20 08.10.16 CN 114092985 A,202 2.02.25 US 2018041695 A1,2018.02.08 审查员 闫志扬 (54)发明名称 移动终端与外部对象之间的交互方法、 装置 和电子设备 (57)摘要 本发明提供了一种移动终端与外部对象之 间的交互方法、 装置和电子设备， 通过人眼在后 置摄像头的成像平面上被移动终端遮挡的被遮 挡区域从多个外部对象中确定出交互对象， 使移 动终端按照用户视角选择交互对象进行交互， 大 大提高了用户使用移动终端与外部对象交互的 使用体验。 权利要求书2页 说明书10页 附图3页 CN 114615430 B 2022.12.23 CN 114615430 B 1.一种移动终端与外 部对象之间的交 互方法， 其特 征在于， 包括： 当获取到用户触发的交互指令时， 移动终端控制所述移动终端的前置摄像头拍摄所述 用户的人眼 图像、 以及控制所述移动终端的后置摄 像头拍摄目标识别图像； 对所述用户的人眼 图像进行处 理， 得到所述用户的人眼坐标； 基于所述人眼坐标， 确定所述用户的人眼在所述后置摄像头的成像平面上被所述移动 终端遮挡的被遮挡区域； 从所述目标识别图像中确定出能够进行交 互的多个外 部对象的外 部对象图像； 基于所述被遮挡区域与所述目标识别图像中多个外部对象的外部对象图像， 从所述多 个外部对象中确定出与所述移动终端自身交 互的交互对象； 根据所述交互对象， 执行所述交互指令， 使得所述移动终端自身能够与所述交互对象 进行交互。 2.根据权利要求1所述的方法， 其特征在于， 所述用户的人眼坐标包括： 所述用户的人 眼在后置摄 像头坐标系下的坐标； 基于所述人眼坐标， 确定所述用户的人眼在所述后置摄像头的成像平面上被所述移动 终端遮挡的被遮挡区域， 包括： 获取所述移动终端自身的角点在所述后置摄 像头坐标系内的角点 坐标； 从所述用户的人眼在后置摄像头坐标系下的坐标指示的位置向所述后置摄像头的成 像平面上做经 过所述移动终端的角点的直线； 将所述直线与所述成像平面的交点确定为所述被遮挡区域的端点； 基于所述人眼坐标， 计算得到所述被遮挡区域的端点的端点坐标， 从而确定所述被遮 挡区域的范围。 3.根据权利要求2所述的方法， 其特征在于， 所述用户的人眼坐标包括： 所述用户的人 眼在前置摄 像头坐标系下的坐标； 所述基于所述人眼坐标， 计算得到所述被遮挡区域的端点的端点 坐标， 包括： 获取所述移动终端自身与 所述成像平面之间的第 一距离、 所述移动终端的角点与 所述 前置摄像头的第二距离和所述前置摄 像头与所述后置摄 像头之间的第三距离； 利用所述用户的人眼在前置摄像头坐标系下的坐标、 所述移动终端自身与 所述成像平 面之间的第一距离、 所述移动终端的角点与所述前置摄像头的第二距离和所述前置摄像头 与所述后置摄像头之间的第三距离， 计算得到所述被遮挡区域的端点在所述成像平面上的 端点坐标。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述被遮挡区域与所述目标识别 图像中多个外部对象的外部对象图像， 从所述多个外部对象中确定出与所述移动终端自身 交互的交互对象， 包括： 计算所述被遮挡区域与所述多个外 部对象中各外 部对象的外 部对象图像的相似度； 将各所述外部对象中外部对象图像与所述被遮挡区域相似度最大的外部对象确定为 与所述移动终端自身交 互的交互对象。 5.一种移动终端与外 部对象之间的交 互装置， 其特 征在于， 包括： 控制模块， 用于当获取到用户触发的交互指令时， 控制所述移动终端的前置摄像头拍 摄所述用户的人眼 图像、 以及控制所述移动终端的后置摄 像头拍摄目标识别图像；权　利　要　求　书 1/2 页 2 CN 114615430 B 2处理模块， 用于对所述用户的人眼 图像进行处 理， 得到所述用户的人眼坐标； 第一确定模块， 用于基于所述人眼坐标， 确定所述用户的人眼在所述后置摄像头的成 像平面上被所述移动终端遮挡的被遮挡区域； 第二确定模块， 用于从所述目标识别图像中确定出能够进行交互 的多个外部对象的外 部对象图像； 第三确定模块， 用于基于所述被遮挡区域与所述目标识别图像中多个外部对象的外部 对象图像， 从所述多个外 部对象中确定出与所述移动终端自身交 互的交互对象； 交互模块， 用于根据 所述交互对象， 执行所述交互指令， 使得所述移动终端自身能够与 所述交互对象进行交 互。 6.根据权利要求5所述的装置， 其特征在于， 所述用户的人眼坐标包括： 所述用户的人 眼在后置摄 像头坐标系下的坐标； 所述第一确定模块， 具体用于： 获取所述移动终端自身的角点在所述后置摄 像头坐标系内的角点 坐标； 从所述用户的人眼在后置摄像头坐标系下的坐标指示的位置向所述后置摄像头的成 像平面上做经 过所述移动终端的角点的直线； 将所述直线与所述成像平面的交点确定为所述被遮挡区域的端点； 基于所述人眼坐标， 计算得到所述被遮挡区域的端点的端点坐标， 从而确定所述被遮 挡区域的范围。 7.根据权利要求6所述的装置， 其特征在于， 所述用户的人眼坐标包括： 所述用户的人 眼在前置摄 像头坐标系下的坐标； 所述第一确定模块， 用于基于所述人眼坐标， 计算得到所述被遮挡区域的端点的端点 坐标， 包括： 获取所述移动终端自身与 所述成像平面之间的第 一距离、 所述移动终端的角点与 所述 前置摄像头的第二距离和所述前置摄 像头与所述后置摄 像头之间的第三距离； 利用所述用户的人眼在前置摄像头坐标系下的坐标、 所述移动终端自身与 所述成像平 面之间的第一距离、 所述移动终端的角点与所述前置摄像头的第二距离和所述前置摄像头 与所述后置摄像头之间的第三距离， 计算得到所述被遮挡区域的端点在所述成像平面上的 端点坐标。 8.根据权利要求5所述的装置， 其特 征在于， 所述第三确定模块， 具体用于： 计算所述被遮挡区域与所述多个外 部对象中各外 部对象的外 部对象图像的相似度； 将各所述外部对象中外部对象图像与所述被遮挡区域相似度最大的外部对象确定为 与所述移动终端自身交 互的交互对象。 9.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处 理器运行时执 行上述权利要求1 ‑4任一项所述的方法的步骤。 10.一种电子设备， 其特征在于， 所述电子设备包括有存储器， 处理器以及一个或者一 个以上的程序， 其中所述一个或者一个以上程序存储于所述存储器中， 且经配置以由所述 处理器执行权利要求1 ‑4任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114615430 B 3