(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210609672.7 (22)申请日 2022.05.31 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市自由贸易试验区临港 新片区泥城镇秋山路1775弄29、 30号2 楼01室 (72)发明人 龙博　谭杰　林君仪　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/18(2022.01) G06V 40/16(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06F 3/01(2006.01) (54)发明名称 用于确定注视区域的方法、 车辆控制方法及 装置 (57)摘要 本公开提供了一种用于确定注视区域的方 法、 车辆控制方法及装置， 其中， 所述用于确定注 视区域的方法包括： 获取预定空间内的多个不同 视角的图像采集装置同步采集的目标对象的多 幅人脸图像； 基于至少两幅所述人脸图像， 确定 所述目标对象的预定人脸关键点的三维位置信 息； 基于所述多幅人脸图像， 确定所述目标对象 的融合视线信息； 基于所述预定人脸关键点的三 维位置信息以及所述融合视线信息， 确定所述目 标对象在所述预定空间内的注视区域信息 。 权利要求书3页 说明书17页 附图4页 CN 115035499 A 2022.09.09 CN 115035499 A 1.一种用于确定注视区域的方法， 包括： 获取预定空间内的多个不同视角的图像采集装置同步采集的目标对象的多幅人脸图 像； 基于至少两幅所述人脸图像， 确定所述目标对象的预定人脸关键点的三维位置信息； 基于所述多幅人脸图像， 确定所述目标对象的融合视线信息； 基于所述预定人脸关键点的三维位置信 息以及所述融合视线信 息， 确定所述目标对象 在所述预定空间内的注视区域信息 。 2.根据权利要求1所述的方法， 其中， 所述基于至少两幅所述人脸图像， 确定所述目标 对象的预定人脸关键点的三维位置信息， 包括： 针对至少两幅所述人脸图像中的每一幅， 进行人脸关键点检测， 获得预定人脸关键点 在所述人脸图像中的第一 位置； 基于采集所述人脸图像的图像采集装置的内参和外参， 将所述第 一位置转换至世界坐 标系下获得 所述预定人脸关键点的第二 位置； 融合由至少两幅所述人脸图像获得的预定人脸关键点的第 二位置， 得到所述预定人脸 关键点的三维位置信息 。 3.根据权利要求1或2所述的方法， 其中， 所述基于所述多幅人脸图像， 确定所述目标对 象的融合视线信息， 包括： 基于多幅所述人脸图像分别进行视线方向检测， 并对多幅所述人脸图像的视线方向检 测结果进行融合得到融合视线信息 。 4.根据权利要求3所述的方法， 其中， 所述基于多幅所述人脸图像分别进行视线方向检 测， 并对多幅所述人脸图像的视线方向检测结果进行融合得到融合视线信息， 包括： 针对所述多幅人脸图像中的每一幅进行视线方向检测， 获得视线方向检测结果， 所述 视线方向检测结果包括表征 所述目标对象的视线方向的视线向量； 基于对多幅所述人脸图像进行视线方向检测获得的多个所述视线向量进行融合， 得到 所述融合视线信息 。 5.根据权利要求4所述的方法， 其中， 所述视线方向检测结果还包括所述视线向量的置 信度信息； 所述基于对多幅所述人脸图像进行视线方向检测获得的多个所述视线向量进行融合， 得到所述融合视线信息， 包括： 基于所述置信度信息， 确定各幅人脸图像的视线向量对应的权 重信息； 将对多幅所述人脸图像进行视线方向检测获得的所述视线向量按照对应的权重信息 进行加权， 得到所述融合视线信息 。 6.根据权利要求4或5所述的方法， 其中， 所述视线方向检测结果还包括所述人脸图像 中目标对象的眼部可 见状态； 所述基于对多幅所述人脸图像进行视线方向检测获得的多个视线向量进行融合， 得到 所述融合视线信息， 包括： 基于多幅所述人脸图像中， 对应的眼部可见状态为可见的目标人脸图像的对应的所述 视线向量， 确定所述融合视线信息 。 7.根据权利要求4所述的方法， 其中， 所述基于对多幅所述人脸图像进行视线方向检测权　利　要　求　书 1/3 页 2 CN 115035499 A 2获得的视线向量进行融合， 得到所述融合视线信息， 包括： 基于多幅所述人脸图像分别对应的以下至少一项确定各幅所述人脸图像对应的权重 信息： 图像采集装置的位置、 目标对象在人脸图像中的头部角度、 像清晰度、 目标对 象的眼 部可见状态； 将对多幅所述人脸图像进行视线方向检测获得的视线向量按照对应的权重信息进行 加权融合， 确定所述融合视线信息 。 8.根据权利要求1或2所述的方法， 其中， 所述基于所述多幅人脸图像， 确定所述目标对 象的融合视线信息， 包括： 将所述多幅所述人脸图像输入视线检测模型， 得到所述目标对象的融合视线信息； 其中， 所述视线检测模型预先基于包含同一对象的多个不同视角的人脸图像的数据集 训练得到 。 9.根据权利要求1至8任一项所述的方法， 其中， 所述预定人脸关键点包括眉心关键点 或瞳孔关键点， 所述融合视线信息包括表征 所述目标对象的视线方向的视线向量； 所述基于所述预定人脸关键点的三维位置信 息以及所述融合视线信 息， 确定所述目标 对象在所述预定空间内的注视区域信息， 包括： 以所述眉心关键点或所述瞳孔关键点为视线的起始点， 按照所述融合视线信息， 确定 所述目标对象的视线在所述预定空间内的落 点区域， 得到所述注视区域信息 。 10.一种车辆控制方法， 包括： 获取车辆空间内的多个不同视角的图像采集装置同步采集的车舱内乘员的人脸图像； 基于权利要求1～9任一所述的用于确定注视区域的方法， 获得所述乘员在所述车辆空 间内的注视区域信息； 基于所述注视区域信息， 对目标 车辆进行控制。 11.一种用于确定注视区域的装置， 其中， 包括： 第一获取模块， 用于获取预定空间内的多个不同视角的图像采集装置同步采集的目标 对象的多幅人脸图像； 第一确定模块， 用于基于至少两幅所述人脸图像， 确定所述目标对象的预定人脸关键 点的三维位置信息； 第二确定模块， 用于基于所述多幅人脸图像， 确定所述目标对象的融合视线信息； 注视区域确定模块， 用于基于所述预定人脸关键点的三维位置信 息以及所述融合视线 信息， 确定所述目标对象在所述预定空间内的注视区域信息 。 12.一种车辆控制装置， 其中， 包括： 第二获取模块， 用于获取车辆空间内的多个不同视角的图像采集装置同步采集的车舱 内乘员的人脸图像； 第三确定模块， 用于基于权利要求1～9任一所述的用于确定注视区域的方法， 获得所 述乘员在所述车辆空间内的注视区域信息； 控制模块， 用于基于所述注视区域信息， 对目标 车辆进行控制。 13.一种计算机设备， 其中， 包括： 处理器、 存储器和总线， 所述存储器存储有所述处理 器可执行 的机器可读指令， 当计算机设备运行时， 所述处理器与所述存储器之间通过总线 通信， 所述机器可读指令被所述处理器执行时执行如权利要求1至9任一项所述的用于确定权　利　要　求　书 2/3 页 3 CN 115035499 A 3