(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111649038.8 (22)申请日 2021.12.3 0 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市自由贸易试验区临港 新片区泥城镇秋山路1775弄29、 30号2 楼01室 (72)发明人 陈筱　许亮　陶莹　范亦卿　伍俊　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 代理人 刘新宇 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 眼睛状态判定方法及 装置、 电子设备和存储 介质 (57)摘要 本公开涉及一种眼睛状态判定方法及 装置、 电子设备和存储介质， 所述方法包括： 获取待检 测对象的人脸图像以及预先标定的待检测对象 的眼睛开合度， 眼睛开合度包括眼睛张开度与眼 睛闭合度， 眼睛张开度表征待检测对象在睁眼状 态下标定的眼睛张开程度， 眼睛闭合度表征待检 测对象在闭眼状态下标定的眼睛闭合程度； 对人 脸图像进行关键点检测， 得到人脸图像中眼睛的 眼睛关键点； 根据眼睛关键点， 确定待检测对象 的眼睛的尺 寸信息， 眼睛的尺 寸信息包括眼睛的 长度与高度中的至少一种； 根据眼睛开合度以及 尺寸信息， 确定人脸图像中眼睛的状态， 眼睛的 状态包括闭眼状态或睁眼状态。 本公开实施例可 实现降低眼睛状态的误判率。 权利要求书3页 说明书22页 附图4页 CN 114299587 A 2022.04.08 CN 114299587 A 1.一种眼睛状态判定方法， 其特 征在于， 包括： 获取待检测对象的人脸图像以及预先标定的所述待检测对象的眼睛开合度， 所述眼睛 开合度包括眼睛张开度与眼睛闭合度， 所述眼睛张开度表征所述待检测对象在睁眼状态下 标定的眼睛张开程度， 所述眼睛闭合度表征所述待检测对象在闭眼状态下标定的眼睛闭合 程度； 对所述人脸图像进行关键点检测， 得到所述人脸图像中眼睛的眼睛关键点； 根据所述眼睛关键点， 确定所述待检测对象的眼睛的尺寸信息， 所述眼睛的尺寸信息 包括所述眼睛的长度与高度中的至少一种； 根据所述眼睛开合度以及所述尺寸信息， 确定所述人脸图像中眼睛的状态， 所述眼睛 的状态包括闭 眼状态或睁 眼状态。 2.根据权利要求1所述的方法， 其特征在于， 所述眼睛张开度包括所述待检测对象在睁 眼状态下的睁眼眼高与睁眼眼长之 间的第一比值， 所述眼睛闭合度包括所述待检测对象在 闭眼状态下的闭 眼眼高与闭 眼眼长之间的第二比值； 其中， 所述根据 所述眼睛开合度以及所述尺寸信息， 确定所述人脸图像 中眼睛的状态， 包括： 将所述第一比值、 所述第二比值以及所述眼睛的长度与高度， 输入至 眼睛状态判定网 络， 得到所述人脸图像中眼睛的状态。 3.根据权利要求1所述的方法， 其特征在于， 所述眼睛张开度包括所述待检测对象在睁 眼状态下的睁 眼眼高， 所述眼睛闭合度包括所述待检测对象在闭 眼状态下的闭 眼眼高； 其中， 所述根据 所述眼睛开合度以及所述尺寸信息， 确定所述人脸图像 中眼睛的状态， 包括： 根据所述睁眼眼高、 所述闭眼眼高以及所述眼睛的高度， 确定所述人脸图像中眼睛的 状态置信度； 根据所述状态置信度， 确定所述人脸图像中眼睛的状态。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述睁眼眼高、 所述闭眼眼高以 及所述眼睛的高度， 确定所述人脸图像中眼睛的状态置信度， 包括： 计算所述眼睛的高度与所述闭眼眼高之间的第 一差值， 以及所述睁眼眼高与 所述闭眼 眼高之间的第二差值； 将所述第一差值与所述第二差值之间的比值， 确定为所述状态置信度。 5.根据权利要求3所述的方法， 其特征在于， 所述根据所述状态置信度， 确定所述人脸 图像中眼睛的状态， 包括： 在所述状态置信度小于预设置信度阈值的情况下， 确定所述人脸图像中眼睛的状态为 闭眼状态； 或， 在所述状态置信度大于或等于所述预设置信度阈值的情况下， 确定所述人脸图像 中眼 睛的状态为睁 眼状态。 6.根据权利要求1所述方法， 其特征在于， 所述方法还包括： 标定所述待检测对象的眼 睛开合度； 其中， 所述标定所述待检测对象的眼睛开 合度， 包括： 获取所述待检测对象在睁眼状态下的睁眼图像， 以及所述待检测对象在闭眼状态下的权　利　要　求　书 1/3 页 2 CN 114299587 A 2闭眼图像； 对所述睁眼图像与 所述闭眼图像分别进行关键点检测， 得到所述睁眼图像中第 一眼睛 关键点， 以及所述闭 眼图像中第二眼睛关键点； 根据所述第一眼睛关键点与所述第二眼睛关键点， 确定所述眼睛开 合度。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述第 一眼睛关键点与 所述第二 眼睛关键点， 确定所述眼睛开 合度， 包括： 根据所述第 一眼睛关键点的像素坐标， 确定所述待检测对象在睁眼状态下的睁眼眼高 与睁眼眼长； 将所述睁 眼眼高与所述睁 眼眼长之间的第一比值确定为所述眼睛 张开度； 根据所述第 二眼睛关键点的像素坐标， 确定所述待检测对象在闭眼状态下的闭眼眼高 与闭眼眼长； 将所述闭 眼眼高与所述闭 眼眼长之间的第二比值确定为所述眼睛闭合度。 8.根据权利要求6所述的方法， 其特征在于， 所述根据所述第 一眼睛关键点与 所述第二 眼睛关键点， 确定所述眼睛开 合度， 包括： 根据所述第一眼睛关键点的像素坐标， 确定所述待检测对象在睁眼状态下的睁眼眼 高； 将所述睁 眼眼高确定为所述眼睛 张开度； 根据所述第二眼睛关键点的像素坐标， 确定所述待检测对象在闭眼状态下的闭眼眼 高； 将所述闭 眼眼高确定为所述眼睛闭合度。 9.根据权利要求6 ‑8任一项所述的方法， 其特征在于， 所述根据 所述第一眼睛关键点与 所述第二眼睛关键点， 确定所述眼睛开 合度， 包括： 在所述待检测对象的睁眼眼高大于预设睁眼眼高阈值的情况下， 将所述睁眼眼高与 所 述待检测对象的睁 眼眼长之间的第一比值确定为所述眼睛 张开度； 或， 在所述待检测对象的睁眼眼高大于所述预设睁眼眼高阈值的情况下， 将所述睁眼眼高 确定为所述眼睛 张开度； 其中， 所述睁 眼眼高与所述睁 眼眼长是根据所述第一眼睛关键点的像素坐标确定的。 10.根据权利要求9所述的方法， 其特 征在于， 所述方法还 包括： 在所述待检测对象的睁眼眼高小于或等于所述预设睁眼眼高阈值的情况下， 向所述待 检测对象发出睁 眼提示， 以重新获取 所述待检测对象的睁 眼图像。 11.根据权利要求6 ‑8任一项所述的方法， 其特征在于， 所述根据所述第一眼睛关键点 与所述第二眼睛关键点， 确定所述眼睛开 合度， 包括： 在所述待检测对象的闭眼眼高小于预设闭眼眼高阈值的情况下， 将所述闭眼眼高与 所 述待检测对象的闭 眼眼长之间的第二比值确定为所述眼睛闭合度； 或， 在所述待检测对象的闭眼眼高小于预设闭眼眼高阈值的情况下， 将所述闭眼眼高确定 为所述眼睛闭合度； 其中， 所述闭 眼眼高与所述闭 眼眼长是根据所述第二眼睛关键点的像素坐标确定的。 12.根据权利要求1 1所述的方法， 其特 征在于， 所述方法还 包括： 在所述待检测对象的闭眼眼高大于或等于所述预设闭眼眼高阈值的情况下， 向所述待权　利　要　求　书 2/3 页 3 CN 114299587 A 3