(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211157802.4 (22)申请日 2022.09.22 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 周永进　张颖淮　蔡思瑾　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 李可 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 20/40(2022.01) A61B 3/00(2006.01) A61B 3/10(2006.01)A61B 3/103(2006.01) A61B 3/113(2006.01) (54)发明名称 基于眼部异常姿态的异常屈光状态识别方 法及装置 (57)摘要 本发明公开了基于眼部异常姿态的异常屈 光状态识别方法及装置， 方法包括： 获取受试者 的视力测试过程所对应的视频数据， 视力测试过 程为受试者基于预设的目标变化装置所播放的 目标变化视频而进行的视力测试； 对视频数据进 行图像分帧处理， 确定每一帧图像中的人脸区 域， 并对人脸区域进行人脸特征点提取， 确定人 脸特征点中的眼眶特征点以及眉毛特征点； 基于 眼眶特征点与眉毛特征点， 识别眼部异常姿态， 并确定眼部异常姿态所对应的图像帧， 以根据图 像帧确定视力测试数据， 视力测试数据包括目标 的形态、 受试者与目标之间的距离以及目标的模 糊程度。 本发明可通过提取眼部异常姿态， 准确 地判断受试者眼部是否出现异常屈光状态。 权利要求书2页 说明书9页 附图3页 CN 115512410 A 2022.12.23 CN 115512410 A 1.一种基于眼部异常姿态的异常屈光状态 识别方法， 其特 征在于， 所述方法包括： 获取受试者的视力测试过程所对应的视频数据， 所述视力测试过程为所述受试者基于 预设的目标变化装置所播 放的目标变化视频而 进行的视力测试； 对所述视频数据进行图像分帧处理， 确定每一帧图像中的人脸区域， 并对所述人脸区 域进行人脸特征点提取， 确定所述人脸特 征点中的眼眶特 征点以及眉毛特 征点； 基于所述眼眶特征点与所述眉毛特征点， 识别眼部异常姿态， 并确定所述眼部异常姿 态所对应的图像 帧， 以根据所述图像 帧确定视力测试数据， 进而判断受试者是否出现异常 屈光状态， 所述视力测试数据包括 目标的形态、 受试者与目标之间的距离以及目标 的模糊 程度。 2.根据权利要求1所述的基于眼部异常姿态的异常屈光状态识别方法， 其特征在于， 所 述获取受试者的视力测试 过程所对应的视频 数据， 包括： 调整预设的图像采集装置的高度与受试者的头部 高度平行， 所述图像采集装置位于所 述目标变化装置的上 方； 控制所述目标变化装置播放所述目标变化视频， 所述目标变化视频反映了目标的尺寸 变化、 目标与所述受试者的距离变化以及目标的模糊程度变化； 采集所述受试者 根据所述目标变化视频进行视力测试时所对应的视频 数据。 3.根据权利要求1所述的基于眼部异常姿态的异常屈光状态识别方法， 其特征在于， 所 述确定每一帧图像中的人脸区域， 包括： 控制一个子窗口在每一帧图像中进行移位滑动， 并记录所述子窗口每移动到一个位置 后所对应的区域特 征； 使用Haar级联人脸分类 器对所述区域特 征进行筛 选， 得到所述人脸区域。 4.根据权利要求1所述的基于眼部异常姿态的异常屈光状态识别方法， 其特征在于， 所 述对所述人脸区域进 行人脸特征点提取， 确定所述人脸特征点中的眼眶特征点以及眉毛 特 征点， 包括： 利用dlib人脸识别库， 检测出 所述人脸区域的68个特 征点； 基于所述68个特 征点， 筛选出所述眼眶特 征点以及所述眉毛特 征点。 5.根据权利要求4所述的基于眼部异常姿态的异常屈光状态识别方法， 其特征在于， 所 述基于所述眼眶特 征点与所述眉毛特 征点， 识别眼部异常姿态， 包括： 分别获取所述眼眶特征点以及所述眉毛特征点所对应的坐标数据， 并分割出人眼区 域； 从所述人眼区域中保留左眼眶与右眼眶的特征点， 分别得到左眼眶与右眼眶上下眼皮 的坐标点， 并计算两眼的上 下眼皮间距的变化； 从所述人眼区域中保留眉毛特 征点的坐标， 并得到眉毛特 征点的坐标变化； 基于两眼的上下眼皮间距的变化与 所述眉毛特征点的坐标变化， 确定所述眼部异常姿 态。 6.根据权利要求5所述的基于眼部异常姿态的异常屈光状态识别方法， 其特征在于， 所 述基于所述眼眶特 征点与所述眉毛特 征点， 识别眼部异常姿态， 还 包括： 基于所述68个特征点， 筛选出面部边缘的特征点， 并基于所述面部边缘的特征点计算 面部尺寸；权　利　要　求　书 1/2 页 2 CN 115512410 A 2基于面部尺寸， 确定人脸与图像采集装置之间的距离变化。 7.根据权利要求5所述的基于眼部异常姿态的异常屈光状态识别方法， 其特征在于， 所 述基于所述眼眶特 征点与所述眉毛特 征点， 识别眼部异常姿态， 还 包括： 基于所述68个特征点， 筛选出面部边缘的特征点， 并基于所述面部边缘的特征点确定 鼻尖相对于整张人脸的位置变化； 基于所述鼻尖相对于整张人脸的位置变化， 确定 头部姿态变化。 8.一种基于眼部异常姿态的异常屈光状态 识别装置， 其特 征在于， 所述装置包括： 视频数据获取模块， 用于获取受试者的视力测试过程所对应的视频数据， 所述视力测 试过程为所述受试者基于预设的目标变化装置所播 放的目标变化视频而 进行的视力测试； 眼部特征提取模块， 用于对所述视频数据进行图像分帧处理， 确定每一帧图像中的人 脸区域， 并对所述人脸区域进行人脸特征点提取， 确定所述人脸特征点中的眼眶特征点以 及眉毛特 征点； 异常姿态识别模块， 用于基于所述眼眶特征点与所述眉毛特征点， 识别眼部异常姿态， 并确定所述眼部异常姿态所对应的图像 帧， 以根据所述图像 帧确定视力测试数据， 所述视 力测试数据包括目标的形态、 受试者与目标之间的距离以及目标的模糊程度。 9.一种终端设备， 其特征在于， 所述终端设备包括存储器、 处理器及存储在所述存储器 中并可在所述处理器上运行的基于眼部异常姿态的异常屈光状态识别程序， 所述处理器执 行所述基于眼部异常姿态的异常屈 光状态识别程序时， 实现如权利要求1 ‑7任一项所述的 基于眼部异常姿态的异常屈光状态 识别方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于眼 部异常姿态的异常屈光状态识别程序， 所述基于眼部异常姿态的异常屈光状态识别程序被 处理器执行时， 实现如权利要求1 ‑7任一项所述的基于眼部异常姿态的异常屈光状态识别 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115512410 A 3