(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210636570.4 (22)申请日 2022.06.07 (71)申请人 广州医科 大学 地址 510089 广东省广州市番禺区新造镇 新造路1号广州医科 大学 (72)发明人 张贵英　龚浩天　徐文静　姜泽玥　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 徐凯凯 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于眼部图像的斜视智能识别方法、 装置、 终端及介质 (57)摘要 本发明公开了一种基于眼部图像的斜视智 能识别方法、 装置、 终端及介质， 与现有技术相 比， 通过眼球 分割网络提取瞳孔区域和角膜映光 点的信息， 从而获得单眼角 膜反射率； 通过随机 森林模型根据单眼角膜反射率、 瞳孔区域和角膜 映光点的信息进行投票决策， 获得第一预测结 果； 通过高维特征提取网络提取反映斜视状态的 深度特征， 并结合单眼角膜反射率获得第二预测 结果， 将上述预测结果加权平均， 获得人眼斜视 识别结果。 因此， 通过分析眼部图像， 能够简单准 确地识别人眼状态， 发现眼睛可能存在斜视问题 从而及时提醒用户去医院诊断和治 疗。 权利要求书2页 说明书10页 附图5页 CN 115019380 A 2022.09.06 CN 115019380 A 1.基于眼部图像的斜视智能识别方法， 其特 征在于， 所述方法包括： 将眼部图像输入眼球分割 网络， 获得瞳孔区域信息和角膜映光点信息， 所述眼球分割 网络为用于分割眼部图像的卷积神经网络； 基于所述瞳孔区域信 息和所述角膜映光点信 息， 获得反映瞳孔与角膜映光点之间位置 关系的单眼角膜反射 率； 将所述瞳孔区域信息、 所述角膜映光点信息和所述单眼角膜反射率输入随机森林模 型， 获得第一 斜视预测结果； 将眼部图像输入高维特 征提取网络， 获得反映斜视状态的瞳孔特 征； 融合所述单眼角膜反射 率和所述瞳孔特 征， 获得第二 斜视预测结果； 将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均， 获得斜视识别结 果。 2.如权利要求1所述的基于眼部图像的斜视智能识别方法， 其特征在于， 所述基于所述 瞳孔区域信息和所述角膜映光点信息， 获得反映瞳孔与角膜映光点之 间位置关系的单眼角 膜反射率， 包括： 根据所述瞳孔区域信息， 获得瞳孔的边缘数据， 所述边缘数据包括左边缘数据和右边 缘数据； 根据所述瞳孔区域信息和所述 边缘数据， 根据最小二乘法拟合所述瞳孔， 获得拟合圆； 基于所述拟合圆和所述角膜映光点信 息， 获得反映瞳孔与角膜映光点之间位置关系的 单眼角膜反射 率。 3.如权利要求2所述的基于眼部图像的斜视智能识别方法， 其特征在于， 所述基于所述 拟合圆和所述角膜映光点信息， 获得反映瞳孔与角膜映光点之 间位置关系的单眼角膜反射 率， 包括： 获得所述拟合圆的半径和圆心坐标； 基于所述角膜映光 点信息， 获得角膜映光 点的坐标； 计算所述圆心坐标与所述角膜映光点的坐标的差值并计算所述差值与所述拟合圆的 半径的比值， 获得 所述单眼角膜反射 率。 4.如权利要求1所述的基于眼部图像的斜视智能识别方法， 其特征在于， 所述融合所述 单眼角膜反射 率和所述瞳孔特 征， 获得第二 斜视预测结果， 包括： 将所述单眼角膜反射 率与所述瞳孔特 征进行向量相乘， 获得融合特 征； 将所述融合特 征输入全连接层， 获得 所述第二 斜视预测结果。 5.如权利要求1所述的基于眼部图像的斜视智能识别方法， 其特征在于， 所述基于所述 瞳孔区域信息和所述角膜映光点信息， 获得反映瞳孔与角膜映光点之 间位置关系的单眼角 膜反射率之后， 还 包括： 获取瞳孔形变指数； 基于所述单眼角膜反射率和所述瞳孔形变指数， 根据预先建立的非线性回归方程， 获 得斜视度数的估计结果。 6.如权利要求1所述的基于眼部图像的斜视智能识别方法， 其特征在于， 所述将所述瞳 孔区域信息、 所述角膜映光点信息和所述单眼角膜反射率输入随机森林模型， 获得第一斜 视预测结果， 包括：权　利　要　求　书 1/2 页 2 CN 115019380 A 2基于所述瞳孔区域信息， 获得瞳孔 坐标和瞳孔半径； 基于所述角膜映光 点信息， 获得角膜映光 点的坐标； 将所述瞳孔坐标、 所述瞳孔半径、 所述角膜映光点的坐标和所述单眼角膜反射率输入 随机森林模型， 根据投票机制获得 所述第一 斜视预测结果。 7.基于眼部图像的斜视智能识别装置， 其特 征在于， 所述装置包括： 图像分割模块， 用于将眼部 图像输入眼球分割 网络， 获得瞳孔区域信息和角膜映光点 信息， 所述眼球分割网络为用于分割眼部图像的卷积神经网络； 单眼角膜反射率模块， 用于基于所述瞳孔区域信息和所述角膜映光点信息， 获得反映 瞳孔与角膜映光 点之间位置关系的单眼角膜反射 率； 随机森林模块， 用于将所述瞳孔区域信息、 所述角膜映光点信息和所述单眼角膜反射 率输入随机森林模型， 获得第一 斜视预测结果； 高维特征提取模块， 用于将眼部 图像输入高维特征提取网络， 获得反映斜视状态的瞳 孔特征； 融合模块， 用于融合所述单眼角膜反射 率和所述瞳孔特 征， 获得第二 斜视预测结果； 判定模块， 用于将所述第一斜视预测结果和所述第二斜视预测结果进行加权平均， 获 得斜视识别结果。 8.如权利要求7所述的基于眼部图像的斜视智能识别装置， 其特征在于， 还包括斜视度 数模块， 用于获取瞳孔形变指数， 基于所述单眼角膜反射率和所述瞳孔形变指数， 根据预先 建立的非线性回归方程， 获得斜视度数的估计结果。 9.智能终端， 其特征在于， 所述智能终端包括存储器、 处理器以及存储在所述存储器上 并可在所述处理器上运行的基于眼部图像的斜视智能识别程序， 所述基于眼部图像的斜视 智能识别程序被所述处理器执行时实现如权利要求1 ‑7任意一项 所述基于眼部图像的斜视 智能识别方法的步骤。 10.计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有基于眼部图 像的斜视智能识别程序， 所述基于眼部图像的斜视智能识别程序被处理器执行时实现如权 利要求1‑7任意一项所述基于眼部图像的斜视智能识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 115019380 A 3