(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211107282.6 (22)申请日 2022.09.09 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 厦门大学　 福州一起教育科技有限公司 (72)发明人 胡斌　佘莹莹　吴航　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 逯长明　占园 (51)Int.Cl. A61B 5/16(2006.01) A61B 5/00(2006.01) A61B 3/113(2006.01)G06V 10/75(2022.01) G06V 40/16(2022.01) (54)发明名称 基于眼动和面部表情的孤独症谱系障碍筛 查系统及方法 (57)摘要 本申请提供一种基于眼动和面部表情的孤 独症谱系障碍筛查系统及方法， 首先向受试者播 放具有不同认知测试的测试范式。 获取受试者在 观看测试范式过程中的 眼部信息和面部视频。 根 据眼部信息对面部视频进行预处理， 得到与所述 眼动信息中眼动条目对应的包含所述受试者人 脸框的人脸图像帧， 从所述眼动信息和所述人脸 图像帧中提取所述受试者的眼动特征和表情特 征， 将所述眼动特征和所述表情特征输入训练好 的筛查模型中， 得到所述筛查模 型输出的所述受 试者的孤独症谱系障碍 筛查结果。 权利要求书3页 说明书12页 附图5页 CN 115429271 A 2022.12.06 CN 115429271 A 1.基于眼动和面部表情的孤独症谱系障碍 筛查系统， 其特 征在于， 包括： 显示模块， 用于显示测试范式， 所述测试范式包括至少一个情景测试任务， 以测试受试 者的不同特性； 采集模块， 用于采集观看所述测试范式时受试者的眼动信息和面部视频， 并将所述眼 动信息和所述 面部视频发送至预处 理模块； 预处理模块， 用于根据所述眼动信息对所述面部视频进行预处理， 得到与所述眼动信 息中眼动条目对应的包 含所述受试者人脸框的人脸图像帧； 特征提取模块， 用于从所述眼动信 息和所述人脸图像帧中提取所述受试者的眼动特征 和表情特征， 所述眼动特征包括眼部注视特征、 眼部生理特征以及总体注视特征， 所述表情 特征为所述受试者情绪占比情况的特 征； 筛查模块， 用于将所述眼动特征和所述表情特征输入训练好的筛查模型中， 以得到所 述受试者的孤独症谱系障碍 筛查结果。 2.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 所述情景测试任务包括： 面部观察任务、 重复性动作偏好测试任务、 共同关注能力测试 任务以及动态社会图像和动态几何图像偏好测试任务。 3.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 所述采集模块包括： 面部采集单元， 用于采集所述受试者在观看所述测试范式时的面部视频， 并将所述面 部视频发送至所述预处 理模块； 眼部采集单元， 用于采集所述受试者在观看所述测试范式时的眼部信息， 并将所述眼 部信息发送至所述预处 理模块。 4.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 所述预处 理模块根据所述眼动信息对所述 面部视频进行 预处理通过以下 方式实现： 读取所述面部视频中每帧的图像信 息， 得到若干个图像帧 以及若干个所述图像帧对应 的帧数位置； 遍历所述图像帧； 若所述图像帧的帧数位置对应于所述眼动信 息中的眼动条目， 则基于所述图像帧生成 图像帧集 合； 对所述图像帧集合中的图像帧进行人脸匹配， 得到包含所述受试者人脸框的人脸图像 帧。 5.根据权利要求4所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 对所述图像帧集 合中的图像帧进行 人脸匹配通过以下 方式实现： 对所述图像帧集合中的图像帧进行人脸检测， 定位人脸区域， 得到包含人脸区域的人 脸图像； 获取各人脸区域中人脸对应的描述向量， 所述描述向量用于表征 人脸的特 征； 计算各人脸区域中人脸对应的描述向量与基本向量之间的欧式距离， 所述基本向量为 预先对所述受试者的人脸图像进行 人脸检测后得到的所述受试者人脸对应的描述向量； 若所述欧式距离小于预设阈值， 则所述欧式距离对应的人脸与 所述受试者人脸匹配成 功， 以得到包含所述受试者人脸框的人脸图像 帧， 所述受试者人脸框内包含所述受试者对权　利　要　求　书 1/3 页 2 CN 115429271 A 2应的人脸区域。 6.根据权利要求1所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 所述特征提取模块 从所述眼动信息和所述人脸图像帧中提取眼动特征通过以下方式实 现： 将所述眼动信 息和所述人脸图像帧输入至训练好的眼动模态分类模型， 得到所述受试 者的眼动特征， 所述眼动模态分类模型是以多个样本受试者观看所述测试范式时的眼动信 息和人脸图像 帧， 以及所述多个样本受试者的眼部注视特征、 眼部生理特征以及总体注视 特征作为样本数据， 训练分类 器得到的。 7.根据权利要求6所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 训练眼动模态分类模型通过以下 方式实现： 将所述测试范式中情景测试任务对应的不同情景下的各子场景划分成若干个感兴趣 区域； 获取多个样本受试者的眼动信 息和人脸图像帧， 所述样本受试者包括正常受试者和孤 独症谱系障碍受试者； 根据所述多个样本受试者的眼动信 息和所述感兴趣区域， 计算所述多个样本受试者的 眼部注视特征以及总体注视特征， 所述眼部注视特征包括总注视点数、 区域注视点数以及 区域间切换次数， 所述总注视点数用于表征受试者不同情境下各子场景 的注视次数， 所述 区域注视点数用于表征 受试者在不同情境下各子场景中的各感兴趣区域的注视次数， 所述 区域间切换次数用于表征不同情境下受试者的注视点在各感兴趣区域之间来回切换的次 数， 所述总体注视特 征包括注视率； 根据所述多个样本受试者的眼动信 息和人脸图像帧， 计算所述多个样本受试者的眼部 生理特征， 所述眼部生理特 征包括眼部 宽高比、 眼球宽高比以及眨眼率； 基于所述多个样本受试者观看所述测试范式时的眼动信 息和人脸图像帧， 以及所述多 个样本受试者对应的眼部注视特征、 眼部生理特征以及总体注视特征， 训练得到所述眼动 模态分类模型。 8.根据权利要求7所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 计算眼部 宽高比、 眼球宽高比以及眨眼率 通过以下 方式实现： 对所述样本受试者的人脸图像帧进行人脸关键点检测， 得到样本关键点图像， 所述样 本关键点图像包括样本受试者 面部关键点； 从所述样本关键点图像中提取出眼部关键点， 所述眼部关键点包括左眼的关键点位置 和右眼的关键点 位置， 所述关键点 位置包括眼睑位置、 眼角位置及眼球位置； 根据所述眼部关键点， 计算所述样本受试者的眼部宽高比、 眼球宽高比， 所述眼部宽高 比为左右眼 眼部宽高比均值， 所述眼球宽高比为左右眼 眼球宽高比均值； 根据所述眼部 宽高比的数值， 确定眨眼率。 9.根据权利要求6所述的基于眼动和面部表情的孤独症谱系障碍筛查系统， 其特征在 于， 所述特征提取模块 从所述眼动信息和所述人脸图像帧中提取表情特征通过以下方式实 现： 对所述人脸图像帧中受试者人脸框 内的人脸 区域进行人脸关键点检测， 得到关键点图 像， 所述关键点图像包含受试者面部关键点， 每个所述受试者面部关键点对应一个二维坐权　利　要　求　书 2/3 页 3 CN 115429271 A 3