(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111216925.6 (22)申请日 2021.10.19 (71)申请人 中国平安人寿保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心14、 15、 16、 37、 41、 44、 45、 46层 (72)发明人 童鑫　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 代理人 谭果林 (51)Int.Cl. G06F 21/32(2013.01) G06F 21/44(2013.01) G06V 40/16(2022.01) G06V 40/18(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于视频的身份验证方法、 装置、 计算机设 备及存储介质 (57)摘要 本发明涉及人工智能技术领域， 本发 明公开 了一种基于视频的身份验证方法、 装置、 设备及 介质， 所述方法包括： 通过获取业务请求中的第 一身份验证视频； 运用人脸识别和眼球校准技 术， 进行人脸认证和眼球定位， 得到第一验证结 果和眼球空间坐标数据； 在检测到第一验证结果 为通过时， 获取第二身份验证视频； 运用人脸识 别、 声纹比对和眼球追踪技术， 进行人脸认证和 声纹验证， 以及基于眼球空间坐标数据的眼球移 动验证， 得到第二验证结果； 确定用户的身份验 证结果。 因此， 本发明实现了 结合人脸、 声纹和眼 球追踪进行用户的验证， 避免仿造用户， 提高了 用户的验证真实性和正确性。 本发 明适用于人工 智能领域， 可进一 步推动智慧城市的建 设。 权利要求书3页 说明书12页 附图4页 CN 113901418 A 2022.01.07 CN 113901418 A 1.一种基于 视频的身份验证方法， 其特 征在于， 包括： 接收用户的业 务请求， 获取 所述业务请求中的第一身份验证视频； 运用人脸识别和眼球校准技术， 对所述第一身份验证视频进行人脸认证和眼球定位， 得到第一验证结果和眼球空间坐标 数据； 在检测到所述第 一验证结果为通过时， 获取第 二身份验证视频； 其中， 所述第 二身份验 证视频为采集的基于与所述 业务请求对应的对话数据的人机对话视频； 运用所述人脸识别、 声纹比对和眼球追踪技术， 对所述第二身份验证视频进行所述人 脸认证和声纹验证， 以及基于眼球空间坐标 数据的眼球移动验证， 得到第二验证结果； 根据所述第一验证结果和所述第二验证结果， 确定与所述用户对应的身份验证结果。 2.如权利要求1所述的基于视频的身份验证方法， 其特征在于， 所述对所述第 一身份验 证视频进行 人脸认证和眼球定位， 得到第一验证结果和眼球空间坐标 数据之前， 包括： 获取登录信息采集视频； 对所述登录信息采集视频进行图像抽取， 得到多个用户图像； 将所有所述用户图像输入人脸识别模型中， 并通过所述人脸识别模型对所有所述用户 图像进行机器学习， 得到训练完成的人脸识别模型； 通过眼球识别模型对所有所述用户图像进行眼角膜定位及眼球周边特征提取， 得到与 所述用户对应的眼球特 征数据。 3.如权利要求1所述的基于视频的身份验证方法， 其特征在于， 所述运用人脸识别和眼 球校准技术， 对所述第一身份验证视频进行人脸认证和眼球定位， 得到第一验证结果和眼 球空间坐标 数据， 包括： 对所述第一身份验证视频进行 人脸图像提取， 得到多个人脸图像； 通过训练完成的所述人脸识别模型对所有所述人脸图像进行人脸特征提取， 并根据提 取的人脸特 征进行人脸识别， 得到识别结果； 通过所述眼球识别模型对所有所述人脸图像进行眼角膜定位及眼球周边特征提取， 得 到待验证特 征数据； 将所述待验证特征数据和与 所述用户对应的所述眼球特征数据进行比对， 得到比对结 果； 根据所述识别结果和所述比对结果， 确定所述第一验证结果； 依次发送各校准坐标信 息， 并运用眼球追踪技术， 采集眼球移动图像， 以及根据 所有所 述眼球移动图像， 确定出与各所述校准坐标信息对应的眼角膜位置信息； 其中， 所述眼球移 动图像为所述用户的眼球根据各 所述校准 坐标信息所对应的光标而移动的图像； 基于所有所述校准坐标信 息和所有所述眼角膜位置信 息， 构建显示界面与眼角膜之间 的所述眼球空间坐标 数据。 4.如权利要求3所述的基于视频的身份验证方法， 其特征在于， 所述通过所述眼球识别 模型对所有所述人脸图像进行所述眼角膜定位及所述眼球周边特征提取， 得到待验证特征 数据， 包括： 通过所述眼球识别模型对所有所述人脸图像进行眼角膜定位和眉毛识别， 得到眼球定 位信息和眉毛定位信息； 通过所述眼球识别模型根据 所述眼球定位信 息和所述眉毛定位信 息， 从各所述人脸图权　利　要　求　书 1/3 页 2 CN 113901418 A 2像中提取 出与各所述人脸图像对应的眼区域图像； 通过所述眼球识别模型对所有所述眼区域图像进行所述眼球周边特征提取， 得到所述 待验证特 征数据。 5.如权利要求1所述的基于视频的身份验证方法， 其特征在于， 所述对所述第 二身份验 证视频进行 所述人脸认证和声纹验证之前， 包括： 获取所述用户的基于训练词句的音频文件； 运用语音识别技 术， 对所述音频文件进行文本识别， 得到文本结果； 运用文本比对算法， 比对所述训练词句和所述文本结果， 得到比对结果； 在检测到所述比对结果为通过时， 对所述音频文件进行声纹特征提取， 得到与所述用 户对应的声纹特 征向量。 6.如权利要求1所述的基于视频的身份验证方法， 其特征在于， 所述运用所述人脸识 别、 声纹比对和眼球追踪技术， 对所述第二身份验证视频进 行所述人脸认证和声纹验证， 以 及基于眼球空间坐标 数据的眼球移动验证， 得到第二验证结果， 包括： 获取用户复述时间段和复述内容， 以及与所述复述内容对应的显示坐标集， 所述对话 数据包括所述用户复述时间段和所述复述内容； 基于所述用户复述时间段， 从所述第二身份验证视频中截取 出复述视频； 运用语音识别技术， 对所述复述视频进行文本识别以及声纹特征提取， 得到复述识别 结果和待比对声纹特 征向量； 将所述复述内容和所述复述识别结果进行比对， 以及运用声纹比对技术， 将所述声纹 特征向量和所述待比对声纹特 征向量进行比对， 得到复述比对结果； 基于所述复述 时间段， 从所述复述视频中确定出与所述显示坐标集对应的多个待认证 人脸图像， 并运用所述人脸识别和所述眼球追踪技术， 对各所述待认证人脸图像进行所述 人脸认证和所述眼球移动验证， 得到复述人脸结果和眼球追踪结果； 根据所述复述比对结果、 所述复述人脸结果和所述眼球追踪结果， 得到所述第二验证 结果。 7.如权利要求6所述的基于视频的身份验证方法， 其特征在于， 所述基于所述复述 时间 段， 从所述复述视频中确定出与所述显示坐标集对应的多个待认证人脸图像， 并运用所述 人脸识别和所述眼球追踪技术， 对各所述待认证人脸图像进 行所述人脸认证和所述眼球移 动验证， 得到复述人脸结果和眼球追踪结果， 包括： 从所述复述时间段中确定出各所述显示坐标集中的显示文字坐标所对应的显示时间 段； 基于所有所述显示 时间段， 从所述复述视频中提取出与 各所述显示文字坐标对应的待 认证人脸图像； 运用所述人脸识别， 对所有所述待认证人脸图像进行人脸认证， 得到所述复述人脸结 果； 运用眼球追踪技术， 对各所述待认证人脸图像进行眼角膜定位， 得到各所述待认证人 脸图像所对应的基于眼球空间坐标 数据的聚焦位置； 根据各所述显示文字坐标和与其相应的各 所述聚焦位置， 确定出 所述眼球追踪结果。 8.一种基于 视频的身份验证装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 113901418 A 3