(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211215988.4 (22)申请日 2022.09.30 (71)申请人 北京脑陆科技有限公司 地址 100192 北京市海淀区永 泰庄北路1号 天地邻枫2号楼 2层224 (72)发明人 马鹏程　许永凌　王晓岸　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 蔡舒野 (51)Int.Cl. G06F 21/32(2013.01) G06V 40/16(2022.01) A61B 5/00(2006.01) A61B 5/372(2021.01) (54)发明名称 身份识别方法、 装置、 设备及存 储介质 (57)摘要 本发明公开了一种身份识别方法、 装置、 设 备及存储介质， 该方法包括： 获取身份识别对象 的脑电波信号和面部图像信息； 获取身份识别对 象的脑电波信号和面部图像信息； 确定所述脑电 波信号和所述面部图像信息的混合编码特征； 基 于所述混合编码特征进行身份识别， 得到所述身 份识别对象的身份识别结果。 通过采用两种模态 信息进行身份验证， 保证了身份识别的准确率， 还可以避免单模态所遇到的一些限制， 如信息缺 失的问题； 同时利用预先训练的身份识别模型进 行身份识别， 进一 步提高了身份识别的准确率。 权利要求书2页 说明书12页 附图4页 CN 115544478 A 2022.12.30 CN 115544478 A 1.一种身份识别方法， 其特 征在于， 包括： 获取身份识别对象的脑电波信号和面部图像信息； 确定所述脑电波信号和所述 面部图像信息的混合编码特 征； 基于所述混合编码特 征进行身份识别， 得到所述身份识别对象的身份识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述混合编码特征进行身份识 别， 得到所述身份识别对象的身份识别结果， 包括： 确定所述混合编码特 征和预存 储的各用户分别对应的存 储特征之间的匹配概 率； 基于所述混合编码特征和预存储的各用户分别对应的存储特征之间的匹配概率， 确定 所述身份识别结果。 3.根据权利要求1所述的方法， 其特征在于， 所述确定所述脑电波信号和所述面部图像 信息的混合编码特 征， 包括： 通过脑电信号编码单 元确定所述脑电波信号的脑电编码特 征； 通过面部图像编码单 元确定所述 面部图像信息的面部编码特 征； 通过编码处理单元基于所述脑电编码特征和所述面部编码特征得到所述混合编码特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述脑电信号编码单元包括顺 次连接的卷 积层、 跨模态多头注意力机制子单元和多头注意力机制 子单元， 所述通过脑电信号编码单 元确定所述脑电波信号的脑电编码特 征， 包括： 将所述脑电波信号输入至所述卷积层中， 得到卷积电波信号； 将所述卷积电波信号和所述脑电波信号的位置编码输入至所述跨模态多头注意力机 制子单元中， 获得 所述跨模态多头注意力机制子单 元输出的跨模态 注意力处 理结果； 将所述跨模态注意力处理结果输入至所述多头注意力 机制子单元中， 获得所述多头注 意力机制子单 元输出的脑电编码特 征。 5.根据权利要求3所述的方法， 其特征在于， 所述面部图像编码单元包括顺 次连接的线 性映射层、 跨模态多头注意力机制 子单元和多头注意力机制 子单元， 所述面部图像编码单 元用于： 将所述面部图像信息 输入至所述线性映射层中， 得到线性映射结果； 将所述线性映射结果和所述面部图像信息的位置编码输入至所述跨模态多头注意力 机制子单 元中， 获得 所述跨模态多头注意力机制子单 元输出的跨模态 注意力处 理结果； 将所述跨模态注意力处理结果输入至所述多头注意力 机制子单元中， 获得所述多头注 意力机制子单 元输出的面部编码特 征。 6.根据权利要求3所述的方法， 其特征在于， 所述编码处理单元包括第 一全局平均池化 层、 第二全局平均池化层和全连接层， 所述全连接层分别与所述第一全局平均池化层和所 述第二全局平均池化层相连接， 所述编码处 理单元用于： 将所述脑电编码特征输入至所述第 一全局平均池化层中， 获得所述第 一全局平均池化 层输出的脑电全局平均池化结果； 将所述面部编码特征输入至所述第 二全局平均池化层中， 获得所述第 二全局平均池化 层输出的面部全局平均池化结果； 将所述脑电全局平均池化结果和所述面部全局 平均池化结果输入至所述全连接层中，权　利　要　求　书 1/2 页 2 CN 115544478 A 2得到所述混合编码特 征。 7.一种身份识别装置， 其特 征在于， 包括： 识别参数获取模块， 用于获取身份识别对象的脑电波信号和面部图像信息； 混合编码特 征模块， 用于确定所述脑电波信号和所述 面部图像信息的混合编码特 征； 识别结果确定模块， 用于基于所述混合编码特征进行身份识别， 得到所述身份识别对 象的身份识别结果。 8.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑6任一项所述的身 份识别方法。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处 理器执行时实现权利要求1 ‑6任一项所述的身份识别方法。 10.一种身份识别系统， 其特 征在于， 包括信息采集设备和身份识别模块， 其中： 所述信息采集设备， 用于采集身份识别对象的脑电波信号和面部图像信息； 所述身份识别模块， 用于基于所述脑电波信号和所述 面部图像信息进行身份识别。权　利　要　求　书 2/2 页 3 CN 115544478 A 3