(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211242250.7 (22)申请日 2022.10.11 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 王庆祥　刘宁宇　赵菊　李兴运　 马凤英　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李琳 (51)Int.Cl. G06V 40/18(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) A61B 5/16(2006.01) (54)发明名称 基于眼动注意力的视觉信息识别方法、 系 统、 介质及设备 (57)摘要 本发明公开了一种基于眼动注意力的视觉 信息识别方法、 系统、 介质及设备， 涉及视觉分析 技术领域。 经过眼跳实验获得眼动数据， 眼动数 据经过处理后先进入多头注意力单元计算眼动 数据的自注 意力权重执行第一阶段的特征选择， 然后进入局部注意力单元， 进一步提取局部注意 力特征， 获取眼动数据重点信息， 再通过加和单 元加和数据信息， 使 得提取的特征更为全面更为 准确， 在眼动数据有限的情况下， 最大限度获取 特征中的重点信息， 更准确的进行视觉信息的检 测。 权利要求书2页 说明书5页 附图2页 CN 115393946 A 2022.11.25 CN 115393946 A 1.基于眼动注意力的视 觉信息识别方法， 其特 征在于， 包括以下步骤： 根据所需视 觉信息确定眼动数据的特 征属性； 通过眼跳实验获得眼动数据， 并对眼动数据进行筛 选、 配准和拟合； 基于注意力 机制构建视觉信 息识别模型， 将拟合后的数据作为数据集对视觉信 息识别 模型进行训练评估， 将 拟合后的数据作为数据集对视 觉信息识别模型进行训练评估； 将待检测数据输入评估后的视 觉信息识别模型， 输出视 觉信息识别结果。 2.如权利要求1所述的基于眼动注意力的视觉信 息识别方法， 其特征在于， 眼跳实验开 始前采用九点校正法进行视线追踪系统的校正。 3.如权利要求1所述的基于眼动注意力的视觉信 息识别方法， 其特征在于， 确定眼动数 据的特征属 性具体步骤为， 通过随机森林选择眼动数据的部分特征， 根据随机森林基尼系 数进行排序， 去除对所需目标分类 影响较小或没有影响的属性。 4.如权利要求1所述的基于眼动注意力的视觉信 息识别方法， 其特征在于， 眼跳实验分 为正向眼跳和反向眼跳， 正向眼跳为： 首先， 中央凝视点显示在屏幕上， 然后凝视点消失， 目 标刺激出现在中心凝 视点的左侧或右侧， 要求受试者 立即看向目标刺激出现的位置； 反向眼跳类似于正向眼跳实验， 但要求受试者向目标刺激出现的方向相反的方向看 去。 5.如权利要求1所述的基于眼动注意力的视觉信 息识别方法， 其特征在于， 眼动数据进 行筛选、 配准和拟合的过程为： 将 每条实验记录空值超30％的数据删除， 并对剩余数据进 行 配准， 经过数据配准后， 将 每次独立 实验都看作为一个样 本， 把每次独立 实验的数据 记录的 特征拟合成一条多维数据。 6.如权利要求1所述的基于眼动注意力的视觉信 息识别方法， 其特征在于， 将拟合后的 数据作为数据集对视觉信息识别模型进行训练评估的具体过程为： 将 眼动数据集分为训 练， 测试， 验证数据集， 全输入到模型中去， 用训练集训练模型， 用验证集验证模型， 不断调 整模型并选择出其中最好的模型， 再用训练集和验证集数据训练出一个最终的模型， 最后 用测试集评估最终的模型。 7.如权利要求1所述的基于眼动注意力的视觉信 息识别方法， 其特征在于， 视觉信 息识 别模型包括多头注意力单元， 局部注意力单元以及加和单元， 多头注意力单元 由多个自注 意力层堆叠而成， 局部注意力单元将从多头注意力单元获取 的输出数据， 输入到一维卷积 网络， 捕捉局部特征； 加和单元用于将局部注意力单元输出的注意力矩阵直接相加， 得到最 终的注意力矩阵， 然后通过一个全连接层得到模型的结果。 8.基于眼动注意力的视 觉信息识别系统， 其特 征在于， 包括： 特征属性模块， 被 配置为根据所需视 觉信息确定眼动数据的特 征属性； 数据获取模块， 被配置为通过眼跳实验获得眼动数据， 并对眼动数据进行筛选、 配准和 拟合； 模型构建模块， 被配置为基于注意力机制构建视觉信息识别模型， 将拟合后的数据作 为数据集对视 觉信息识别模型进行训练评估； 信息识别模块， 被配置为将待检测数据输入评估后的视觉信息识别模型， 输出视觉信 息识别结果。 9.一种计算机可读存储介质， 其特征在于， 其中存储有多条指令， 所述指令适于由终端权　利　要　求　书 1/2 页 2 CN 115393946 A 2设备的处理器加载并执行权利要求 1‑7中任一项 所述的基于眼动注意力的视觉信息识别方 法。 10.一种终端设备， 其特征在于， 包括处理器和计算机可读存储介质， 处理器用于实现 各指令； 计算机可读存储介质用于存储多条指令， 所述指令适于由处理器加载并执行权利 要求1‑7中任一项所述的基于眼动注意力的视 觉信息识别方法。权　利　要　求　书 2/2 页 3 CN 115393946 A 3