(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210903599.4 (22)申请日 2022.07.29 (71)申请人 临沂大学 地址 276000 山东省临沂市兰山区工业大 道北段西侧临沂 大学科技处 (72)发明人 郭明　赵琰　陈向勇　 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/70(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多模态的人体步态情感识别方法 (57)摘要 本发明公开了一种多模态的人体步态情感 识别方法， 具体涉及情感识别领域， 通过头戴式 VR设备刺激被测者产生情感， 利用穿戴在被测者 腿部的惯性传感器节点和头部的脑电传感器节 点， 采集步态情感数据； 使用滑动窗口法对步态 情感数据进行分割处理， 以获得步态情感样本； 通过快速傅里叶变换法将惯性步态情感样本转 换为频域表 示， 通过小波 连续变换法将脑电步态 情感样本转换为时频域表示， 以获得步态情感图 像； 利用训练数据进行模型训练和参数优化， 以 获得基于通道注意力机制的卷积神经网络模型； 将惯性步态情感特征矩阵、 脑电步态情感特征矩 阵、 融合步态情感特征矩阵分别作为全连接分类 器的输入， 建立相应的决策层融合机制， 进行人 体步态情感识别。 本发明能够 有效地克服使用单 一模态对步态情感识别效果的影 响， 可有效地提 高人体步态情感识别准确度。 权利要求书4页 说明书10页 附图1页 CN 115273236 A 2022.11.01 CN 115273236 A 1.一种多模态的人体步态情感识别方法， 其特 征在于： 具体识别步骤如下： 步骤S1： 通过头戴式VR设备刺激被测者产生e种情感， 利用穿戴在被测者腿部的n个惯 性传感器节点和头部的m个脑电传感器节点， 采集v个被测者的惯 性步态情感数据和脑电步 态情感数据； 步骤S2： 使用滑动窗口法对每个传感器节点所采集的惯性步态情感数据和脑电步态情 感数据分别按照固定间隔进行分割处理， 以获得全部的惯性步态情感样本和脑电步态情感 样本； 步骤S3： 通过快速傅里叶变换法将步骤S2中得到的惯性步态情感样本转换为频域表 示， 以获得惯性步态情感图像； 通过小波连续变换法将步骤S2中得到的脑电步态情感样本 转换为时频域表示， 以获得脑电步态情感图像； 步骤S4： 将步骤S3中得到的惯性步态情 感图像和脑电惯性步态情 感图像分别划分为训 练数据和测试数据， 利用训练数据进行模型训练和参数优化， 以获得基于通道注意力机制 的卷积神经网络模型； 步骤S5： 通过步骤S4得到的基于通道注意力机制的卷积神经网络模型， 提取步骤S3中 得到的惯性步态情感图像的特征， 以获得惯性步态情感特征矩阵， 提取步骤S3中得到的脑 电步态情感图像的特 征， 以获得脑电步态情感特 征矩阵； 步骤S6： 将步骤S5中得到的惯性步态情 感特征矩阵和脑电步态情 感特征矩阵进行特征 融合处理， 以获得融合 步态情感特 征矩阵； 步骤S7： 将步骤S5中得到的惯性步态情感特征矩阵和脑电步态情感特征矩阵、 步骤S6 中得到的融合步态情感特征矩阵分别作为全连接分类器的输入， 以获得对应的预测标签， 建立相应的决策层融合机制， 进行 人体步态情感识别。 2.根据权利要求1所述的一种 多模态的人体步态情感识别方法， 其特征在于： 所述步骤 S2具体步骤 包括： S2.1： 使用滑动窗口法对每个被测者穿戴的n个惯性传感器节点和m个脑电传感器节点 所采集的惯性步态情感数据和脑电步态情感数据分别 分割成多个相同长度的惯性步态情 感数据片段和脑电步态情感数据片段， 每个步态情感数据片段作为一个样本， 以获得全部 的惯性步态情感样本和脑电步态情感样本； S2.2： 滑动窗口法中的参数包含窗口大小和滑动步长， 设窗口大小为len， 两个相邻窗 口之间的滑动步长为 μ， 以获得T个窗口， 其中， T=f(l/ μlen) ‑1， l表示步态情感数据总长度， f( )表示向下 取整函数， 取最接 近的小于计算结果的整数； S2.3： 对于第k(k=1,2, …,n)个惯性传感器节点所采集的第t(t=1,2, …,T)个窗口内的 惯性步态情感数据片段由x轴加速度数据 、 y轴加速度数据 、 z轴加速度数据 、 x轴角速度数据 、 y轴角速度数据 、 z轴角速度数据 、 x轴磁场数据 、 y轴磁场数据 、 z轴磁场数据 组成， 可表示 为 ， 对于第j(j=1, 2,…,m)个脑电传感器节点所采集的第t(t=1,2, …,T)个窗口内的脑电步态情感数据片段权　利　要　求　书 1/4 页 2 CN 115273236 A 2表示为 。 3.根据权利要求1所述的一种 多模态的人体步态情感识别方法， 其特征在于： 所述步骤 S3具体步骤 包括： S3.1： 通过快速傅里叶变换法将惯性步态情感样本由时域表示转换为频域表示， 以获 得频域惯性步态情感样本， 尺寸为len ×9， 并把惯性步态情感样本和频域步态惯性情感样 本按照时间维度进行拼接， 以获得时频惯性步态情感样本,尺寸为2len ×9， 把样本数据值 与图像中灰度值进行对应， 构成灰度值矩阵， 以获得惯性 步态情感图像； S3.2： 通过小波连续变换法将脑电步态情感样本中由时域表示转换为时频域表示， 通 过N层小波分解， 得到M个 频段， 其中， ， 以获得时频域脑电步态情感样本， 尺寸为 len×M， 把样本数据值与图像中灰度值进行对应， 构成灰度值矩阵， 以获得脑电步态情感图 像。 4.根据权利要求1所述的一种 多模态的人体步态情感识别方法， 其特征在于： 所述步骤 S5具体步骤 包括： S5.1： 卷积神经网络主要包括卷积层、 池化层和全连接层， 为了检查隐藏在惯性步态情 感图像中惯性传感器多个通道信号之间的相关性重要特征， 使用多种不同尺寸的卷积核， 调整卷积核的步长和池化参数， 以获得不同数量通道之间的相关性特征矩阵， 并按照通道 维度进行拼接， 使用同样的卷积核参数和网络结构， 提取脑电步态情感图像中每个脑电传 感器的小 波信号多个频 段之间的相关性重要特 征； S5.2： 通过卷积神经网络后得到 的特征矩阵F可以表示为 ， 其中， c 表示通道数， 使用通道注意力机制可得到c维向量 ， 其中每个 值都属于[0,1]， 以获得每个通道对应的权重， 将权值与特征矩阵相乘F ×Atn， 以获得惯性 步态情感特 征矩阵和脑电步态情感特 征矩阵。 5.根据权利要求1所述的一种 多模态的人体步态情感识别方法， 其特征在于： 所述步骤 S6具体步骤包括： 惯性步态情感特征矩阵和脑电步态情感特征矩阵的尺寸分别为 和 ， 两种特征矩阵串联在一起并进行特征归一化， 形成新的高维合成特征表示， 尺 寸为 ， 以获得融合 步态情感特 征矩阵。 6.根据权利要求1所述的一种 多模态的人体步态情感识别方法， 其特征在于： 所述步骤 S7具体步骤 包括： S7.1： 通过P折交叉验证， 得到e种情感对于o种分类模型的F1分数作为贡献率； S7.2： 根据贡献率建立如下决策层融合模型的评价矩阵：权　利　要　求　书 2/4 页 3 CN 115273236 A 3