(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210313214.9 (22)申请日 2022.03.28 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 张勇　刘青青　殷雨晴　于光伟　 武定超　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04W 4/33(2018.01) H04W 4/80(2018.01) (54)发明名称 基于注意力机制特征融合与位置无关的人 体动作识别系统 (57)摘要 本发明公开了一种基于注意力机制特征融 合与位置无关的人体动作识别系统， 其步骤包 括： 1、 采集CSI动作数据并进行预处理。 2、 建立以 卷积神经网络和双向门控神经单元为基础的双 流网络， 该网络主要包括特征提取层， 特征融合 层以及预测层。 3、 将预处理后的数据输入到双流 网络进行训练并调整网络参数。 4、 将预处理后测 试样本输入训练好的网络模型当中进行人体动 作识别。 本发 明能提取与位置无关的人体动作特 征， 具有良好的位置泛化 性能， 应用范围广。 权利要求书3页 说明书6页 附图4页 CN 114639169 A 2022.06.17 CN 114639169 A 1.一种基于注意力机制特征融合与位置无关的人体动作识别系统， 其特征在于， 包括 以下步骤： 步骤一： 采集CSI动作样本数据并进行 预处理： 步骤1.1： 选取室内空间的一块矩形区域， 在所述矩形 区域内以间距为L选取n个训练位 置标定点， 同时在所述矩形区域内随机 选取m个测试位置标定点； 步骤1.2： 在所述矩形区域外使用路由器作为WIFI信号发送设备， 记为AP设备， 并使用 网卡作为接收设备， 记为RP设备； 步骤1.3： 在第i个训练位置标定点处使用所述RP设备以采样速率为f采集AP设备发送 的不同信道上的k个WiFi信号， 从而构建第i个训练位置标定点处的CSI动作数据； i＝1, 2,…,n； 步骤1.4： 提取所述第i个训练位置标定点处的CSI动作数据中的幅度信息， 得到第i个 训练位置标定点处的幅值数据Ai； 步骤1.5： 利用Hampel滤波器剔除幅值数据Ai中异常数据， 再利用离散小波变换法去除 高频噪声， 从而得到第i训练位置标定点处预处理后的CSI动作样本数据Bi， 记该CSI动作样 本数据的动作类别为Oi； 步骤二： 构建以卷积神经网络和双向门控神经单元为基础的双流网络模型， 包括： 特征 提取层、 特征融合层以及预测层； 将所述预处理后的动作样本数据Bi输入到所述双流网络 模型中； 步骤2.1： 所述特征提取层包括两个并行的模块， 包括： 卷积神经网络模块和双向门控 神经单元模块； 步骤2.1.1： 所述卷积神经网络模块由D个卷积块以及一个卷积注意力模块组成； 将D个 卷积块分别记为Co nv1…,Convd…ConvD； 其中， Co nvd表示第d级卷积块， d＝1,2,. ..,D； 所述第d级卷积块Convd包括： J个二维卷积核， J个批量归一化层， J个池化层以及J个 ReLU激活函数层； 其， 中第j个二维卷积核的大小为Sj； j＝1,2,. ..,J； 当d＝1时， 所述预处理后的CSI动作样本数据Bi输入特征提取层中， 并经过卷积神经网 络模块的第d级卷积块Co nvd后输出特征图Mapi,d； 当d＝2,3,...,D时， 将特征图Mapi,d‑1作为第d级卷积块Convd的输入， 从而得到相 应的 输出特征图Mapi,d； 从而由第D级卷积块Co nvD得到最终输出的特 征图Mapi,D； 所述卷积注意力模块包括： 通道注意力模块以及空间注意力模块； 其中， 通道注意力模 块包括： 第一最大池化层、 第一平均池化层以及 全连接层MLP； 空间注 意力模块包括： 第二最 大池化层、 第二平均池化层以及卷积层co nv； 最终输出的特征图Mapi,D输入到所述通道注意力模块中， 并经过第一最大池化层的处 理后输出特征图MAPi,max， 再经过第一平均 池化层的处理后输出特征图MAPi,avg； 所述特征图 MAPi,max以及MAPi,avg作为全连接层MAPi,avg的输入； 并由全连接层MLP输出特征图MAPi,channel 并作为通道注意力模块 最终的输出； 最终输出的特征图MAPi,channel作为空间注意力模块的输入， 并经过第二最大池化层的 处理后输出特征图MAP ′i,max， 再经过第二平均 池化层的处理后输出特征图MAP ′i,avg； 所述特 征图MAP′i,max以及MAP′i,avg通过卷积层co nv进行合并后得到最终输出的特 征图Hi,S； 步骤2.1.2： 所述双向门控神经单元模块包括： X层双向门控神经单元以及自注意力机权　利　要　求　书 1/3 页 2 CN 114639169 A 2制模块； 将X层双向门控神经单元分别记为BGRU1,...,BGRUx,...,BGRUX； 其中， BGRUx表示第 x层双向门控神经 单元； 每一层隐藏神经 元的个数为G； 当x＝1时， 所述预处理后的CS I动作样本数据Bi输入第x层双向门控神经单元BGRUx中进 行处理， 并输出 特征向量Resulti,x； 当x＝2,3,...,X时； 所述特征向量Resulti,x‑1输入到第x层双向门控神经单元BGRUx中， 并得到相应输出特征向量Resulti,x； 从而得到由第X层双向门控神经单元BGRUX输出的特征 向量Resulti,X； 所述自注意力机制模块将所述特征向量Resulti,X切割为e个特征向量hi,y∈RG， y＝1, 2,...,e； 其中， hi,y表示第y个向量切片； 当y＝1时， 所述自注意力机制模块根据式(1)计算第y个向量切片hi,y的重要程度分数 scorei,y； scorcei,y＝Φ(WThi,y+b)             (1) 式(1)中， Φ表示tanh函数， WT和b分别为网络训练过程中当前得到的权重向量和偏置 值； 所述自注意力机制模块对所述第y个向量切 片hi,y的重要程度分数scorei,y进行归一化 处理， 从而得到第y个向量切片hi,y的比重值αi,y； 所述自注意力机制模块 根据式(2)计算 最终的输出 结果Hi,t： Hi,t＝αi,y×hi,y                 (2) 步骤2.2： 所述特 征融合层包括： 全连接块fc， 注意力机制融合 块AF； 设置所述全连接块fc 的神经元个数为dim， 将所述特征图Hi,S和输出结果Hi,t作为全连 接块fc的输入， 并相应得到 输出向量 为{Fi,l|l＝1,2}， Fi,l表示第l个输出向量； 所述注意力机制融合块AF根据式(3)计算所述第l个输出向量Fi,l的融合比重ωi,afl， l ＝1,2： ωafl＝softmax(Fi,l)            (3) 所述注意力机制融合 块AF根据式(4)得到最终的特 征向量Fi,final： 步骤2.3： 所述预测层包括 一个全连接层 p， 设置全连接层 p的神经元个数为b； 所述特征向量Fifinal经过所述预测层后输出向量 其中， r为总的动作类别数， r＝ 1,2,...,R； 并使用softmax函数处理输出向量 获取最大预测概率Pi并作为最终的分 类结果； 步骤3： 设计网络参数， 对双流网络模型进行训练， 并使用式(5)建立反向传播损失函数 Loss： 其中， Fi,r＝[Fi,1,…,Fi,R]表示预处理后的CSI动作样本数据Bi的概率分布， Fi,R表示CSI 动作样本数据Bi属于第R类动作的概率； F ′i,r＝[F′i,1,…,F′i,R]示预处理后的CS I动作样本权　利　要　求　书 2/3 页 3 CN 114639169 A 3